Folkets synonymlexikon och Folkets engelsk-svenska lexikon - PowerPoint PPT Presentation

Folkets synonymlexikon och Folkets engelsk-svenska lexikon

Viggo Kann professor i datalogi vid KTH

Seminarium på Lexikaliska institutet 8 oktober 2008

Anyone can study it and modify it

Anyone can take a copy of it

Anyone can improve it, release the improvements to the public, so that the whole community benefits

(baserat på Four freedoms of free software,

Richard Stallman)

Skaffa finansiering

Använd resurser som är tillgängliga för forskare

Anställ lexikografer som kan göra det stora jobbet

…om du är en fri-programvaruhacker:

Använd andra fria resurser

Samla data från massor av människor, t ex med wiki eller webbformulär

• Skapa ett svenskt synonymlexikon som en lista av synonyma ordpar.
• Jag är lat och vill inte jobba så mycket.
• Jag är snål och vill inte anställa någon.
• Det konstruerade synonymlexikonet ska bli en fri språkresurs.

• Konstruera automatiskt en massa ordpar som kan vara synonymer.
• Använd tiotusen människor som var och en är villig att bidra en smula utan betalning, genom att kontrollera ordpar.

• Använd Lexins svensk-engelska lexikons webbsida som hade 9 miljoner (nu 20 M) uppslagningar varje månad.
• Användare besöker Lexin för att översätta ord och är därför nog motiverade att hjälpa mej.
• Vid varje uppslagning får användaren möjlighet att avgöra om två ord är synonymer.

• Konstruera möjliga synonympar.
• Rensa synonymparslistan automatiskt.
• Fråga massor av användare om paren är bra synonymer.
• Analysera användarnas bedömningar och bestäm vilka par som behålls.

• Om vi har ett svensk-engelskt lexikon SE och ett engelsk-svenskt lexikon ES så kan vi översätta varje ord till engelska och tillbaka igen.
• {(w,v): y: ySE(w)  vES(y)} eller{(w,v): y: ySE(w)  ySE(v)}
• 616 000 ordpar genererades.

• Använd RI (Random Indexing)[Kanerva, Kristoferson, Holst 2000]för att mäta avståenden mellan ord representerade i ett stort vektorrum.
• Behåll bara ord med ett tillräckligt litet avstånd i vektorrummet.
• 435 000 av orden fanns med i korpusen och en tredjedel rensandes bort.

När en användare under 2005 slog upp i Lexin fick han eller hon förutom översättningen en fråga om synonymiteten hos ett slumpat ordpar ur listan.

Användarna fick också föreslå egna synonympar som andra fick bedöma.

• 1,2 miljoner gjordes på mindre än 2 månader.
• Jag gjorde statistik och följde utvecklingen och ställde in urvalskriterier och skräpdatatrösklar.
• Många användare lämnade synpunkter.

• 2,8 M bedömningar har gjorts
• 75 000 ordpar (bedömda ≥ 2) i lexikonet
• 108 000 användarföreslagna ordpar
• 62 000 olika användarordpar
• 20 000 av dom har accepterats

4: kategori stånd årskurs

3: fack gradgruppkvalitetnivå

3: sortstandardstil

2: skikt storleksordning typ

1: poäng stadga

0: uppdragutbilda

• Många bedömningar krävs innan ett ordpar anses vara bra.
• Ordparen som ska föreslås väljs slumpmässigt från en enorm lista.
• Ordpar som föreslås av användarna stavningskontrolleras innan dom läggs till den enorma listan.

• Exakta betydelsen av 'synonym' definierades inte.
• Användarna bedömer efter sin intuitiva bild av konceptet synonymitet.
• Det skapade lexikonet bygger på folkets egen definition av synonymitet, vilket förhoppningsvis är precis vad folket vill!

• Stöds av .se-stiftelsen
• Bygger på Lexin
• Ska ersätta Lexins svensk-engelska lexikon under hösten
• Automatiskt framtagna översättnings-förslag från Lars Ahrenberg ska bedömas av användarna
• Användarna får själva utvidga lexikonet

• uppslagsord på svenska och engelska
• ordklass, uttal, böjningsformer
• synonymer, andra relationer
• översättningar (länkar)
• definition, förklaring
• exempel, idiom, sammansättningar
• externa länkar (Wikipedia, dataterm etc)

• Utvidgas automatiskt med användarnas hjälp. Ny version varje natt.
• När lexikonet utvidgats tillräckligt ska det bli fritt nedladdningsbart i sin helhet i XML-format och kunna användas i språkteknologiska tillämpningar som fri resurs.

• Vilka böjningsformer ska finnas med?
• Ska böjningsformer ha översättningar?
• Ska användarna få föreslå uttal, och i så fall i vilken form? Ljudinspelning?
• Ska egennamn vara med? Vilka?
• Automatkomplettering vid uppslagning: hur ska kompletteringarna rangordnas?

• Denna presentation:http://www.nada.kth.se/~viggo/papers.php
• Folkets synonymlexikon:http://lexin.nada.kth.se/synlex.html
• Folkets engelsk-svenska lexikon:http://folkets.nada.kth.se(tas i drift i november 2008)