Multilinguales Information Retrieval

1. Multilinguales Information Retrieval Ruprecht-Karls-Universität Heidelberg HS Information Retrieval WS 01/02 Ana Kovatcheva

2. Inhalt • Was versteht man unter MLIR • Einige Abkürzungen und Definitionen • Anwendungsgebiete und –Szenarien • Der Anfang • Die Basis-Konzepte • Einige wichtige Projekte • Resümee • Literaturangaben Ana Kovatcheva Multilinguales Information Retrieval

3. Was versteht man unter MLIR ? • Retrieval von Dokumenten, bei dem sich die Sprache der Anfrage (Query) von der Sprache der Dokumenten unterscheidet. • Dabei geht es immer um natürliche Sprachen und um die ursprüngliche Form der Texte im Dokumentenpool. Ana Kovatcheva Multilinguales Information Retrieval

4. Was ist MLIR nicht ? • Multilinguales Information Retrieval darf man nicht mit Suchmaschinen verwechseln, die eine mehrsprachige Eingabe erlauben und nur Texte in der Suchanfragesprache liefern. • Dabei handelt es sich um monolinguale Systeme, die mit verschiedenen Dokumenten-Pools arbeiten. Ana Kovatcheva Multilinguales Information Retrieval

5. Abkürzungen & Definitionen • MLIR – MultiLingual Information Retrieval • CLIR – Cross-Language Information Retrieval • TIR – Translingual Information Retrieval • MT – Machine Translation • ML – Machine Learning • HMM – Hidden Markov Modelling Ana Kovatcheva Multilinguales Information Retrieval

6. Abkürzungen & Definitionen (II) • VSM – Vector Space Model • GVSM - Generalized Vector Space Model • PRF – Pseudo Relevance Feedback • EBT – Example-Based Term Substitution • LSI – Latent Semantic Indexing • SVD – Singular Value Decomposition • TREC – Text Retrieval Conference Ana Kovatcheva Multilinguales Information Retrieval

7. Anwendungsgebiete • Dokumentenpool mit verschiedenen Dokumenten in verschiedenen Sprachen • Pool mit identischen Dokumenten in mehreren Sprachen • Beispiele für Variationen • Technische Dokumentation, in der oft englischer Jargon verwendet wird • Wissenschaftliche Arbeiten mit Beispielen in anderen Sprachen Ana Kovatcheva Multilinguales Information Retrieval

8. Anwendungsszenarien • Der Benutzer besitzt nur Lesekenntnisse – beherrscht die Sprache nur passiv, ist aber im Stande Gebrauch von den Texten zu machen • Der User beherrscht die Sprache nicht: • Recherche in Bilder- oder Musik-Datenpools • Recherche nach Personen, Institutionen, Forschungsgebiete • Vorauswahl von Dokumenten, die an einem Übersetzer weitergeleitet werden Ana Kovatcheva Multilinguales Information Retrieval

9. Der Anfang • 1964 IRRD (International Road Research Documentation) • 1969 SMART – Gerhard Salton at Cornell • Vector Space Ranked Text Retrieval System • Übersetzung von einem Teil der Wörter in einer existierenden Konzept-Liste ins Deutsche • Salton stellt fest: • Die CLIR-Effektivität variiert in verschiedenen Dokumentenpools • CLIR ist fast so effektiv, wie monolinguales IR • Es ist wichtig , vollständigere Thesauri zu entwickeln Ana Kovatcheva Multilinguales Information Retrieval

10. Der Anfang (II) • 1970 Pevzner – das russische System PNP-2 • „exact match controlled vacabulary text retrieval system“ • 1971 Verlangen nach einem Standart für Entwicklung von multilingualen Thesauri • 1971 Beginn der Entwicklung im Auftrag von UNESCO • 1973-1976 Spezifikation bei ISO • 1978 ISO 5964 in USA • 1982 GOST 7.24-80 in Russland Ana Kovatcheva Multilinguales Information Retrieval

11. Der Anfang (III) • Beispiel für IS0 5964: • EUROVOC – Thesaurus in allen neun Sprachen der EU plus einige andere • Sehr kostenintensiv, deckt nur einige Domänen • 1975 Bollmann und Konrad • die ersten Techniken zum Generieren von multilingualen Thesauri von monolingualen • 1988 Kitano (NEC) – generiert einen Japanisch-Deutsch Thesaurus mit einem dafür entwickelten Prozessor • ISSP – Intelligent String Search Processor Ana Kovatcheva Multilinguales Information Retrieval

12. Schlüsselfaktoren bei der Entwicklung • Bei den Evaluierungen der ersten CLIR-Systemen, spielte folgendes eine große Rolle: • Kosten - Thesauri-Entwicklung ist teuer;domäneabhängige Theasari sind nicht skalierbar • Der Nutzenfaktor bei unerfahrenen Benutzern ist sehr gering - „paraphrase problem“ • Daher ist Die Effektivität auch gering • Eins, der größten Probleme:einzelne Terme in einer Sprache entsprechen komplexen booleschen Ausdrücken in einer anderen. Ana Kovatcheva Multilinguales Information Retrieval

13. Die Basiskonzepte • Grobe Unterteilung zwischen: • MT-orientierte CLIR Systemen • Übersetzt werden entweder die Queries, oder • Die Dokumente • CLIR Systemen, die multilinguale Thesauri verwenden • Systeme, die auf gesteuerten Vokabularen basieren (controlled vocabulary) • Konzeptbasiertes CLIR • Korpus-orientierte CLIR Systemen • VSM, ML, HMM, LSI Ana Kovatcheva Multilinguales Information Retrieval

14. MT-Methoden in CLIR • Gebraucht wird ein vollautomatisches MT-System, das entweder das Query (q) oder das Dokument (d) in einen einsprachigen Repräsentationsraum (D) liefert. • Wissenschaftlicher Streit: manche Forscher behaupten, dass MT-basiertes CLIR eigentlich auf monolinguales IR reduziert ist. Ana Kovatcheva Multilinguales Information Retrieval

15. MT – Pro- und Contraargumente • Genauigkeit der Übersetzung • Queries sind oft einzelne Wörter ohne Kontext:d.h sie können nie richtig übersetzt werden • Maschinelle Übersetzung von Dokumenten ist akkurater angesichts der Menge der Information • Genauigkeit des Retrieval • MT von Dokumenten > MT von Queries • In der Praxis ist MT unmöglich für offene Domänen • MT ist ressourcenhungrig • Das Reindizieren ist sehr aufwändig Ana Kovatcheva Multilinguales Information Retrieval

16. Multilinguale Thesauri • Ein multilinguales Thesaurus ist in dem Sinne ein Werkzeug, was organisiertes Wissen beinhaltet – eine spezialisierte Ontologie, die mehrsprachige Terminologie organisiert. • Zum Beispiel: • Computerlinguistische Lexika mit syntaktischer und semantischer Information, aber auch • Simple bilinguale Listen, die exakte Übersetzungen von Termen enthalten Ana Kovatcheva Multilinguales Information Retrieval

17. Multilinguale Thesauri (II) • Zwei Arten der Benutzung: • Manuell: bei s.g „gesteuerten Vokabulare“ wird jedes Konzept mit einer eindeutigen Beschreibung versehen • Automatisch: wenn, die im Thesaurus kodierten Relationen, voll automatisch benutzt werden, wird die Technik „Concept Retrieval“ genannt Ana Kovatcheva Multilinguales Information Retrieval

18. Gesteuerte Vokabulare • Nachteile: • Sehr teuer, da in so einem System jedem Dokument händisch die zugehörigen Konzepte zugewiesen werden müssen. • Controlled Vocabulary Systems werden nur in beschränkten Domänen benutzt. • Schwer skalierbar • Schwer zu bedienen für unerfahrene Benutzer • Vorteile: • Sehr produktiv z.B in Bibliotheken, bei sich gut auskennenden Usern Ana Kovatcheva Multilinguales Information Retrieval

19. Konzept Retrieval • Einfache Möglichkeit: • Concept Substitution:Mit Hilfe einer Konzeptliste ersetzt man die einzelnen Terme mit den zugehörigen Konzeptklassen • Komplizierter und effektiver • Query Expansion:man benutzt die Konzeptrelationen im Thesaurus. Um den Query zu „erweitern“ Ana Kovatcheva Multilinguales Information Retrieval

20. Korpusbasierte Techniken • Die Alternative zu der Benutzung von Thesauri ist, dass man direkt statistische Information über die Terme gewinnt, indem man parallele Korpora benutzt. • Zur Erinnerung: • Inverse Dokument-Frequenz • Term-Frequenz und inverse Dokument-Frequenz Ana Kovatcheva Multilinguales Information Retrieval

21. Korpusbasierte Techniken (II) • Zwei Techniken für Automatisches Generieren von Korpora • Lin and Chen an der University of Arizona • Benutzen ML für die Konstruktion eines Chinesisch-Englischen Thesaurus mit Hilfe von Neuronalen Netzen • Entwickelt von van der Eijk von DEC • 1000 dänisch-englische Satzpaare • Identifizierung von Nominalphrasen mit Hilfe von einem einfachen Parser und einen POS-Tagger • Ausrechnen von Wahrscheinlichkeiten für jedes Term und seinen potentiellen Übersetzungen Ana Kovatcheva Multilinguales Information Retrieval

22. Term Vector Translation • Es geht im wesentlichen um Techniken, die Sätze von tfidf Termgewichtungen vergleichen • Relevance Feedback (RF) • Pseudo Relevance Feedback (PRF) • Vector Space Model (VSM) • Generalized Vector Space Model (GVSM) • Latent Semantic Indexing (LSI) • All diese Techniken sind Varianten von dem VSM von Salton Ana Kovatcheva Multilinguales Information Retrieval

23. Pseudo Relevance Feedback • RF ist im wesentlichen Query Expansion • Der User spielt Juror; bei ihm liegt die Entscheidung, ob ein Dokument relevant ist oder nicht. Die Entscheidungen werden für die Query Expansion benutzt und dienen der weiteren Suche. • Pseudo Relevance Feedback • Ein Teil der (best-rangierten)Dokumente, wird als relevant vorbestimmt und automatisch (ohne Nachfrage beim Benutzer) für das weitere Suchen benutzt. Ana Kovatcheva Multilinguales Information Retrieval

24. PRF für CLIR • Die Adaption von PRF für MLIR ist relativ einfach, wenn ein bilinguales Korpus vorhanden ist • Die einzelnen Schritte: • Finden der top-ranking Dokumente für eine Anfrage in der Ausgangssprache • Substituieren der entsprechenden Dokumente in der Zielsprache • Benutzen dieser Dokumente, um das entsprechende Query in der Zielsprache zu formulieren Ana Kovatcheva Multilinguales Information Retrieval

25. Generalized Vector Space Model • GVSM vs. VSM • Kritik an VSM: Benutzung von Termen als orthogonale Basis für den Vektorraum – Terme sind nicht immer semantisch unabhängig. • Die Grundidee bei GVSM ist die Benutzung von Dokumenten, anstatt Terme, als Basis für die Repräsentation der Terme. Ana Kovatcheva Multilinguales Information Retrieval

26. GVSM monolingual • Die Dokumentenmatrix m - Größe des K. ist das Trainingkorpus n - Zahl der Dok. • Die Dokumente sind die Spalten • Die Terme sind die Zeilen • Jeder Zeilen-Vektor repräsentiert die Häufigkeit mit der ein Term im Korpus auftaucht • Das Retrieval für GVSM ist definiert als: Ana Kovatcheva Multilinguales Information Retrieval

27. GVSM multilingual • Bilinguales Training-Korpus - zwei Matrizen: • A ist die Matrix für die Ausgangssprache • B ist die Matrix für die Zielsprache • Die aufeinanderzeigende Kolumnen in den Matrizen bilden die Dokumentpaare • A wird für Query-Transformation und • B für die Zielsprache-Dokument-Transformation • Das Retrieval für MLGVSM ist definiert als: Ana Kovatcheva Multilinguales Information Retrieval

28. Latent Semantic Indexing • Motivation • weder Terme noch Dokumente sind optimal für die Bildung des semantischen Raums • Standartmethoden scheitern bei relevanten Dokumenten, die keine, in die Query eingegebene Wörter enthalten, auch wenn der Kontext relevant ist • Wörter werden nicht voneinander unabhängig und zufällig verwendet: sie stehen in impliziten Abhängigkeiten (latent semantics) zueinander Ana Kovatcheva Multilinguales Information Retrieval

29. LSI (II) • Behauptung: Term-zu-Term Relationen können automatisch modelliert werden • Sehr sinnvoll für CLIR, da bei verschieden Sprachen direktes „term matching“ nicht möglich ist • LSI untersucht die Ähnlichkeit der Kontexte und „kreiert“ eine Repräsentation, in der Wörter, die im selben Kontext auftauchen, nahe beieinander liegen. (ein sinnvoll reduzierter Vektorraum) Ana Kovatcheva Multilinguales Information Retrieval

30. LSI (II) • LSI funktioniert rein numerisch • Es werden keine • Externe Thesauri • Dictionaries, oder • Wissen gebraucht • Verwendet wird ein Verfahren der linearen Algebra • Singular-Value-Decomposition (SVD) Ana Kovatcheva Multilinguales Information Retrieval

31. Kurzer Ausflug in SVD • Die Methode der SVD kommt aus der linearen Algebra und ist mit der Eigenvektor Decomposition verwandt • SVD wird in der digitalen Signalverarbeitung eingesetzt um signifikante, oft sinusförmige Signalanteile, in einem verrauschten Eingangssignal zu finden, oder um die komplexität digitaler Filter zu reduzieren. • Bei LSI trifft beides zu Ana Kovatcheva Multilinguales Information Retrieval

32. Translingual LSI • ist die Matrix der bilingualen Dokumentenpaare • A und B sind definiert wie bei GVSM sind die Matrizen des SVD • Das Retrieval für LSI ist definiert als: Ana Kovatcheva Multilinguales Information Retrieval

33. Vor- und Nachteile von LSI • Vorteile: • Berücksichtigung von Kontext und Bedeutung • Anfragen in jeder Länge (auch ein ganzes Dokument) möglich • Multilingualität ohne Übersetzung • Nachteile: • Probleme mit Mehrdeutigkeiten (Polysemen) • Zu aufwendig für grössere Dokumentenpools, daher nur für eingeschrenkte Domänen (Mengen) anwendbar Ana Kovatcheva Multilinguales Information Retrieval

34. Evaluierung • Die Evaluierungsdaten sind von dem Paper „Translingual Information Retrieval: A Comparative Evaluation“, s. Literaturhinweise • UN Multilingual Corpus von dem Linguistic Data Consortium • 2255 Dokumentenpaare (UNICEF Reports): englische Dokumente und deren spanischen Übersetzungen • Training- und Testdaten in beiden Sprachen betragen insgesamt 2 Millionen Wörter Ana Kovatcheva Multilinguales Information Retrieval

35. Evaluierung (II) • 30 Queries auf Englisch • Jede Methode wird trainiert • Alle Tests werden getrennt multilingual und monolingual durchgeführt • Alle Systeme wurden manuell optimiert • 11-Pt. Precision (TREC-Standards) Ana Kovatcheva Multilinguales Information Retrieval

36. Evaluierungsergebnisse Ana Kovatcheva Multilinguales Information Retrieval

37. Einige wichtige Projekte in CLIR • MULINEX – DFKI Eine Suchmaschine fürs WWWDeutsch, Englisch, Französisch • ERIC - The Educational Resources Information Center Spanische und deutsche Q für englische Texte;die Texte werden nach dem Retrieval übersetzt • LIRIX - Xerox Research Center Europe (XRCE) Französische und englische D mit englischen Q • IS-Russia – controlled vocabulary System Russische Dokumente mit englischen Queries • MTIR – chinesische Q und englische D (werden ins Chinesische übersetzt) • MUNDIAL – Queries in Englisch und Spanisch • MuST-Multilingual Summarization and Translation Englische Queries zum Suchen von indonesische, spanischen, arabischen und japanischen Dokumente Ana Kovatcheva Multilinguales Information Retrieval

38. Literatur • Douglas W. Oard, Bonnie J. Dorr. 1996. A Survey of Multilingual Text Retrieval. University of Maryland. • Christian Fluhr. 1998. Multilingual Information Retrieval. In Survey of the State of Natural Language Processing, pages 301-305. • Carbonell, Jaime G.;Yang, Yiming; Frederking, Robert E.; Brown, Ralf D.; Geng, Yibing; Lee, Danny. Translingual Information Retrieval: A Comparative Evaluation. Language Technologies Institute, Carnegie Mellon University. • Gregor Erbach, Günter Neumann, Hans Uskoreit. MULINEX, Multilingual Indexing, Navigation and Editing Extensions for the World-Wide-Web. Project Note. DFKI GmbH • Michael L. Littman, Susan T. Dumais, Thomas K. Landauer. 1996. Automatic Cross-Language Information Retrieval usin Latent Semantic Indexing Ana Kovatcheva Multilinguales Information Retrieval

39. Literatur (II) • Evans, D.A., Handerson, S.K., Monarch, I.A., Pereiro, J., Delon, L., Hersch, W.R 1998.- Mapping Vocabularies Using Latenet Semantic Indexing. In: Grefenstette G. – Cross-language Information Retrieval, Kluwer Academic Publishers, Boston, Dordrecht, London, pp. 51-52 • Ralf D. Brown. Automatically-Extracted Thesauri for Croll-Language IR: When Better is Worse. Language Technology Institute. Carnegie Mellon University. • Frederic C. Gey and Hailing Jiang. Englich-German Cross-Language Retrieval for the GIRT Collection – Exploiting a Multilingual Thesaurus. (UC DATA), University of California, Berkley. • Martin Franz, J Scott McCarley, Salim Roukos. 1999. Ad hoc and Multilingual Information Retrieval at IBM. IBM T. J. Watson Research Center. • Jinxi Xu and Ralph Weischedel. 1999. TREC-9 Cross-lingual Retrieval at BBN. BBN Technologies. • Douglas W. Oard. 1997. Serving Users in Many Languages – Cross-Language Information Retrieval for Digital Libraries. D-Lib Magazine. ISSN 1082-9873 Ana Kovatcheva Multilinguales Information Retrieval

40. Literatur (III) • Martin Braschler, Carol Peters, Peter Schäuble. CLIR Track Overview. Eurospider Information Tech AG, Zürich; Instituto Elaborazione Informazione (CNR):Piza • Atsushi Fujii and Tetsuya Ishikawa. Cross-Language Information Retrieval for Technica Documents. University of Library and Information Science, Tsukuba, Japan. • Frederic Gay and Atio Chen. TREC-9 Cross-Language Information Retrieval (Englich-Chinese) Overview. University of California, Berkley Ana Kovatcheva Multilinguales Information Retrieval

41. Online Highlights • http://raven.umd.edu/dlrg/clir/ Research Ressources in CLIR (Douglas Oard) • http://citeseer.nj.nec.com NEC Research Index in Language Processing (die beste Quelle für CLIR-Papers) • Die Webseiten der einzelnen Projekte (verlinkt auf Folie 35) Ana Kovatcheva Multilinguales Information Retrieval

42. ... the end ... ENDE Ana Kovatcheva ani@kovatcheva.de Department of Computational Linguistics University of Heidelberg January 2002 Ana Kovatcheva Multilinguales Information Retrieval