Krzysztof Mossakowski mossakow@mini.pw.pl mini.pw.pl/~mossakow

1. Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia Krzysztof Mossakowski mossakow@mini.pw.edu.pl http://www.mini.pw.edu.pl/~mossakow

2. Przetwarzanie języka naturalnego • Natural Language Processing - NLP • „inteligentna analiza” • „zrozumienie znaczenia” • Zastosowania: • rozpoznawania mowy • synteza mowy • rozpoznawanie tekstu • narzędzia leksykograficzne • automatyczne tłumaczenia • analiza dokumentów

3. Słowa kluczowe • natural language processing • written text understanding • information retrieval, document retrieval • information extraction • text processing • language learning

4. Język naturalny • Problemy: • długie, wielokrotnie złożone zdania • różne znaczenia w różnych kontekstach • wyjątki gramatyczne • specjalne formatowanie tekstu • błędy (ortografia, gramatyka, interpunkcja)

5. Techniki NLP - Knowledge Base • Semantyczna reprezentacja i interpretacja poszczególnych słów w tekście • Słowniki • powiązania między słowami (synonimy) • Wiedza: • morfologiczna - budowa i odmiana wyrazów • syntaktyczna - składnia • semantyczna - znaczenie wyrazów • pragmatyczna - związki logiczne

6. Techniki NLP - Linguistic • Gramatyki i automaty • Zagadnienia: • stemming - pobranie podstawowego fragmentu słowa niezmiennego w odmianie • normalization - identyfikacja odmian słowa i redukcja ich do pojedynczej formy podstawowej • lemmatization - przynależność słów i fraz do grup • conflation - złączenie nieidentycznych słów w grupy wg znaczenia

7. Techniki NLP - Statistical (Probabilistic) • Zagadnienia: • klasyfikacja słów • segmentacja tekstu • częstość występowania słów (fraz) • Document Retrieval - prawdopodobieństw, że dokument odpowiada zapytaniu

8. Techniki NLP - Connectionist • Zagadnienia: • kojarzenie słów i fraz • predykcja następnego słowa w zdaniu • podział zdania na fragmenty funkcjonalne • wieloznaczność słów i fraz • automatyczne dopasowanie struktury i funkcji (SOM)

9. Techniki NLP - Semantic • Znaczenie wyrazów • WordNet • słowa (94 tys. rzeczowników, 10 tys. czasowników, 20 tys. przymiotników, 4 500 przysłówków) • określenie złożone • idiomy

10. Wybrane zagadnienia NLP • Wyszukiwanie dokumentów dla zadanego pytania • Wyszukiwanie słów kluczowych w tekście • Tworzenie podsumowania informacji • Odpowiadanie na pytania zadawane w naturalnym języku • Uniwersalność w sensie zakresu słownictwa • Uniwersalność w sensie języka

11. Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia