Learning Content Models for Semantic Search

1. Learning Content Models for Semantic Search Eran Peer Hila Shalom

2. Contents • Brief overview of the system requirements. • Detailed System architecture. • Main classes and their relationships. • Overview of User Interface. • Overview of algorithms. • Brief overview of the Tasks List.

3. Main Functional Requirements • End users: the user enters a query in natural language. The user gets an answer that helps him navigate and understand the structure of the corpus. • Content manager: gets new documents and add them to a repository. • Administrator: gets statistics from the use of the system, learn from them and update the hierarchical division to topics accordingly.

4. Main Non-Functional Requirements • The system works interactively with the users. • The inputs come from the users. • At our simulation, we will use beta-users that will use the system and will help us make it more user-friendly. • The user should understand how to use the system in 10 minutes. • The user can prepare the input in 10 seconds. • The user can interpret the output in 2.5 minutes.

5. System architecture Client Server LDA : Jar HTTP Client : Java script HTTP XML Request create HTTP Server OfflineAlgorithm Manager Manager TopicModel Archives GUI Morphological Analyzer SolRJ HTTP SolR Query SolR HTTP Server : War Full Text Index

6. Main classes MorphologicalAnalysis MetaData Article TopicNode MorphologicalAnalyzer Archives OfflineAlgorithm Manager LDA TopicModel SolR Manager Servlet

7. End User

8. A Visual Example הקש טקסט לחיפוש חפש

9. A Visual Example הקש טקסט לחיפוש כואב לי הראש, יש לי צמרמורות וחולשה חפש

10. A Visual Example תוצאות עבור החיפוש "כואב לי הראש, יש לי צמרמורות וחולשה": חפש בתוצאות חיפוש חדש • כאב ראש חזק ומתמשך שמצריך בירור • כל מה שרציתם לדעת על: אני בת 29, בריאה בדרך כלל, למעט ניתוחים אורתופדיים שעברתי ביד בעקבות שבר. בחודש האחרון התחילו להופיע אצלי כאבי ראש בעוצמה מאוד חזקה. • נושא:כאבי ראש כרוניים, ניתוחים אורתופדיים בגפיים • עץ נושאים: • רפואת ילדים (20) • כאבים שונים אצל ילדים (10) • מחלות נגיפיות בקרב ילדים (7) • חום אצל ילדים (3) • כאבים כרוניים (12) • כאבים שונים אצל ילדים (10) • כאבי ראש כרוניים (1) • כאבי בטן חוזרים (1) • מחלות נפש (8) • סכיזופרניה (4) • מחלות נפש בעקבות טראומה (2) • פסיכואנליזה (2) כאבי ראש בילדים התלונה על כאבי ראש שכיחה אצל ילדים והיא עלולה להופיע כבר בגיל שנתיים, ללא קשר עם הופעת חום או מחלה נלווית אחרת. כאב ראש מתמשך אצל ילדים... נושא:כאבים שונים אצל ילדים, תופעות לוואי של תרופות לילדים, כאבי ראש כרוניים נמצאו 102 מאמרים עמוד 1 : מאמרים 1 עד 2 ללכת לעמוד הבאללכת לעמוד האחרון

11. A Visual Example תוצאות עבור החיפוש "כואב לי הראש, יש לי צמרמורות וחולשה": דברים שקשורים לכאבים שונים אצל ילדים חפש בתוצאות חיפוש חדש על דלקת עיניים אצל ילדים דלקת עיניים אצל ילדים עלולה להופיע בלחמית, בקרנית או בעפעפיים. דלקת עיניים יכולה להיגרם כתוצאה מחיידק, וירוס או מאלרגיה. אבחון מוקדם של דלקת עיניים עשוי לפתור את הבעיות ביעילות נושא:כאבים שונים אצל ילדים, רפואת עינים • נושאים מרחיבים • רפואת ילדים (20) • כאבים כרוניים (12) • נושאים מצומצמים • כאבי ראש אצל ילדים (4) • כאבי שיניים אצל ילדים (3) • כאבים אצל ילדים בגיל הרך (2) • כאבים לא ברורים אצל ילדים (2) • כאבי עיניים אצל ילדים (1) כאבי ראש בילדים התלונה על כאבי ראש שכיחה אצל ילדים והיא עלולה להופיע כבר בגיל שנתיים, ללא קשר עם הופעת חום או מחלה נלווית אחרת. כאב ראש מתמשך אצל ילדים... נושא:כאבים שונים אצל ילדים, תופעות לוואי של תרופות לילדים, כאבי ראש כרוניים נמצאו 41 מאמרים עמוד 1 : מאמרים 1 עד 2 ללכת לעמוד הבאללכת לעמוד האחרון

12. A Visual Example על דלקת עיניים אצל ילדים מאת: ד"ר חיים סטולוביץ' תאריך: 11.05.06 נושא:כאבים שונים אצל ילדים, רפואת עיניים דלקת עיניים אצל ילדים עלולה להופיע בלחמית, בקרנית או בעפעפיים. דלקת עיניים יכולה להיגרם כתוצאה מחיידק, וירוס או מאלרגיה. אבחון מוקדם של דלקת עיניים עשוי לפתור את הבעיות ביעילות כאשר העין של התינוק או הילד מציקה, כואבת, נפוחה, דביקה ומפרישה הפרשות, סביר להניח כי הוא סובל מ"דלקת עיניים". ישנם סוגים רבים של דלקות עיניים הנבדלות בגורמים להן, בסימפטומים שלהן, באופן הטיפול ובמשך זמן ההחלמה. דלקת עיניים יכולה להיות ממוקמת בלחמית, בקרנית ובעפעפיים והגורם לה יכול להיות חיידק, וירוס או אלרגיה. ישנה חשיבות רבה לאבחון נכון של סוג הדלקת על ידי רופא עיניים ולטיפול מתאים, כדי למנוע סיבוכים ונזקים בלתי הפיכים. ראה עוד מסמכים: מאת ד"ר חיים סטולוביץ' משנת 2006 בנושא: כאבים שונים אצל ילדים, רפואת עיניים

13. ContextManager

14. A Visual Example הקש טקסט לחיפוש הוספת מאמר חפש

15. A Visual Example הקש טקסט לחיפוש כואב לי הראש, יש לי צמרמורות וחולשה הוספת מאמר חפש

16. A Visual Example תוצאות עבור החיפוש "כואב לי הראש, יש לי צמרמורות וחולשה": חפש בתוצאות חיפוש חדש • כאב ראש חזק ומתמשך שמצריך בירור • כל מה שרציתם לדעת על: אני בת 29, בריאה בדרך כלל, למעט ניתוחים אורתופדיים שעברתי ביד בעקבות שבר. בחודש האחרון התחילו להופיע אצלי כאבי ראש בעוצמה מאוד חזקה. • נושא:כאבי ראש כרוניים, ניתוחים אורתופדיים בגפיים • עץ נושאים: • רפואת ילדים (20) • כאבים שונים אצל ילדים (10) • מחלות נגיפיות בקרב ילדים (7) • חום אצל ילדים (3) • כאבים כרוניים (12) • כאבים שונים אצל ילדים (10) • כאבי ראש כרוניים (1) • כאבי בטן חוזרים (1) • מחלות נפש (8) • סכיזופרניה (4) • מחלות נפש בעקבות טראומה (2) • פסיכואנליזה (2) מחק כאבי ראש בילדים התלונה על כאבי ראש שכיחה אצל ילדים והיא עלולה להופיע כבר בגיל שנתיים, ללא קשר עם הופעת חום או מחלה נלווית אחרת. כאב ראש מתמשך אצל ילדים... נושא:כאבים שונים אצל ילדים, תופעות לוואי של תרופות לילדים, כאבי ראש כרוניים מחק נמצאו 102 מאמרים עמוד 1 : מאמרים 1 עד 2 ללכת לעמוד הבאללכת לעמוד האחרון

17. A Visual Example תוצאות עבור החיפוש "כואב לי הראש, יש לי צמרמורות וחולשה": חפש בתוצאות חיפוש חדש נמחק בהצלחה הערה • כאב ראש חזק ומתמשך שמצריך בירור • כל מה שרציתם לדעת על: אני בת 29, בריאה בדרך כלל, למעט ניתוחים אורתופדיים שעברתי ביד בעקבות שבר. בחודש האחרון התחילו להופיע אצלי כאבי ראש בעוצמה מאוד חזקה. • נושא:כאבי ראש כרוניים, ניתוחים אורתופדיים בגפיים • עץ נושאים: • רפואת ילדים (20) • כאבים שונים אצל ילדים (10) • מחלות נגיפיות בקרב ילדים (7) • חום אצל ילדים (3) • כאבים כרוניים (12) • כאבים שונים אצל ילדים (10) • כאבי ראש כרוניים (1) • כאבי בטן חוזרים (1) • מחלות נפש (8) • סכיזופרניה (4) • מחלות נפש בעקבות טראומה (2) • פסיכואנליזה (2) מחק OK כאבי ראש בילדים התלונה על כאבי ראש שכיחה אצל ילדים והיא עלולה להופיע כבר בגיל שנתיים, ללא קשר עם הופעת חום או מחלה נלווית אחרת. כאב ראש מתמשך אצל ילדים... נושא:כאבים שונים אצל ילדים, תופעות לוואי של תרופות לילדים, כאבי ראש כרוניים מחק נמצאו 102 מאמרים עמוד 1 : מאמרים 1 עד 2 ללכת לעמוד הבאללכת לעמוד האחרון

18. A Visual Example הקש טקסט לחיפוש הוספת מאמר חפש

19. A Visual Example חיפוש קובץ הקש טקסט לחיפוש C:\Article\MedicArticle MedicArticle.txt EyePainArticle.txt HeadacheArticle.txt BlackDeathArticle.txt PlaguesArticle.txt אוספת מאמר חפש OK

20. A Visual Example חיפוש קובץ הקש טקסט לחיפוש C:\Article\MedicArticle MedicArticle.txt EyePainArticle.txt HeadacheArticle.txt BlackDeathArticle.txt PlaguesArticle.txt EyePainArticle.txt אוספת מאמר חפש OK

21. A Visual Example פרטים על המאמר הקש טקסט לחיפוש נושא מחבר אוספת מאמר חפש תאריך OK

22. A Visual Example פרטים על המאמר הקש טקסט לחיפוש נושא כאבי עניים בראשית העת החדשה מחבר אוספת מאמר חפש ד"ר כלשהוא תאריך 1/4/2/07 OK

23. A Visual Example הוסף בהצלחה הערה הקש טקסט לחיפוש OK אוספת מאמר חפש

24. System Manager

25. A Visual Example הקש טקסט לחיפוש קבל סטטיסטיקות עדכן אלגוריתם עדכן עץ היררכיה חפש

26. A Visual Example עץ נבנה בהצלחה הערה הקש טקסט לחיפוש OK קבל סטטיסטיקות עדכן אלגוריתם עדכן עץ היררכיה חפש

27. A Visual Example הקש טקסט לחיפוש קבל סטטיסטיקות החלף אלגוריתם עדכן עץ היררכיה חפש

28. A Visual Example חיפוש קובץ הקש טקסט לחיפוש C:\Article\Alogrithms BFS.Jar Dijkstra.Jar NewLDA.Jar MergeSort.Jar BinarySearch.Jar קבל סטטיסטיקות החלף אלגוריתם התחל עץ חפש Update

29. A Visual Example חיפוש קובץ הקש טקסט לחיפוש C:\Article\Alogrithms BFS.Jar Dijkstra.Jar NewLDA.Jar MergeSort.Jar BinarySearch.Jar קבל סטטיסטיקות החלף אלגוריתם התחל עץ חפש NewLDA.Jar Update

30. A Visual Example אלגוריתם הוחלף בהצלחה הערה הקש טקסט לחיפוש OK קבל סטטיסטיקות החלף אלגוריתם עדכן עץ היררכיה חפש

31. A Visual Example הקש טקסט לחיפוש קבל סטטיסטיקות החלף אלגוריתם עדכן עץ היררכיה חפש

32. A Visual Example שמירת קובץ הקש טקסט לחיפוש C:\Statistic\ Statistic for march 2005.stat Statistic for march 2008.stat קבל סטטיסטיקות החלף אלגוריתם התחל עץ חפש Save

33. A Visual Example שמירת קובץ הקש טקסט לחיפוש C:\Statistic\ Statistic for march 2005.stat Statistic for march 2008.stat קבל סטטיסטיקות החלף אלגוריתם התחל עץ חפש Statistic for June 2011 Save

34. A Visual Example סטטיסטיקות נשמרו בהצלחה הערה הקש טקסט לחיפוש OK קבל סטטיסטיקות החלף אלגוריתם עדכן עץ היררכיה חפש

35. The Offline Algorithm • Go over the archive, For each article - do Morphological Analysis • Use the LDA algorithm to create the topic model. • Tag all the articles by the Topic Model. • Insert the tagged articles to SolR.

36. The LDA Algorithm • Go over the archive, For each article - do a list of the words distribution. • Build key words for topics by sampling words in the articles. • Create the Topic Model for the topic and the sampled words. • The Topic Model tags each article with the suitable topics.

37. Main Task List

38. Any questions???