1 / 14

Stav projektu FIITaSME

Stav projektu FIITaSME. Peter Vojtek Michal Barla. Kto. Mária Bieliková Michal Barla Mišo Kompan J án Suchal Dušan Zeleník Peter Vojtek (koordin átor ). Oblasti spolupráce. Čitateľovi sa odporúčajú články na základe toho, čo už čítal (odporúčanie človek → článok)

meris
Download Presentation

Stav projektu FIITaSME

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Stav projektu FIITaSME Peter Vojtek Michal Barla

  2. Kto • Mária Bieliková • Michal Barla • Mišo Kompan • Ján Suchal • Dušan Zeleník • Peter Vojtek (koordinátor)

  3. Oblasti spolupráce • Čitateľovi sa odporúčajú články na základe toho, čo už čítal (odporúčanie človek→článok) • Zoznam odkazov „Podobné články“ pod článkom (odporúčanie článok → článok)

  4. Odporúčanie človek → článok

  5. Odporúčanie človek → článok

  6. Odporúčanie človek → článok

  7. Odporúčanie človek → článokzdrojové dáta • Každú hodinu sa sťahujú logy zo SME: • happened_at • ip_address • cookie • sme_id • url • referer • user_agent

  8. Odporúčanie človek → článokAko na to? • je veľa spôsobov, ako človeku odporučiť nové články na základe už prečítaných • ale ako to spraviť rýchlo? • za 24 hodín • 775k záznamov (pageviews) • 168k rôznych cookies (= čitateľov)

  9. Odporúčanie človek → článok Ako na to? • budeme si pamätať 3 dni • odporúčať iba na základe toho, čo je v logoch • ideme odporúčať Jankovi: • nájdi články ktoré čítal • nájdi tých, ktorí tiež čítali tieto články • nájdi články, ktoré títo ostatní čítali, ale Janko nie • nejako ich zoraď

  10. Odporúčanie človek → článok Ako na to? • aby to bolo rýchle, vytvárajú sa každú hodinu nanovo dve tabuľky: • cookies_per_document: • sme_id • cookies • documents_per_cookies: • cookie • documents

  11. Kód visit_doc_ids = Visit.all(:conditions => {:cookie => cookie.to_i}) users = DocumentsPerCookie.search(visit_doc_ids) documents = CookiesPerDocument.search(user_ids.join) documents.each_with_weighting do |document, weight|

  12. Odporúčanie človek → článokSkúsenosti • nad dátami za posledných 72 hodín: • 0,5M cookies • 75K článkov • fulltextovo sa v nich vyhľadáva: • človeku články • článkom ľudia • je to fulltext, ale nie nad textom • vyhľadáva sa cez Sphinx, ktorý to hneď aj zoraďuje podľa relevantnosti

  13. Odporúčanie človek → článok Skúsenosti • každú hodinu sa: • stiahne log • rozzipuje sa (zipy po minútach), nasype do db • vytvoria sa odporúčacie tabulky • vytvoria sa indexy • trvá to rádovo minúty • odporúčanie pre zadanú cookie: • trvá 2 sekundy

  14. Logy zo SME • Každú hodinu sa sťahujú logy zo SME: • happened_at, ip_address, cookie, sme_id • url, referer, user_agent • na hranie sa: • trojdňový log dostupný tu: • http://nimbus.fiit.stuba.sk/auth/sme-log • login/pwd ako do AISu

More Related