1 / 13

Spracovanie prúdu dát

Spracovanie prúdu dát. Jakub Ševcech p rof . M ária Bieliková. Prúd dát. Množstvo rôznych typov údajov: Finančné transakcie Logy webových aplikácií Merania zo senzorov (Fyzikálne experimenty, medicínske údaje, Eye-tracking ...) Potencionálne neohraničený prúd udalostí

dalton
Download Presentation

Spracovanie prúdu dát

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Spracovanie prúdu dát Jakub Ševcech prof. Mária Bieliková

  2. Prúd dát • Množstvo rôznych typov údajov: • Finančné transakcie • Logy webových aplikácií • Merania zo senzorov (Fyzikálne experimenty, medicínske údaje, Eye-tracking ...) • Potencionálne neohraničený prúd udalostí • Veľká rýchlosť, premenlivosť a objem • Obmedzenia výpočtových zdrojov

  3. Oblasti výskumu • Analýza časových radov • Detekcia anomálií v prichádzajúcom prúde údajov • Klasifikácia stavu prichádzajúceho prúdu údajov

  4. Kroky spracovania prúdu dát • Reprezentácia prúdu údajov • Výpočet podobnosti medzi časovými radmi • Rôzne úlohy analýzy časových radov • Zhlukovanie, klasifikácia, detekcia anomálií, objavovanie frekventovaných vzorov ...

  5. Reprezentácia časových radov

  6. Reprezentácia časových radov SAX Lin, J., Keogh, E., Lonardi, S., & Chiu, B. (2003). A symbolic representation of time series, with implications for streaming algorithms. Proceedings of the 8th ACM SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery - DMKD ’03, 2.

  7. Problémy • Problémy so šumom, posunutím a natiahnutím • Metódy pre spracovanie statických kolekcií údajov, nie prúdov dát

  8. Navrhnuté riešenie • Symbolická reprezentácia • Opakujúce sa vzory ako symboly • Porovnávanie vzorov metódou odolnou voči posunutiu, natiahnutiu a šumu

  9. Navrhnutá reprezentácia

  10. Podobnosť časových radov Chen, Y., Nascimento, M. a., Ooi, B. C., & Tung, A. K. H. (2007). SpADe: On Shape-basedPatternDetection in StreamingTimeSeries. 2007 IEEE 23rd International Conference on DataEngineering, 786–795.

  11. Porovnanie vzoru - SpADe • Odolná voči škálovaniu • -||- posunutiu • -||- natiahnutiu • -||- šumu • Schopná nájsť podsekvencie • Pracuje nad prúdom dát

  12. Použitie Analytika nad prúdom dát: • Kategorizácia stavu prichádzajúceho prúdu dát • horizontálne / vertikálne • Detekcia anomálnych stavov • Predikcia ďalšieho vývoja

  13. Ďalšia práca • Podobnosť na úrovni sekvencií symbolov • Analýza prúdu dát pomocou navrhnutej reprezentácie • Porovnanie s inými reprezentáciami na rôznych typoch údajov

More Related