1 / 21

Detekcija anomalija

Detekcija anomalija. Kovačevic Milena 09/3255 Kovacevic.mln@gmail.com. Sadržaj. Uvod Procena gustine Procena parametara ( gausova raspodela ) Algoritam Evaluacija algoritma Zaključak. Detekcija anomalije. Često korišćena tehnika u machine lerning -u

fadey
Download Presentation

Detekcija anomalija

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Detekcijaanomalija Kovačevic Milena 09/3255 Kovacevic.mln@gmail.com

  2. Sadržaj • Uvod • Procenagustine • Procenaparametara (gausovaraspodela) • Algoritam • Evaluacijaalgoritma • Zaključak

  3. Detekcijaanomalije • Čestokorišćenatehnika u machine lerning-u • To je unsupervized learning tehnika, alipostojeaspektikojisusupervized • Detektovanjepaterna u setupodatakakojinisuuobičajeni(ne spadaju u “normalno” ponašanje).

  4. (vibration) (heat) Detekcijaanomalije: primer Atributiavionskogmotora: = emitovanatoplota = intenzitetvibracija … Dataset: Novi motor:

  5. Procenagustine Dataset: Da li imaanomaliju? (vibration) (heat)

  6. Detekcijaanomalije: primer 1. Detekcijaupada u sistem: = atributiaktivnostii-tog korisnika Model p(x) izpodataka. Identifikacijaneuobičajenihkorisnikaproverom 2. Monitoring mašinau data centru. atributimašine = upotrebamem, = brojpristupadisku /sec, = CPU load, = CPU load/network traffic. …

  7. Procenaparametara: uvod Dataset:

  8. Gausovaraspodela: primer

  9. Non-gaussianatributi

  10. Detekcijaanomalije: algoritam • Izaberu se atributizakoje se misli da mogubitiindikacijaprimerasaanomalijom. • Nađuse parametri • Zanovi primer izračuna se kao: Ako je to je anomalija

  11. Primer

  12. Pretpostavimo da imamooznačeni(labeled) set podataka (anomalija , “normalan ” ). Teningset: (pretpostavićemo da suprimeribezanomalije) Krosvalidacioniset: Test set: Evaluacijaalgoritma: uvod Kada se razvijaalgoritamučenja (biranjeatributa, itd.), donošenjeodluke je mnogolakšeakoimamonačinada procenimoefikasnostalgoritma.

  13. Treningset: 6000 ispravnihmotora CV: 2000 ispravnihmotora( ), 10 saanomalijom( ) Test: 2000 ispravnihmotora ( ), 10 saanomalijom( ) Avionskimotori primer 10000 ispravnih(normalnih) motora 20 Motorasagreškom(anomalijom)

  14. Evaluacijaalgoritma Napravitimodel natreningsetu NA krosvalidacionom /test primeru, predvideti Evalucionemetrike: - True positive, false positive, false negative, true negative - Precision/Recall - F1-score Zaizborparametramože da se koristi I kros-validacioni set

  15. Kakoizabratiatribute: analizagreške Želimovelikozanormalneprimere i malozaprimeresaanomalijom. Najčešćiproblemi: je uporedivo (tipa, veliko)izanormalneizaprimeresaanomalijom

  16. Monitoring mašina u data centru Izabratitakveatributekojimogu da uzmuneuobičajenovelike (male) vrednosti u slučajuanomalije. = iskorišćenjememorije = brojpristupadisku/sec = CPU load = mrežnisaobraćajrastulinearno, x5 = x3/x4 Ako se zaglavi u nekojnpr. beskonačnojpetlji,CPU load je veliki, a saobracajmali – anomalija.

  17. (Memory Use) (CPU Load) (CPU Load) (Memory Use)

  18. Detekcijaanomalije vs. Supervised learning Velikibrojpozitivnih I negativnihprimera. Dovoljnopozitivnihprimera da sistemnaučikakooniizgledaju. Budućipozitivniprimeriličenadosadašnje Mali brojpozitivnihprimera( ). (0-20 ). Velikibrojnegativnihprimera( ). Puno različitih “tipova” anomalija. Teško se izpozitivnihprimeraučikakoanomalijeizgledaju; Budućeanomalije ne ličena one do sad.

  19. Detekcjaanomalije vs. Supervised learning • Email spam klasifikacija • Vremenskaprognoza. • Klasifikacijakancera • Detekcijaupada u sistem • Proizvidnja (prim. avionskimotori) • Nadziranjemašina u data centru

  20. Upotreba • Jošjednaupotrebaovogalgoritma je da se koristikaopretproces da bi se podacisaanomalijomukloniliiz seta podataka. • Uklanjanjepodatakasaanomalijomčestorezultuje u mnogoboljimperformansamasupervizedalgoritmakoji se zatimkoristi.

  21. Pitanja? Hvala

More Related