MI 2003/9 - 1

1. MI 2003/9 - 1 • Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen ismérvek, jelentés szerint - be kell sorolnunk az osztályokba. Először statisztikus módszerek.

2. MI 2003/9 - 2 • Kiindulás: tulajdonságvektor (feature) - ez általában véletlentől függő értékekből épül fel. Valószínűségszámítási alapfogalmak: eseménytér, valószínűségi változó. • Tulajdonság-tér felosztása, döntési (diszkriminancia) függvény. Egyszerű példa: egy- illetve kétváltozós eset, lineáris elválasztási lehetőséggel.

3. MI 2003/9 - 3 • Első-, másodfajú hiba fogalma döntések esetében: illusztráció Gauss féle (normális) eloszlás esetében. Két, illetve több osztály esete. • Példa: a 0 és az 1 elkülönítése - szélesség mérése (egyváltozós eset). Hogyan vehető az eltérő osztály-valószínűség figyelembe?

4. MI 2003/9 - 4 • Amit megfigyelünk, nem tudjuk, honnan (melyik osztályból) származik: keverék-eloszlás. • A prior és a posteriori valószínűségek.

5. MI 2003/9 - 5 • Bayes szabály: P(A|B) = P(B | A) • P(A) /P(B) • Bayes tétel: a Bayes szabályban a nevezőt a teljes valószínűség tételével adjuk meg

6. MI 2003/9 - 6 • Jelölések Tulajdonságvektor: d dimenziós folytonos (valós, Rd) Osztályok száma: c (1, 2, …, c) Veszteségfüggvény: a lehetséges választás (1, 2, …, a). Veszteség(függvény): (ij) (az i-dik választást tettük, a tényleges osztály j volt)

7. MI 2003/9 - 7 • Jelölje a j-dik osztályhoz tartozó sűrűségfüggvényt p(xj). Az osztályok a priori valószínűségeit jelölje P(j). Ekkor az a posteriori P(jx)-t a Bayes tétel adja: ahol

8. MI 2003/9 - 8 • Tegyük fel, hogy valamilyen x vektort figyeltünk meg, az i választást tettük, és a tényleges osztály j. Ekkor a veszteségünk: A veszteség várható értékét kockázatnak nevezzük (Bayes kockázat), az előző kifejezést feltételes veszteségnek. Ezt akarjuk minimalizálni.

9. MI 2003/9 - 9 • Két osztály esete. Két választás: 1 jelentse az 1 választását, 2 pedig az2 -t. Legyen Ekkor az előző egyenletből: továbbá

10. MI 2003/9 - 10 • A legjobbnak tűnő választás a kockázat minimalizálása, vagyis 1 választása, ha Ez az előző egyenletekből: A Bayes tétel alkalmazásával azt kapjuk, hogy akkor kell 1-et választanunk, ha

11. MI 2003/9 - 11 amit feltételezésével az alábbi alakba írhatunk: ahol a baloldalt likelihood (valószínűségi) hányadosnak hívják.

12. MI 2003/9 - 12 • A minimális hibaarányt adó osztályozás: a kockázatfüggvényt válasszuk úgy, hogy 0 legyen, ha jó az osztályozás (11=22=0), illetve egy, ha hibás (12=21=1). Ekkor a feltételes veszteség általánosan:

13. MI 2003/9 - 13 • Vagyis ebben az esetben a döntési szabály a már korábbiakból ismert: válasszuk az i-t, ha minden j  i -re.

14. MI 2003/9 - 14 • Diszkrimincia-függvények, határoló felületek: olyan gi(x) (i=1,2,…,c) függvények (diszkriminancia-függvények), amelyek segítségével az i döntést hozzuk, ha gi(x)> gj(x) minden j  i-re.

15. MI 2003/9 - 15 • Valójában az előzőekben már definiáltunk diszkriminancia-függvényeket: például a minimális hibaarány esetében a gi(x)=P(ix) diszkriminancia függvényt definiál. • Normális eloszlások vizsgálata.

16. MI 2003/9 - 16 • Még egy, szokásos és fontos átfogalmazás: lényegében távolságfüggvényeket kell számolnunk. Az első esetnél ez lényegében az euklideszi távolság:

17. MI 2003/9 - 17 • A második esetnél pedig a Mahalanobis távolság: • Mindkét esetben az osztály középpontoktól számított távolságok minimuma határozza meg a döntést.

18. MI 2003/9 - 18 • Példa. Két osztály, mindkettőnek 4-4 pontja ismert: (2,6), (3,4), (3,8), (4,6) (1,-2), (3,-4), (3,0), (5,-2) Ekkor 1, 1, 2, 2, továbbá a mátrixinverzek kiszámíthatók, azonos a priori valószínűségek mellett a döntési felület: x = 3,514 - 1,125y + 0,1825y2

19. MI 2003/9 - 19 • Hibavalószínűségek. Két osztály, egydimenziós eset: az egyenest két osztályra bontjuk, 1-re és 2-re. P(hiba) = P(x2,1) + P(x1,2) = P(x2|1)P(1) + P(x1 |2) P(2) =

20. MI 2003/9 - 20 • Minimalizálásra példa: 2.17 ábra

21. MI 2003/9 - 21 • Alkalmazás: jelérzékelés (ROC -receiver operating charasteristic- görbék). Zajos körülmények között (Gauss eloszlás) mérünk jeleket. Ha van jel, 2 a várható érték, ha nincs, 1 (vagyis p(x|i)=N(i,2)). • Megkülönböztethetőség:

22. MI 2003/9 - 22 • Szemléltetés: 2.19 ábra

23. MI 2003/9 - 23 • Lehetséges kimenetek valószínűségei: P(x>x*|x2): találat P(x>x*|x1): hamis riasztás (másodfajú hiba, téves pozitív lelet) P(x<x*|x1): hibázás (elsőfajú hiba, pozitív tünet fel nem ismerése) P(x<x*|x2): helyes elvetés

24. MI 2003/9 - 24 • Sok kisérlet esetén a valószínűségek x* függvényében becsülhetők: ROC görbék (receiver operating characteristic). Szokásos független változók: találat (y tengely) hamis riasztás (x tengely) Vissza: 2.19 ábra ROC görbe: 2.20 ábra

25. MI 2003/9 - 25 • 2.20 ábra: különböző d értékekhez tartozó ROC görbék

26. MI 2003/9 - 26 • Bayes döntések nehézsége: nagyon sok becslésre lehet szükség. Segíthet: Valószínűségi háló (belief network) - egy gráf - csúcsai valószínűségi változók halmazai, - irányított (közvetlen befolyás), körmentes - minden csúcshoz egy feltételes valószínűségi tábla (“szülők hatása”)

27. MI 2003/9 - 27 Példa: riasztó beszerelése (jelzi a földrengést is), két szomszéd, Mária és János, akik telefonálnak, ha szól a riasztó (a riasztó nem tökéletes, János nem mindig tudja a riasztót a telefontól megkülönböztetni, Mária fülhallgatóval hallgat zenét …). Mindezeket valószínűségi táblákkal adjuk meg - számok a táblán.

28. MI 2003/9 - 28 • Az alapegyenlet: Ennek segítségével számoljuk a valószínűségeket - csak a tényleges függőségben levők számítanak.

29. MI 2003/9 - 29 • Hálók építése: - változók meghatározása, - sorrend kijelölése, - amíg van érintetlen változó, a. vegyünk egy ilyet, adjuk a csúcsokhoz, b. határozzuk meg a szüleit, c. adjuk meg a feltételes val.-ek tábláját.

30. MI 2003/9 - 30 • Általános eljárás: adatgyűjtés tulajdonságok kiválasztása (tudás!) modell választása (tudás!) osztályozó tanítása osztályozó értékelése