BelAmI Spring Workshop 2011 - AAL and Zigbee Applications

1. BelAmI Spring Workshop 2011 • Az előadások prezentációit küldjék el a gordos@ikti.hu címre • Az előadások fóliái és anyagai felkerülnek a http://www.belami-project.hu/ honlapra

2. AAL Lab, Zigbee, Alkalmazások Vajda Lóránt vajda@ikti.hu Megyesi Csaba megyesi@ikti.hu BelAmI Spring Workshop Budapest, 2011. március 1.

3. BelAmI AAL általában • BAY-IKTI AAL Team • http://www.ikti.hu/aal/ • 1.1. Részfeladat • AAL Labor és egységes/szabványos AAL szolgáltatási keretrendszer megvalósítása • 1.2. Részfeladat • ZigBee eszközkészlet keretrendszerének megvalósítása • 1.4. Részfeladat • Otthonautomatizálási és egészségfelügyeleti AAL alkalmazás • Vajda Lóránt, vajda@ikti.hu

4. AAL Labor és egységes/szabványos AAL szolgáltatási keretrendszer megvalósítása R1.1

5. Otthonfelügyelet alapjai és jövője • Szociális és demográfiai változások • Egyedülálló, idős emberek saját otthonukban? • Rossz életviteli szokások  betegségek kialakulása • Infokommunikációs eszközökkel megoldható felügyelet • Tevékenységek felismerésével és vizsgálatával megelőzhető • Múltja  pánikgombos riasztás • Jövője  IP alapú számtalan alkalmazás: • Felismerés, • Riasztás, • Követés, • Tanácsadás. • Vajda Lóránt, vajda@ikti.hu

6. Tevékenységfelismerés otthon • Szenzorok: • Mozgásérzékelő, • Elektromos áram, • Nyomásérzékelő, • Nedvesség és hőmérséklet, • Fényérzékelő, • Testhelyzet felismerés stb. • Tevékenységek (ADL-ek): • Hol van? Mennyi ideig? • Nappali, fürdő, konyha, stb • Mit csinál? • Reggelizik, kis-nagy dolog, tisztálkodik, TV-zik, stb. • Vajda Lóránt, vajda@ikti.hu

7. Tevékenységfelismerés otthon (folyt.) • Valós idejű adatszolgáltatás: • Folyamatos követés; • Riasztásgenerálás; • Testhelyzet felismerés: ül, áll, sétál, elesett. • Statisztikai adatszolgáltatás: • Visszanézni a historikus adatokat; • Igény szerinti szűrési feltételek beállítása; • Esetleges riasztási feladatok definiálása; • Trendek meghatározása. • Vajda Lóránt, vajda@ikti.hu

8. Megoldandó feladatok • Automatikus viselkedésfelismerés. • Új alapokon nyugvó viselkedésdetektáló módszerek kidolgozása. • Adatbányászati módszerek bevezetése. • Etikai kérdések megválaszolása: Nagy Testvér effektus eloszlatása • Biztonságos adatkezelés • Vajda Lóránt, vajda@ikti.hu

9. Részterületek, alkalmazások Néhány alkalmazás: • Idős, egyedül élő emberek segítő felügyelete, • Betegség alatti otthoni felügyelet • Lakás biztonsági felügyelete • Hatósági szolgáltatás pl. háziőrizet • Kedvencek mozgásának ellenőrzése kutya/macska stb. • Vajda Lóránt, vajda@ikti.hu

10. ZigBee eszközkészlet keretrendszerének megvalósítása R1.2

11. Áttekintés • AAL rendszerek ad-hoc kódolt rádió hálózattal • Intelligens otthon, szenzorokkal és aktuátorokkal • ZigBee chip választása • Koordinátor, szenzorok és aktuátorok EM250 chip alapon • Telegesis modul firmware-e xIDE fejlesztőrendszerrel • Telegesis modul AT parancskészlete és előfeldolgozott szenzorálás • EM250 AD bemenetei és I/O portjai • IKTI fejlesztésű ZigBee-s HW eszközök • GuardBelt, VMS (video mozgás érzékelő), VoiceActuator • Szenzorok és aktuátorok energiaellátása • AAL Labor kiépítése

12. AAL rendszerek ad-hoc kódolt rádió hálózattal • Ambient Assisted Living (Életvitelt Támogató Szolgáltatások) rendszerek igénye a kommunikációval szemben • Támogatott-szolgáltató között (Web, IP, mobil SMS) • HVK/Gateway – sensors/actuators (RF ad-hoc comm.) • ISM sáv vagy ZigBee ( 2,4GHz-en11-26 csatornák)

13. Intelligens otthon, szenzorokkal és aktuátorokkal • Otthoni környezetünk szenzorokkal felszerelve a biztonságunk-, kényelmünk érdekében és az egészségi állapotunk megfigyelésére, esetleges állapotromlásunk előjelzésére/vészjelzésére • Bármit működtethetünk gombnyomásra, így „a kacsa fél nyolckor csenget” effektus valósággá válhat… • Tevékenységünk ellenőrzése (tűz-, víz-, baleset kár-megelőzés, egészségügyi felügyelet stb.)

14. ZigBee chip választása • A választék: • Melyik a jobb? • FreeScale • EMBER • Chipcon – Texas Instruments • xBee • Telegesis modul (EM250 alapon az ETRX2)

15. Koordinátor szenzorok és aktuátorok EM250 chip alapon • EM250 firmware fejleszthető xIDE rendszerrel • Telegesis modul (ETRX2) is fejleszthető xIDE-vel • Telegesis modul önálló szenzor/aktuátor működtetése xIDE-s firmware-rel • Telegesis modult AT parancsokkal mikrokontroller elő-feldolgozott szenzorált adataival vezérli

16. Telegesis modul firmware-e xIDE fejlesztőrendszerrel • ETRX2 TG modul • Sorozatgyártott modul • EMBER ZigBee stack • 17 programozható I/O • 4 AD bemenet • 32kHz és 24MHz clk • xIDE-vel fejlesztett firmware letölthető a Telegesis modulba

17. Telegesis modul AT parancskészlete és elő-feldolgozott szenzorálás • Szenzor+mikrokontroller+TG modul • Elő-feldolgozott szenzoradat AT paranccsal továbbítva • Az IKTI-ben megvalósított szenzor és aktuátor példák

18. EM250 AD bemenetei és I/O portjai • A TG modul képe • A TG modul blokksémája

19. IKTI fejlesztésű ZigBee-s HW eszközök • Mikrovezérlő nélküli HW eszközök • Multiszenzor (PIR, light, temp., door sensor) • 4 csatornás switch • 4 konnektor fogyasztás érzékelője • Szék-, fotel-, ágy foglaltság érzékelője • Mikrovezérlőt tartalmazó HW eszközök • GuardBelt, VMS, VoiceActuator

20. Szenzorálható környezeti paraméterek Az IKTI a felsorolásban szereplő jellemzőket képes mérni/ vezérelni ZigBee-s eszközeivel: Ágy-, szék-, fotel foglaltság érzékelés Hálózati áram fogyasztás érzékelése X10 fogyasztók működtetése Testhelyzet és mozgásfajta (megy, fut, elesik) érzékelés Kamerás mozgás érzékelés Hangüzenet bemondó • Hőmérséklet • Páratartalom • Fény • Nyomás • Mozgás PIR • Ajtó nyitás/zárás • Hang/zaj érzékelés • Ajtózár működtetés 2011. március 1., Budapest, BelAmI Spring Workshop

21. Megvalósított HW mote-k

22. GuardBelt, VMS (video mozgás érzékelő), VoiceActuator • GuardBelt • Testhelyzet detektálása • Fekszik, ül, áll, megy, elesik... • Vészjelző gomb • VMS • 60x80 ff/ 480x640 color pixel kamerakép • Realtime képfeldolgozás (60x80) • Mozgáskiértékelés, color képvétel, küldés • VoiceActuator • ISD hangtároló (120 sec) • Tárolt hangüzenetek vezérlése ZigBee hálózaton 2011. március 1., Budapest, BelAmI Spring Workshop 22

23. Video Motion Sensor Technikai jellemzők: • CMOS panel kamera • 80x60 pixel fekete fehér kép • 640x480 pixel színes kép • PIR érzékelőhöz kapcsolható Főbb feladatai: • Mozgás detektálás • Riasztás küldés • ZigBee router VMS szenzor

24. Video Motion Sensor • Mozgás detektálás: 1. kép 2. kép Különbség kép Eredmény kép • Megvilágítás változás hatása: 1. kép 2. kép Különbség kép Eredmény kép

25. Voice Actuator Technikai jellemzők: • 2 perces hanganyag • Tetszőleges számú üzenet • Mikrofon + Hangszóró Főbb feladatai: • Figyelmeztetéseklejátszása • Vészhelyzet esetén megerősítés kérése • ZigBee router Voice Actuator

26. Voice Actuator Hangüzenet felvétel ZigBee üzenet Hangüzenet lejátszás Orvos HVK Voice Actuator Páciens Nyugtázás (nyomógomb) Nyugtázás (ZigBee üzenet) Nyugtázás (internet, SMS)

27. GuardBelt Jellemzői: • Hordozható • 3 dimenziós gyorsulásérzékelő • Testpozíciók érzékelése • Mozgásformák érzékelése • Mozdulatlanság érzékelése • Viselés érzékelés • Pánik gomb • Nyugtázó gomb • Alacsony energia fogyasztás GuardBelt

28. GuardBelt

29. GuardBelt Továbbfejlesztés: Régi GuardBelt: • Combon hordozható • 8cm x 5,5cm x 2,5cm méret • Nagy méret miatt kényelmetlen viselet Új GuardBelt: • Comb + csukló egység • Kb. ötödére csökkent térfogat (4,5cm x 3cm x 1,5cm) • Kényelmesebb viselni • Csukló egységen: • Pulzus mérés • pulzoximetria

30. Szenzorok és aktuátorok energiaellátása • 4dBm szintű adás: 56mA-es fogyasztás • 17dBm szintű adás: 104mA-es fogyasztás (ETRX2-PA) • Vétel: 36mA-es fogyasztás • Sleep mód: 1,5µA (32,768kHz-es CLK)

31. AAL Labor építése • Egy kislakás 31 nm-en • Gipszkarton falak • Önálló villamos hálózat (X10) • IKTI-s szenzorok és aktuátorok telepítése • HVK a koordinátor (LAN, Web és GSM) • Lehetőség más rendszerekkel való összehasonlításra

32. AAL Labor • Szenzorokkal felszerelt kislakás • Minden helységben 1-1 multisensor • Foglaltság szenzorok: • Ágy (hálószobában) • Fotel (nappaliban) • Szék (konyhában) • Vill. fogyasztás szenzorok: • Mikrosütő (konyhában) • Vízforraló (konyhában) • Állólámpa (nappaliban) • TV (nappaliban) • Éjjeliszekr.lámpa (hálószobában)

33. R1.4: Otthonautomatizálási és egészségfelügyeleti AAL alkalmazás • Esés- és pozíció-felismerés okostelefonnal • Otthonokban használható orvosi műszerek: Personal Electric Nurse

34. Meglévő algoritmus • GB következtetés: • A jó felismeréshez legalább 50 ms mintavételi idő kell • Az android OS és a HTC G1 telefon képességeinek felmérésére egy tesztprogrammal • Mérési eredmények:

35. Tesztprogram

36. Az alkalmazás • Háttérszolgáltatásként fut • Elesés érzékelésekor: • Teljes képernyős riasztás, visszajelzési lehetőséggel • Általános figyelmeztetése (Android notification) megjelenítése • Ha nincs válasz, telefonhívás indítása, és vagy SMS küldése

37. Riasztási képernyő

38. Testhelyzet-felismerés • Orientáció alapján megállapított testhelyzetek

39. Tervek • widget készítése, ami a fő képernyőn mutatná a felismert testhelyzetet, illetve statisztikák megjelenítését tenné lehetővé • Intelligens indítás és leállítás. A telefon rendeltetésszerű használata ne eredményezzen téves adatokat • Napi rutin monitorozása, abnormális helyzetek vizsgálata

40. Áttekintés - PEN • Otthonápolási rendszerek trendjei • PEN rendszer helye az otthon felügyelő rendszerekben • Rendszer követelmények • PEN – rendszerkövetelmények • PEN – rendszerterv • Használható szenzorok • Kommunikációs modulok • Statisztikák és vészjelzés • Megjelenítő és adatgyűjtő rendszer • Összefoglalás

41. Otthonápolási rendszerek trendjei • Megfigyelő rendszer: • Rendszerelemek viselhetősége • Szenzorok • Adatgyűjtő egységek • Kommunikációs modulok • A felhasznált technológia • Olcsó • Megbízható • Általánosan használt eszközök, kompatibilitás biztosítása • Szabványos • Gyűjtött adatok: • Gyors feldolgozás a vészhelyzetek jelzésére • Szenzoradatok fúziója • Hosszú távú adattárolás a későbbi analízis érdekében • Energiafogyasztás: • Hosszú működési periódus • Alternatív energiaforrások használata

42. PEN rendszer helye • Kisméretű viselhető adatgyűjtő egység • Szenzor adat elő feldolgozás • Könnyű használat • Egyszerű felhelyezhetőség • Nagyon egyszerű kezelhetőség • Állandó manuális vészjelző funkció • Emlékeztető feladat: periodikus mérésekre, gyógyszerek beszedésére

43. PEN - rendszerkövetelmények • Együttműködés a létező rendszerekkel és szabványokkal • Szenzorok illesztése speciális letölthető szoftver modulok segítségével • A limitált erőforrások hatékony kihasználása (EnOcean szenzorok) • Adatok előfeldolgozása és hosszabb tárolása (fekete doboz effektus) • Tárolásra hagyományos memória kártya használata • Vészhelyzetek jelzése kis késleltetéssel

44. PEN - rendszerkövetelmények • Alacsony energiafogyasztás • Csökkentett kommunikációs hálózati forgalom • Adat szűrés • Adat tömörítés • Hatékony csatorna választása • Komplex energiaforrás és erőforrás menedzsment • Alacsony előállítási költség • Általános fejlesztési környezet és elektronikai alkatrészek használata • Kipróbált, sokat használt technológiák felhasználása (megbízhatóság biztosítása)

45. PEN rendszerterv A mobil egység • Szenzorok: • Vezeték nélküli • Vezetékes • PEN mobil eszköz • Adatgyűjtő rendszer • Különböző kommunikációs technológiákat használó területek: • Wifi • ZigBee/Bluetooth • Telepített technológia nélküli terület: (GSM / UMTS) Kórházi környezetbeállítás

46. Használható szenzorok • Viselhető szenzorok átfogó kutatása: • SOTE-s hallgatók együttműködésével • Periodikus mérést végző szenzorok könnyű csatlakoztatása, figyelmeztési rendszer kifejlesztése • Epizodikus szenzorok : Energiatakarékos megoldások felhasználása • Statisztikák az autonóm mérésidőzítéshez • Illesztett szenzorok: • EKG • Vérnyomásmérő • Betegpozícionálás • Jövőben illesztendő rendszerek • Pulzus oximéter • Testhőmérséklet mérés • Bőrfeszültség mérés • EMG • EEG

47. Kommunikációs modulok • Követelmények • Alacsony energiafogyasztás: • Komplex kommunikációs modulválasztó eljárások (Mindig a legjobb paraméterekkel rendelkezőt választjuk) • Paraméterek • Kis energiafelhasználás • Leggyorsabb adatátvitel • Elérhetőség • Mindig csak az adott környezetben használható modul csatlakoztatása a rendszerhez. • Semelyik kritérium nem mehet a biztonság rovására!! • Használható modulok vizsgálata: • Bluetooth (illesztve) • Zigbee (illesztve) • GSM/UMTS • WiFi • USB (illesztve)

48. Statisztikák, vészjelzés • Szenzor adatok gyors előfeldolgozása: • Hatékony és gyors vészjelzés • Trendfigyelés, beteg általános értékeihez történő igazodás (egyszerű tanuló algoritmusok használata) • Életjelek hosszú távú tárolása: • Utólagos analízis lehetőség • Személyes és általános kiváltó okok keresése • Gyógyszeradagok pontos beállítási lehetősége • Összetettebb Orvosi és ápolói felügyelet • Manuális vészjelzés, illetve vészjelzés érvénytelenítés

49. Megbízhatóság és biztonság • Fontos kritériumok • Folyamatos elérhetőség • A veszély-közelinek ítélt események jelzése • Kicsi késleltetés a bekövetkezés és a jelzés elküldése között • Érvénytelen vészjelzések törlése • Hatékony vészjelzés érvényesítési stratégia

50. Megjelenítő és adatgyűjtő rendszer • Megjelenítő rendszer: • Platform független megoldás készítése • PDA, PC, Laptop, Mobiltelefon • Könnyű és egyszerű kezelhetőség az orvosok és ápolók számára • Gyors és biztonságos rendszer elérés biztosítása (személyes adatok védelme) • Adatgyűjtő rendszer • Biztonságos és gyors adatfeldolgozás és tárolás • Egyszerű illeszthetőség a már létező rendszerekbe • Szabványos megoldások használata • Mérési paraméterek és működtető szoftver egységek • Korábban gyűjtött beteg specifikus értékek eltárolása és felhasználása a feldolgozásban