Orvosi alkalmazások grafikus megjelenítése

1. Orvosi alkalmazások grafikus megjelenítése Megyesi Zoltán Dr. Tornai Róbert

2. Áttekintés • Együttműködés a Komputergrafika és a Nukleáris Medicina tanszékek között • Az orvosi képalkotás teljes folyamatát lefedő szoftverfejlesztés • Partnerkapcsolat a MEDISO Kft.-vel • A fejlesztőcsoport vezetője Dr. Emri Miklós 9. Gyires Béla Informatikai Nap

3. A képalkotás fizikai háttere 9. Gyires Béla Informatikai Nap

4. Az orvosi képalkotás folyamata • Adatgyűjtés • Képrekonstrukció a gyűjtött adatokból • A rekonstruált képek feldolgozása • Vizualizáció 9. Gyires Béla Informatikai Nap

5. Adatgyűjtés - MiniPET Ethernet technológia Minden detektor külön IP-címmel rendelkezik A gyűjtött adatokat UDP protokollon keresztül küldjük a serveralkalmazásnak Az adatgyűjtés vezérlése TCP protokollon Real-time koincidencia válogatás (időablak 5-6 ns) LOR (Line of Response) file: adott koincidenciavonalban a mért események száma 9. Gyires Béla Informatikai Nap

6. Adatgyűjtés 9. Gyires Béla Informatikai Nap

7. Képrekonstrukció • Analitikus módszer • Iteratív módszer Egy túlhatározott egyenletrendszer megoldása statisztikus közelítéssel(maximum likelihood becslés alkalmazása a paraméter legvalószínűbb értékére). Iteratív módszert használunk a közelítéshez. SM * LOR = IMG SM: A detektorrendszer geometriáját, ill. a voxelek egymáshoz viszonyított kapcsolatát írja le SM[i,j]: Mekkora a valószínűsége, hogy a rekonstruálható térfogat i-edik voxele valamilyen mértékben hozzájárul a j-edik LOR-hoz 9. Gyires Béla Informatikai Nap

8. Képrekonstrukció • MLEM, OSEM algoritmusok (OSEM: MLEM+Lor subset, gyorsabban konvergál) • SM tárolása kritikus Memória, háttértár, cluster, valósidejű előállítás • SM generálása: CPU/GPU technológiák • Monte-Carlo szimuláció 9. Gyires Béla Informatikai Nap

9. System matrix • Valós példa MiniPET: (detektorok * kristályok * detkoinc) / 2 = LOR 1.6 millió LOR Voxelszám 128^3 • LOR * Voxelszám = SM shortban iterációnként 6.1 TB • Memóriába nem fér, háttértár lassú Realtime SM számítás CPU cluster, vagy GPU 9. Gyires Béla Informatikai Nap

10. Architektúra, teljesítmény 9. Gyires Béla Informatikai Nap

11. Képfeldolgozás • Multimodális orvosi képfeldolgozás Funkcionális (PET) és anatómiai (CT) fúziója • 2D Slice, 3D Volume, 4D Gated • Volume-ok memóriában szegmentált területen • GPU memóriában 2D vagy 3D texturában • Regisztráció, ROI/VOI, Transzformációk 9. Gyires Béla Informatikai Nap

12. Eszközkészletünk egy része: 9. Gyires Béla Informatikai Nap

13. Vizualizáció • Célja az orvosok támogatása a képek értelmezésében (szakorvosi igények) • OpenGL környezet • Különféle vizualizációs módok • CG, GLSL shaderek • Filterezés, palettakezelés • Eredmény: 6 FPS -> 90 FPS 9. Gyires Béla Informatikai Nap

14. Legújabb fejlesztéseink 9. Gyires Béla Informatikai Nap

15. BrainCAD • ABrainCAD jelenleg az agy megjelenítésében csak az ortogonális metszeteket használja 9. Gyires Béla Informatikai Nap

16. Új megjelenítési módok • Egy új, Oblique-nak nevezett metszet típuson dolgozunk a BrainCAD szoftverhez, ami a volume-ok meglévő Coronal, Axial és Sagittal megjelenítését egészíti majd ki • Négydimenziós megjelenítés a térbeli képek sorozatához (például szívfelvételek) • Sávkiemelt kép készítése egy adott intenzitásérték környezetében 9. Gyires Béla Informatikai Nap

17. Tetszőleges irányú metszetek A modern grafikus kártyák 3D és multitextúrázásfunkcióira nagymértékben építünk 9. Gyires Béla Informatikai Nap

18. Diffusion Tensor Imaging • A vizsgálat tárgya Az emberi agy fehérállománya • Cél Az agy belső struktúrájának a vizualizációja (C++, OpenGL) • Módszer Fiber tracking, amit White Matter Tractography-nak is hívnak (WMT) • FeladatElkészíteni a megjelenítendő adatokat a diffuzióval súlyozott MRI adatokból 9. Gyires Béla Informatikai Nap

19. Alapvető fogalmak • Tract: olyan szálak együttese, amelyek azonos kiindulási és végződési ponttal rendelkeznek • White Matter Tractography (WMT): a fehérállomány szálainak iránybecslésén alapul felhasználva a víz diffúziós tulajdonságát • Anizotropikus diffúzió: az iránnyal változó diffúziós tulajdonság • Diffúziós tenzor: egymásodrendű szimmetrikus tenzor, ami leírja az anizotropikus diffúziót 9. Gyires Béla Informatikai Nap

20. Diffúziós tenzor N irányban végrehajtott diffúzióval súlyozott mérésekből a következő mátrix egyenletet írhatjuk fel: ahol B az összes kódoló gradiens hatásáttartalmazza, és A tartalmazza a megfelelő logaritmikusjelarányokat 9. Gyires Béla Informatikai Nap

21. Az alkalmazott algoritmus • Az algoritmus bemenete • diffúzióval súlyozott képsorozat (25) • egy alapkép 9. Gyires Béla Informatikai Nap

22. A kiértékelés • Az egyes voxelekhez tartozó összes adatot egyszerre el lehet érni iterátorok használatával • A voxelek adatait összegyűjtjük • Amennyiben ez lehetséges, a gradienseket (B) kiszámoljuk, egyébként alapértékeket használunk • AzAvektor komponenseit meghatározzuk • A túlhatározott egyenletrendszert a legkisebb négyzetek módszerével oldjuk meg (ehhez a matematikai eszközöket a GSL függvényei biztosítják) • A voxelenként kapott 6 értéket állományokba írjuk 9. Gyires Béla Informatikai Nap

23. Dyy Dxx Dxy Dxz Dyz Dzz Az alkalmazott algoritmus • Az algoritmus kimenete 6 állomány, amely tartalmazza a megfelelő tenzor elemeket az egyes voxelekhez 9. Gyires Béla Informatikai Nap

24. Diffúziós ellipszoid • A diffúziós tenzor ortogonális vektorrendszert (x’, y’ és z’) határoz meg az egyes voxeleksajátvektorai alapján. • A diffúziót egy ellipszoiddalábrázolhatjuk, a főtengelyek hosszát a tenzor sajátértékeinek gyökei határozzák meg, az irányait pedig a tenzor sajátvektorai. 9. Gyires Béla Informatikai Nap

25. E1x E1y E1z E2x E2y E2z E3x E3y E3z λ1 λ2 λ3 Az előfeldolgozás eredménye • 3 sajátérték  3 állomány • 3 sajátvektor  9 állomány 9. Gyires Béla Informatikai Nap

26. A DTI kiterjesztése • Összehasonlítási és kiindulási alapként a csapat implementálta a standard Fiber imaging algoritmusokat (pl.: Diffusion Tensor Imaging) • Jelenleg a DTI javításán dolgozunk, különös tekintettel a szálak elágazásának és összefésülésének problémájára 9. Gyires Béla Informatikai Nap

27. Ellipszoidos megjelenítés A DTI eredményének egy lehetségesvizualizációs módja 9. Gyires Béla Informatikai Nap

28. Statikus szálmegjelenítés forrás: wikipedia.org Ennek a módszernek a részecskerendszeres animált fejlesztése indult el egy szakdolgozat keretén belül ebben a félévben. 9. Gyires Béla Informatikai Nap

29. Kombinált módszer Azt tervezzük, hogy az elkészült ellipszoid és részecske rendszert tetszőleges állású vágósíkok segítségével kombináltan tudjuk megjeleníteni 9. Gyires Béla Informatikai Nap

30. 3D irányítás • 3D mouse - Connexion SpaceTraveler • 6 szabadsági fokkal rendelkezik • A meglévő egerünket egészíti ki 9. Gyires Béla Informatikai Nap

31. http://petdisk.atomki.hu/m3i Köszönjük a kitüntető figyelmüket! 9. Gyires Béla Informatikai Nap