SAYISAL GÖRÜNTÜ İŞLEMEDE ÖZEL KONULAR

1. SAYISAL GÖRÜNTÜ İŞLEMEDE ÖZEL KONULAR GÖRÜNTÜ BÖLÜMLEME (IMAGE SEGMENTATION) Hazırlayan 4550013 Petek TATLI

2. İçerik 1. Görüntü Bölümleme 1.1. Otomatik Görüntü Bölümlemedeki Sorunlar 1.2. Görüntü Bölümlemenin Temel Adımları 1.2.1.Görüntü basitleştirme 1.2.2.Özellik çıkarma (Feature Extraction) 1.2.3.Karar (Decision) 1.2.4.Kalite kestirimi (Quality Estimation) 2. Örnek Uygulamalar 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 4. Tıp Alanında Görüntü Bölümleme 4.1. Bölümlemenin Tıp Alanında Uygulamaları

3. İçerik 5. Görüntü Bölümlemede Çeşitli Yöntemler 5.1. Watershed Segmentation 5.2. Active Contour Model 5.3. Raster Tabanlı Sınır Belirleme 5.4. Vektör Tabanlı Sınır Belirleme 5.5. Eşik Değer Atama Yöntemi ile Bölümleme 5.6. Doku Tabanlı Bölümleme 6. Uygulamalar 6.1. 2-B Sonuçları 6.2. 3-B Sonuçları 7. Kaynaklar

4. 1. Görüntü Bölümleme Tanım: Görüntüyü çeşitli öğelere ayırma işlemine bölümleme adı verilir.Tüm otomatik görüntü tanıma sistemlerinin çok önemli bir parçasıdırçünkü bugünkü yöntemlerle, tanımlama, tanıma gibi daha fazla değerlendirmelerin yapılması için görüntüden önemli kümeler çıkartılabilmektedir.

5. 1.1 Otomatik Görüntü Bölümlemedeki Sorunlar • Nesnelerin farklı yapı ve büyüklükte olması, • Görüntüde oldukça fazla sayıda konu dışı detayların olması, • Nesnelerin pürüzlü, düz olmayan yapılara sahip olması.

6. 1.2. Görüntü bölümlemenin temel adımları • Görüntü basitleştirme (Image Simplification) • Özellik çıkarma (Feature Extraction) • Karar (Decision) • Kalite kestirimi (Quality Estimation)

7. 1.2.1. Görüntü basitleştirme Görüntüdeki bazı verileri yok ederek, görüntünün daha basit hale gelmesini sağlamaktır. Bu teknik morfolojik filtrelere dayanan yeniden yapılandırma amacıyla kullanılan bir tekniktir.

8. 1.2.2. Özellik Çıkarma Görüntünün homojen bölgelerinde bulunan nesneleri tanımlamak anlamına gelmektedir.

9. 1.2.3. Karar Özellik çıkarma aşamasında belirlenen bölge dış hatlarının doğru yerleştirilmesini sağlama işlemini gerçekleştirmektedir. Karar aşaması “morphologic watershed” algoritmaları ile yerine getirilir.

10. 1.2.4. Kalite Kestirimi Son aşama olan kalite kestirimi, geçerli bölümleme tarafından uygun şekilde gösterilmeyen bölgelere ait artık (residue code) bilgi olarak bilinen bilgileri içeren görüntünün saptanmasını sağlamaktadır. Artık bilgi: Bölümlemeler arası ilerlenmesini sağlamak amacıyla, bir sonraki safhaya geçiş için kullanılmaktadır.

11. 2. Örnek uygulamalar Orjinal görüntü bölümlenmiş sınırları çıkarılmış görüntü görüntü

12. o Orjinal görüntü bölümlenmiş sınırları çıkarılmış görüntü görüntü

13. 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 3 boyutlu görüntü işlemenin en temel işlevlerinden biri, piksellerin grup veya nesne olarak sınıflandırıldığı görüntü bölümlemesidir. 3 boyutlu görüntü bölümleme; çoklu nesneler için 3B modelleme oluşturmayı ve görüntü üzerinde belirlenmiş nesnelerin boyut, yoğunluk ve diğer parametreleri ile ilgili nicel analizler gerçekleştirmeyi mümkün kılar.

14. 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 3 boyutlu analiz ve gösterimlerin yapılabilmesi için, özellikle 3 boyutlu modelleme aşamasında,nesne sınırlarının belirlenmesi gerekmektedir.

15. 4. Tıp Alanında Görüntü Bölümleme Tıbbi görüntülerde görüntü bölümleme parça parça 2B olarak veya direkt 3B voksel veri grupları üzerinden yapılmaktadır. 16 bitlik piksel 0 ile 65535 arasında ve 8 bitlikpiksel 0 ile 255 arasında değişen gri değer aralığına sahiptir. Birçok tıbbi görünteleme sistemi 16 bitlik gri değer aralığını kullanarak görüntü üretmektedir.

16. 4. Tıp Alanında Görüntü Bölümleme Tıbbi görüntülerde birçok yararlı çalışmalar yapılabilmektedir ; ilgili nesnenin görsel ve hacimsel tahmini, olağan dışı yapıların belirlenmesi (tümör vb.), doku nicel analiz ve sınıflandırması vb.

17. 4.1 Bölümlemenin Tıp Alanında Uygulamaları • Görüntü yönetiminde Ameliyatlar (Image Guided Surgery) • Cerrahi Simulasyon??? (Surgical Simulation) • Sinirbilim Çalışmaları (Neuroscience Studies) • Tedavi Çalışmaları ( Theraphy Evaluation)

18. 5. Görüntü Bölümlemede Çeşitli Yöntemler • Watershed Segmentation • Active Contour Model • Raster Tabanlı Sınır Belirleme • Vektör Tabanlı Sınır Belirleme • Eşik Değer Atama Yöntemi ile Bölümleme • Doku Tabanlı Bölümleme

19. 5.1. Watershed segmentation Bu yöntem, görüntü üzerindeki nesnenin topolojik yapısından yararlanarak, gri değerler üzerinden işlem yapar ve nesnenin sınırlarının belirlenmesini sağlar.

20. Watershed oluşumunda ‘Dalma’ (Immersion) benzetmesi

21. Nesnenin ilk görüntüsü iç ve dış bölge işaretlenmiş hali nesnenin topolojisi ‘immersion’(dalma) Örnek1 uygulaması

22. Nesnenin watershed algoritması ile sınırları çıkartılmış son hali..

23. Yukardan aşağıya ve sağdan sola; • Orjinal görüntü • ‘Gradient’ görüntü • ‘watershed’ algoritması uygulanmış ‘gradient’ görüntü • Sınırların belirlendiği son görüntü Örnek 2

24. İlk görüntü iç ve dış bölgelerin işaretlenmiş hali görüntünün son hali Örnek 3

25. 5.2. Active Contour Model Enerjilerini küçülterek işlem uygulamalarından dolayı ‘Snake’ olarak da bilinen bu model, kenar yakalama işleminden daha farklıdır. Yöntem sürekli ve/veya kavisli bir hat oluşturur. İç( modelin fiziksel özelliklerinden oluşur,’smoothness’ vb) ve dış güçler (görüntünün verilerinden oluşur) nesnenin üzerine uygulanarak, görüntüdeki nesne sınırı ile dengeli pozisyona gelir. Watershed yöntemi ile beraber uygulanması tercih edilir.

26. (a) (b) (c)original image morphological gradient image over segmented image (d) (e) (f) Watershed boundry for avoiding watershed contour spleen problem (c) converted to an active contour segmentation showing the internal and externel catchment basins

27. (d) “Active contour” ile yumuşatılmışgörüntüye entegre edilmiş (c) görüntüsü (a) (b) (c) CT data grubu yarı şeffaf modellenmiş 3B watershed bölümleme ile data grubu bölümlenmiş uyluk kemiği

28. 5.3. Raster Tabanlı Nesne Sınır Belirlenmesi Genellikle 3 boyutlu görüntüleme sistemlerinde her pikselinhangiobjeye ait olduğunu gösteren değer ve konumsalbilgileri içeren, raster tabanlı veri yapısı kullanılır. Bu yapının avantajı basit ve hemen hemen orjinal görüntü ile özdeş olmasıdır. Ancak bu yapıdaki verilerin saklanması üzerinde işlemlerin gerçekleştirilebilmesi düzeltmelerin yapılabilmesi çok güçtür. Yüzey tanımlama algoritmaları her ne kadar sağlam olsa da, yüzey modeli oluşturma aşamasında milyonlarca üçgen ve poligon oluşacağından, hızlı sonuç vermesi beklenen uygulamalar için uygun değildir.

29. 5.4. Vektör Tabanlı Nesne Sınır Belirlenmesi (Vector Based Object Boundaries) Vektör tabanlı veri tabanı nesne ve bölge gösterimi için çok daha etkili bir yoldur. Vektör tabanlı veri yapısında birbirine bağlı çizgilerden poligon veya bölgeler oluşturulur ki, çizgilerin sadece 2 noktadan meydana geldiği düşünülürse, raster tabanlı veri yapısına göre bilgisayar hafızasında ne kadar az yer kaplayabileceği anlaşılabilir.

30. Raster tabanlı veri yapısı ve vektör tabanlı veri yapısı şekilde karşılaştırılmıştır.

31. 5.5. Eşik Değer Atama Yöntemi ile Görüntü Bölümleme Eşik değer atama yöntemi ilegörüntü bölümlemesi yapılmadan önce ilgili bölgenin belirlenmesi, görüntü işlemeyi sınırlandırmış olur ve böylece konu dışı alanlarda işlem yapılması engellenir. Diğer nesnelerden ve arka görüntüden ayırdedilebilir olan nesneleri içeren görüntüler için çok güçlü bir yöntemdir.

32. Eşik Değer Atama Yöntemi Görüntü Bölümlemede ikiye ayrılmaktadır; • Global Eşik Değer Atama ile Tam Otomatik Görüntü Bölümlemesi (Fully automatic image segmentation by global thresholding ) • İnteraktif Eşik Değer Atama (Interactive Thresholding)

33. Global Eşik Değer Atama ile Tam Otomatik Görüntü Bölümlemesi Öncelikle 3 boyutlu görüntünün histogramı hesaplanmakta, sonrasında görüntüyü nesne ve arka görüntü olmak üzere 2’ye bölecek en uygun eşik değer otomatik olarak belirlenmektedir.

34. İnteraktif Eşik Değer Atama Bu yöntem eşik değer belirlemesi için 2 değer kullanmaktadır. Eşik değerler, aralık dahilindeki pikseller bir renk diğer tüm pikseller ise başka bir renk ile gösterilecek şekilde oluşturulur. Eşik değerler ekranda eş zamanlı olarak görüntülenebildiğinden, değerler görüntü üzerinde lokal olarak belirlenebilmekte ve bölüm bölüm de değiştirilebilmektedir.

35. İnteraktif Eşik Değer Atama Şekil, bu yöntemin uygulaması sonucunda oluşmuştur.

36. 5.6. Doku Tabanlı Bölümleme (Texture-Based Segmentation ) Tıbbi görüntülerde, nesnelerin belirli bir doku tipi olduğundan; kan damarları, beyin dokusu, kemikler gibi, görüntü bölümlemesi için çok zengin bir doku bilgisi mevcuttur. Çok ciddi düzeyde yapı bilgisine sahip bazı nesneler için yapı tabanlı bölümleme, eşik değer atama ile elde edilen bölümlemeye oranla çok daha doğru sonuç vermektedir.

37. 5.6. Doku Tabanlı Bölümleme (Texture-Based Segmentation ) Doku tabanlı bölümleme, kullanıcı tarafından belirlenen yapı özelliklerinin hesaplandığı denetimli alanı ile başlar ve sonrasında hesaplanan özelliklere göre görüntünün sınıflandırılması ile devam eder. Nesne sınırları ve sınırların birbiri ile topolojik ilişkileri oluşturulur.

38. Doku Tabanlı Bölümleme

39. 6. Uygulamalar...

40. Bu uygulamada ultrasondan elde edilen görüntülerdeki yabancı yapıların dış hatlarının modellenmesi ve yapı sınırlarının belirlenmesi işlemi “görüntü bölümleme” yöntemi ile gerçekleştirilmiştir. Manuel olarak sinirlar belirlenmistir.. Algoritma ile sinirlar belirlenmistir.. Orjinal ultrason goruntusu..

41. Bir önceki uygulamada görüntü bölümleme yöntemi ile nesnenin sürekli ve pürüzsüz olması gereken kenar sınırları belirlenmistir.

42. 6.1. 2B Sonuçları.. Şekil 1 (a) MR beyin (b) deri lezyon görüntüsü görüntüsü

43. Şekil2 (a,c) Otomatik (b,d) manuel bölümleme

44. Şekil 3(a-c) Yaklaşık eğimhata=2,3,4 sigma=0.02(d-f) Yaklaşık eğimhata=2,3,4 sigma=0.03

45. Şekil4(a-c) Gözden geçirilip düzeltilmiş bölümleme sonucu..

46. Şekil 5 İteratif eşik değer atama yöntemi ile oluşturulmuş bölümlenmiş görüntüler..

47. Şekil6 Aynı görüntünün interaktif düzeltmeden (interactive revision) sonraki en son bölümlemesi

48. 6.2. 3B Sonuçları.. Şekil 7(a) 3-Bbeyin görüntüsü (b) iteratif eşik değer sonucu..

49. Şekil 8(a-c) Yaklaşık yüzey hata =2,3,4 sigma=0.02 (d-f) Yaklaşık yüzey hata =2,3,4 sigma=0.03

50. Şekil 9 (a) İlk bölümleme sonucu (b) İnteraktif düzeltme (c) Elde edilen son görüntü