SAYISAL GÖRÜNTÜ İŞLEMEDE ÖZEL KONULAR

... konulu sunumlar: "SAYISAL GÖRÜNTÜ İŞLEMEDE ÖZEL KONULAR"— Sunum transkripti:

1 SAYISAL GÖRÜNTÜ İŞLEMEDE ÖZEL KONULAR
GÖRÜNTÜ BÖLÜMLEME (IMAGE SEGMENTATION) Hazırlayan Petek TATLI

2 1.1. Otomatik Görüntü Bölümlemedeki Sorunlar
İçerik 1. Görüntü Bölümleme 1.1. Otomatik Görüntü Bölümlemedeki Sorunlar 1.2. Görüntü Bölümlemenin Temel Adımları 1.2.1.Görüntü basitleştirme 1.2.2.Özellik çıkarma (Feature Extraction) 1.2.3.Karar (Decision) 1.2.4.Kalite kestirimi (Quality Estimation) 2. Örnek Uygulamalar 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 4. Tıp Alanında Görüntü Bölümleme 4.1. Bölümlemenin Tıp Alanında Uygulamaları

3 İçerik 5. Görüntü Bölümlemede Çeşitli Yöntemler 6. Uygulamalar
5.1. Watershed Segmentation 5.2. Active Contour Model 5.3. Raster Tabanlı Sınır Belirleme 5.4. Vektör Tabanlı Sınır Belirleme 5.5. Eşik Değer Atama Yöntemi ile Bölümleme 5.6. Doku Tabanlı Bölümleme 6. Uygulamalar B Sonuçları B Sonuçları 7. Kaynaklar

4 1. Görüntü Bölümleme Tanım:
Görüntüyü çeşitli öğelere ayırma işlemine bölümleme adı verilir.Tüm otomatik görüntü tanıma sistemlerinin çok önemli bir parçasıdır çünkü bugünkü yöntemlerle, tanımlama, tanıma gibi daha fazla değerlendirmelerin yapılması için görüntüden önemli kümeler çıkartılabilmektedir.

5 1.1 Otomatik Görüntü Bölümlemedeki Sorunlar
Nesnelerin farklı yapı ve büyüklükte olması, Görüntüde oldukça fazla sayıda konu dışı detayların olması, Nesnelerin pürüzlü, düz olmayan yapılara sahip olması.

6 1.2. Görüntü bölümlemenin temel adımları
Görüntü basitleştirme (Image Simplification) Özellik çıkarma (Feature Extraction) Karar (Decision) Kalite kestirimi (Quality Estimation)

7 1.2.1. Görüntü basitleştirme
Görüntüdeki bazı verileri yok ederek, görüntünün daha basit hale gelmesini sağlamaktır. Bu teknik morfolojik filtrelere dayanan yeniden yapılandırma amacıyla kullanılan bir tekniktir.

8 Özellik Çıkarma Görüntünün homojen bölgelerinde bulunan nesneleri tanımlamak anlamına gelmektedir.

9 Karar Özellik çıkarma aşamasında belirlenen bölge dış hatlarının doğru yerleştirilmesini sağlama işlemini gerçekleştirmektedir. Karar aşaması “morphologic watershed” algoritmaları ile yerine getirilir.

10 Kalite Kestirimi Son aşama olan kalite kestirimi, geçerli bölümleme tarafından uygun şekilde gösterilmeyen bölgelere ait artık (residue code) bilgi olarak bilinen bilgileri içeren görüntünün saptanmasını sağlamaktadır. Artık bilgi: Bölümlemeler arası ilerlenmesini sağlamak amacıyla, bir sonraki safhaya geçiş için kullanılmaktadır.

11 2. Örnek uygulamalar Orjinal görüntü bölümlenmiş sınırları çıkarılmış görüntü görüntü

12 Orjinal görüntü bölümlenmiş sınırları çıkarılmış görüntü görüntü

13 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler
3 boyutlu görüntü işlemenin en temel işlevlerinden biri, piksellerin grup veya nesne olarak sınıflandırıldığı görüntü bölümlemesidir. 3 boyutlu görüntü bölümleme; çoklu nesneler için 3B modelleme oluşturmayı ve görüntü üzerinde belirlenmiş nesnelerin boyut, yoğunluk ve diğer parametreleri ile ilgili nicel analizler gerçekleştirmeyi mümkün kılar.

14 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler
3 boyutlu analiz ve gösterimlerin yapılabilmesi için, özellikle 3 boyutlu modelleme aşamasında,nesne sınırlarının belirlenmesi gerekmektedir.

15 4. Tıp Alanında Görüntü Bölümleme
Tıbbi görüntülerde görüntü bölümleme parça parça 2B olarak veya direkt 3B voksel veri grupları üzerinden yapılmaktadır. 16 bitlik piksel 0 ile arasında ve 8 bitlik piksel 0 ile 255 arasında değişen gri değer aralığına sahiptir. Birçok tıbbi görünteleme sistemi 16 bitlik gri değer aralığını kullanarak görüntü üretmektedir.

16 4. Tıp Alanında Görüntü Bölümleme
Tıbbi görüntülerde birçok yararlı çalışmalar yapılabilmektedir ; ilgili nesnenin görsel ve hacimsel tahmini, olağan dışı yapıların belirlenmesi (tümör vb.), doku nicel analiz ve sınıflandırması vb.

17 4.1 Bölümlemenin Tıp Alanında Uygulamaları
Görüntü yönetiminde Ameliyatlar (Image Guided Surgery) Cerrahi Simulasyon??? (Surgical Simulation) Sinirbilim Çalışmaları (Neuroscience Studies) Tedavi Çalışmaları ( Theraphy Evaluation)

18 5. Görüntü Bölümlemede Çeşitli Yöntemler
Watershed Segmentation Active Contour Model Raster Tabanlı Sınır Belirleme Vektör Tabanlı Sınır Belirleme Eşik Değer Atama Yöntemi ile Bölümleme Doku Tabanlı Bölümleme

19 5.1. Watershed segmentation
 Bu yöntem, görüntü üzerindeki nesnenin topolojik yapısından yararlanarak, gri değerler üzerinden işlem yapar ve nesnenin sınırlarının belirlenmesini sağlar.

20 Watershed oluşumunda ‘Dalma’ (Immersion) benzetmesi

21 Nesnenin ilk görüntüsü. iç ve dış bölge işaretlenmiş. hali
Nesnenin ilk görüntüsü iç ve dış bölge işaretlenmiş hali nesnenin topolojisi ‘immersion’(dalma) Örnek uygulaması

22 Nesnenin watershed algoritması ile sınırları çıkartılmış son hali..

23 ‘watershed’ algoritması uygulanmış ‘gradient’ görüntü
Yukardan aşağıya ve sağdan sola; Orjinal görüntü ‘Gradient’ görüntü ‘watershed’ algoritması uygulanmış ‘gradient’ görüntü Sınırların belirlendiği son görüntü Örnek 2

24 Örnek 3 İlk görüntü iç ve dış bölgelerin işaretlenmiş hali
görüntünün son hali Örnek 3

25 5.2. Active Contour Model Enerjilerini küçülterek işlem uygulamalarından dolayı ‘Snake’ olarak da bilinen bu model, kenar yakalama işleminden daha farklıdır. Yöntem sürekli ve/veya kavisli bir hat oluşturur. İç( modelin fiziksel özelliklerinden oluşur,’smoothness’ vb) ve dış güçler (görüntünün verilerinden oluşur) nesnenin üzerine uygulanarak, görüntüdeki nesne sınırı ile dengeli pozisyona gelir. Watershed yöntemi ile beraber uygulanması tercih edilir.

26 (a). (b). (c) original image. morphological gradient image
(a) (b) (c) original image morphological gradient image over segmented image (d) (e) (f) Watershed boundry for avoiding watershed contour spleen problem (c) converted to an active contour segmentation showing the internal and externel catchment basins

27 (a) (b) (c) CT data grubu yarı şeffaf modellenmiş B watershed bölümleme ile data grubu bölümlenmiş uyluk kemiği (d) “Active contour” ile yumuşatılmış görüntüye entegre edilmiş (c) görüntüsü

28 5.3. Raster Tabanlı Nesne Sınır Belirlenmesi
Genellikle 3 boyutlu görüntüleme sistemlerinde her pikselin hangi objeye ait olduğunu gösteren değer ve konumsal bilgileri içeren, raster tabanlı veri yapısı kullanılır. Bu yapının avantajı basit ve hemen hemen orjinal görüntü ile özdeş olmasıdır. Ancak bu yapıdaki verilerin saklanması üzerinde işlemlerin gerçekleştirilebilmesi düzeltmelerin yapılabilmesi çok güçtür. Yüzey tanımlama algoritmaları her ne kadar sağlam olsa da, yüzey modeli oluşturma aşamasında milyonlarca üçgen ve poligon oluşacağından, hızlı sonuç vermesi beklenen uygulamalar için uygun değildir.

29 5.4. Vektör Tabanlı Nesne Sınır Belirlenmesi (Vector Based Object Boundaries)
Vektör tabanlı veri tabanı nesne ve bölge gösterimi için çok daha etkili bir yoldur. Vektör tabanlı veri yapısında birbirine bağlı çizgilerden poligon veya bölgeler oluşturulur ki, çizgilerin sadece 2 noktadan meydana geldiği düşünülürse, raster tabanlı veri yapısına göre bilgisayar hafızasında ne kadar az yer kaplayabileceği anlaşılabilir.

30 Raster tabanlı veri yapısı ve vektör tabanlı veri yapısı şekilde karşılaştırılmıştır.

31 5.5. Eşik Değer Atama Yöntemi ile Görüntü Bölümleme
Eşik değer atama yöntemi ile görüntü bölümlemesi yapılmadan önce ilgili bölgenin belirlenmesi, görüntü işlemeyi sınırlandırmış olur ve böylece konu dışı alanlarda işlem yapılması engellenir . Diğer nesnelerden ve arka görüntüden ayırdedilebilir olan nesneleri içeren görüntüler için çok güçlü bir yöntemdir.

32 Eşik Değer Atama Yöntemi Görüntü Bölümlemede ikiye ayrılmaktadır;
Global Eşik Değer Atama ile Tam Otomatik Görüntü Bölümlemesi (Fully automatic image segmentation by global thresholding ) İnteraktif Eşik Değer Atama (Interactive Thresholding)

33 Global Eşik Değer Atama ile Tam Otomatik Görüntü Bölümlemesi
Öncelikle 3 boyutlu görüntünün histogramı hesaplanmakta, sonrasında görüntüyü nesne ve arka görüntü olmak üzere 2’ye bölecek en uygun eşik değer otomatik olarak belirlenmektedir.

34 İnteraktif Eşik Değer Atama
Bu yöntem eşik değer belirlemesi için 2 değer kullanmaktadır. Eşik değerler, aralık dahilindeki pikseller bir renk diğer tüm pikseller ise başka bir renk ile gösterilecek şekilde oluşturulur. Eşik değerler ekranda eş zamanlı olarak görüntülenebildiğinden, değerler görüntü üzerinde lokal olarak belirlenebilmekte ve bölüm bölüm de değiştirilebilmektedir.

35 İnteraktif Eşik Değer Atama
Şekil, bu yöntemin uygulaması sonucunda oluşmuştur.

36 5.6. Doku Tabanlı Bölümleme (Texture-Based Segmentation )
Tıbbi görüntülerde, nesnelerin belirli bir doku tipi olduğundan; kan damarları, beyin dokusu, kemikler gibi, görüntü bölümlemesi için çok zengin bir doku bilgisi mevcuttur. Çok ciddi düzeyde yapı bilgisine sahip bazı nesneler için yapı tabanlı bölümleme, eşik değer atama ile elde edilen bölümlemeye oranla çok daha doğru sonuç vermektedir.

37 5.6. Doku Tabanlı Bölümleme (Texture-Based Segmentation )
Doku tabanlı bölümleme, kullanıcı tarafından belirlenen yapı özelliklerinin hesaplandığı denetimli alanı ile başlar ve sonrasında hesaplanan özelliklere göre görüntünün sınıflandırılması ile devam eder. Nesne sınırları ve sınırların birbiri ile topolojik ilişkileri oluşturulur.

38 Doku Tabanlı Bölümleme

39 6. Uygulamalar...

40 Manuel olarak sinirlar belirlenmistir..
Bu uygulamada ultrasondan elde edilen görüntülerdeki yabancı yapıların dış hatlarının modellenmesi ve yapı sınırlarının belirlenmesi işlemi “görüntü bölümleme” yöntemi ile gerçekleştirilmiştir. Manuel olarak sinirlar belirlenmistir.. Algoritma ile sinirlar belirlenmistir.. Orjinal ultrason goruntusu..

41 Bir önceki uygulamada görüntü bölümleme yöntemi ile nesnenin sürekli ve pürüzsüz olması gereken kenar sınırları belirlenmistir.

42 6.1. 2B Sonuçları.. Şekil 1 (a) MR beyin (b) deri lezyon görüntüsü görüntüsü

43 Şekil2 (a,c) Otomatik (b,d) manuel bölümleme

44 Şekil 3. (a-c) Yaklaşık eğim hata=2,3,4 sigma=0. 02
Şekil 3 (a-c) Yaklaşık eğim hata=2,3,4 sigma= (d-f) Yaklaşık eğim hata=2,3,4 sigma=0.03

45 Şekil4 (a-c) Gözden geçirilip düzeltilmiş bölümleme sonucu..

46 Şekil 5 İteratif eşik değer atama yöntemi ile oluşturulmuş bölümlenmiş görüntüler..

47 Şekil 6 Aynı görüntünün interaktif düzeltmeden (interactive revision) sonraki en son bölümlemesi

48 6.2. 3B Sonuçları.. Şekil 7 (a) 3-B beyin görüntüsü (b) iteratif eşik değer sonucu..

49 Şekil 8 (a-c) Yaklaşık yüzey hata =2,3,4 sigma=0.02
(d-f) Yaklaşık yüzey hata =2,3,4 sigma=0.03

50 Şekil 9 (a) İlk bölümleme sonucu. (b) İnteraktif düzeltme
Şekil 9 (a) İlk bölümleme sonucu (b) İnteraktif düzeltme (c) Elde edilen son görüntü

51 Şekil 10 (a) İlk düzeltme sonucu. (b) İnteraktif düzeltme
Şekil 10 (a) İlk düzeltme sonucu (b) İnteraktif düzeltme (c) Elde edilen son görüntü

52 7. Kaynaklar http://www.ablesw.com/3d-doctor/3dseg.html

53 Dinlediğiniz için Teşekkürler..