SAYISAL GÖRÜNTÜ İŞLEMEDE ÖZEL KONULAR GÖRÜNTÜ BÖLÜMLEME (IMAGE SEGMENTATION) Hazırlayan 4550013 Petek TATLI

1.1. Otomatik Görüntü Bölümlemedeki Sorunlar İçerik 1. Görüntü Bölümleme 1.1. Otomatik Görüntü Bölümlemedeki Sorunlar 1.2. Görüntü Bölümlemenin Temel Adımları 1.2.1.Görüntü basitleştirme 1.2.2.Özellik çıkarma (Feature Extraction) 1.2.3.Karar (Decision) 1.2.4.Kalite kestirimi (Quality Estimation) 2. Örnek Uygulamalar 3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 4. Tıp Alanında Görüntü Bölümleme 4.1. Bölümlemenin Tıp Alanında Uygulamaları

İçerik 5. Görüntü Bölümlemede Çeşitli Yöntemler 6. Uygulamalar 5.1. Watershed Segmentation 5.2. Active Contour Model 5.3. Raster Tabanlı Sınır Belirleme 5.4. Vektör Tabanlı Sınır Belirleme 5.5. Eşik Değer Atama Yöntemi ile Bölümleme 5.6. Doku Tabanlı Bölümleme 6. Uygulamalar 6.1. 2-B Sonuçları 6.2. 3-B Sonuçları 7. Kaynaklar

1. Görüntü Bölümleme Tanım: Görüntüyü çeşitli öğelere ayırma işlemine bölümleme adı verilir.Tüm otomatik görüntü tanıma sistemlerinin çok önemli bir parçasıdır çünkü bugünkü yöntemlerle, tanımlama, tanıma gibi daha fazla değerlendirmelerin yapılması için görüntüden önemli kümeler çıkartılabilmektedir.

1.1 Otomatik Görüntü Bölümlemedeki Sorunlar Nesnelerin farklı yapı ve büyüklükte olması, Görüntüde oldukça fazla sayıda konu dışı detayların olması, Nesnelerin pürüzlü, düz olmayan yapılara sahip olması.

1.2. Görüntü bölümlemenin temel adımları Görüntü basitleştirme (Image Simplification) Özellik çıkarma (Feature Extraction) Karar (Decision) Kalite kestirimi (Quality Estimation)

1.2.1. Görüntü basitleştirme Görüntüdeki bazı verileri yok ederek, görüntünün daha basit hale gelmesini sağlamaktır. Bu teknik morfolojik filtrelere dayanan yeniden yapılandırma amacıyla kullanılan bir tekniktir.

1.2.2. Özellik Çıkarma Görüntünün homojen bölgelerinde bulunan nesneleri tanımlamak anlamına gelmektedir.

1.2.3. Karar Özellik çıkarma aşamasında belirlenen bölge dış hatlarının doğru yerleştirilmesini sağlama işlemini gerçekleştirmektedir. Karar aşaması “morphologic watershed” algoritmaları ile yerine getirilir.

1.2.4. Kalite Kestirimi Son aşama olan kalite kestirimi, geçerli bölümleme tarafından uygun şekilde gösterilmeyen bölgelere ait artık (residue code) bilgi olarak bilinen bilgileri içeren görüntünün saptanmasını sağlamaktadır. Artık bilgi: Bölümlemeler arası ilerlenmesini sağlamak amacıyla, bir sonraki safhaya geçiş için kullanılmaktadır.

2. Örnek uygulamalar Orjinal görüntü bölümlenmiş sınırları çıkarılmış görüntü görüntü

Orjinal görüntü bölümlenmiş sınırları çıkarılmış görüntü görüntü

3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 3 boyutlu görüntü işlemenin en temel işlevlerinden biri, piksellerin grup veya nesne olarak sınıflandırıldığı görüntü bölümlemesidir. 3 boyutlu görüntü bölümleme; çoklu nesneler için 3B modelleme oluşturmayı ve görüntü üzerinde belirlenmiş nesnelerin boyut, yoğunluk ve diğer parametreleri ile ilgili nicel analizler gerçekleştirmeyi mümkün kılar.

3. Görüntü Bölümlemede 3 Boyutlu Görüntüler 3 boyutlu analiz ve gösterimlerin yapılabilmesi için, özellikle 3 boyutlu modelleme aşamasında,nesne sınırlarının belirlenmesi gerekmektedir.

4. Tıp Alanında Görüntü Bölümleme Tıbbi görüntülerde görüntü bölümleme parça parça 2B olarak veya direkt 3B voksel veri grupları üzerinden yapılmaktadır. 16 bitlik piksel 0 ile 65535 arasında ve 8 bitlik piksel 0 ile 255 arasında değişen gri değer aralığına sahiptir. Birçok tıbbi görünteleme sistemi 16 bitlik gri değer aralığını kullanarak görüntü üretmektedir.

4. Tıp Alanında Görüntü Bölümleme Tıbbi görüntülerde birçok yararlı çalışmalar yapılabilmektedir ; ilgili nesnenin görsel ve hacimsel tahmini, olağan dışı yapıların belirlenmesi (tümör vb.), doku nicel analiz ve sınıflandırması vb.

4.1 Bölümlemenin Tıp Alanında Uygulamaları Görüntü yönetiminde Ameliyatlar (Image Guided Surgery) Cerrahi Simulasyon??? (Surgical Simulation) Sinirbilim Çalışmaları (Neuroscience Studies) Tedavi Çalışmaları ( Theraphy Evaluation)

5. Görüntü Bölümlemede Çeşitli Yöntemler Watershed Segmentation Active Contour Model Raster Tabanlı Sınır Belirleme Vektör Tabanlı Sınır Belirleme Eşik Değer Atama Yöntemi ile Bölümleme Doku Tabanlı Bölümleme

5.1. Watershed segmentation  Bu yöntem, görüntü üzerindeki nesnenin topolojik yapısından yararlanarak, gri değerler üzerinden işlem yapar ve nesnenin sınırlarının belirlenmesini sağlar.

Watershed oluşumunda ‘Dalma’ (Immersion) benzetmesi

Nesnenin ilk görüntüsü. iç ve dış bölge işaretlenmiş. hali Nesnenin ilk görüntüsü iç ve dış bölge işaretlenmiş hali nesnenin topolojisi ‘immersion’(dalma) Örnek1 uygulaması

Nesnenin watershed algoritması ile sınırları çıkartılmış son hali..

‘watershed’ algoritması uygulanmış ‘gradient’ görüntü Yukardan aşağıya ve sağdan sola; Orjinal görüntü ‘Gradient’ görüntü ‘watershed’ algoritması uygulanmış ‘gradient’ görüntü Sınırların belirlendiği son görüntü Örnek 2

Örnek 3 İlk görüntü iç ve dış bölgelerin işaretlenmiş hali görüntünün son hali Örnek 3

5.2. Active Contour Model Enerjilerini küçülterek işlem uygulamalarından dolayı ‘Snake’ olarak da bilinen bu model, kenar yakalama işleminden daha farklıdır. Yöntem sürekli ve/veya kavisli bir hat oluşturur. İç( modelin fiziksel özelliklerinden oluşur,’smoothness’ vb) ve dış güçler (görüntünün verilerinden oluşur) nesnenin üzerine uygulanarak, görüntüdeki nesne sınırı ile dengeli pozisyona gelir. Watershed yöntemi ile beraber uygulanması tercih edilir.

(a). (b). (c) original image. morphological gradient image (a) (b) (c) original image morphological gradient image over segmented image (d) (e) (f) Watershed boundry for avoiding watershed contour spleen problem (c) converted to an active contour segmentation showing the internal and externel catchment basins

(a) (b) (c) CT data grubu yarı şeffaf modellenmiş 3B watershed bölümleme ile data grubu bölümlenmiş uyluk kemiği (d) “Active contour” ile yumuşatılmış görüntüye entegre edilmiş (c) görüntüsü

5.3. Raster Tabanlı Nesne Sınır Belirlenmesi Genellikle 3 boyutlu görüntüleme sistemlerinde her pikselin hangi objeye ait olduğunu gösteren değer ve konumsal bilgileri içeren, raster tabanlı veri yapısı kullanılır. Bu yapının avantajı basit ve hemen hemen orjinal görüntü ile özdeş olmasıdır. Ancak bu yapıdaki verilerin saklanması üzerinde işlemlerin gerçekleştirilebilmesi düzeltmelerin yapılabilmesi çok güçtür. Yüzey tanımlama algoritmaları her ne kadar sağlam olsa da, yüzey modeli oluşturma aşamasında milyonlarca üçgen ve poligon oluşacağından, hızlı sonuç vermesi beklenen uygulamalar için uygun değildir.

5.4. Vektör Tabanlı Nesne Sınır Belirlenmesi (Vector Based Object Boundaries) Vektör tabanlı veri tabanı nesne ve bölge gösterimi için çok daha etkili bir yoldur. Vektör tabanlı veri yapısında birbirine bağlı çizgilerden poligon veya bölgeler oluşturulur ki, çizgilerin sadece 2 noktadan meydana geldiği düşünülürse, raster tabanlı veri yapısına göre bilgisayar hafızasında ne kadar az yer kaplayabileceği anlaşılabilir.

Raster tabanlı veri yapısı ve vektör tabanlı veri yapısı şekilde karşılaştırılmıştır.

5.5. Eşik Değer Atama Yöntemi ile Görüntü Bölümleme Eşik değer atama yöntemi ile görüntü bölümlemesi yapılmadan önce ilgili bölgenin belirlenmesi, görüntü işlemeyi sınırlandırmış olur ve böylece konu dışı alanlarda işlem yapılması engellenir . Diğer nesnelerden ve arka görüntüden ayırdedilebilir olan nesneleri içeren görüntüler için çok güçlü bir yöntemdir.

Eşik Değer Atama Yöntemi Görüntü Bölümlemede ikiye ayrılmaktadır; Global Eşik Değer Atama ile Tam Otomatik Görüntü Bölümlemesi (Fully automatic image segmentation by global thresholding ) İnteraktif Eşik Değer Atama (Interactive Thresholding)

Global Eşik Değer Atama ile Tam Otomatik Görüntü Bölümlemesi Öncelikle 3 boyutlu görüntünün histogramı hesaplanmakta, sonrasında görüntüyü nesne ve arka görüntü olmak üzere 2’ye bölecek en uygun eşik değer otomatik olarak belirlenmektedir.

İnteraktif Eşik Değer Atama Bu yöntem eşik değer belirlemesi için 2 değer kullanmaktadır. Eşik değerler, aralık dahilindeki pikseller bir renk diğer tüm pikseller ise başka bir renk ile gösterilecek şekilde oluşturulur. Eşik değerler ekranda eş zamanlı olarak görüntülenebildiğinden, değerler görüntü üzerinde lokal olarak belirlenebilmekte ve bölüm bölüm de değiştirilebilmektedir.

İnteraktif Eşik Değer Atama Şekil, bu yöntemin uygulaması sonucunda oluşmuştur.

5.6. Doku Tabanlı Bölümleme (Texture-Based Segmentation ) Tıbbi görüntülerde, nesnelerin belirli bir doku tipi olduğundan; kan damarları, beyin dokusu, kemikler gibi, görüntü bölümlemesi için çok zengin bir doku bilgisi mevcuttur. Çok ciddi düzeyde yapı bilgisine sahip bazı nesneler için yapı tabanlı bölümleme, eşik değer atama ile elde edilen bölümlemeye oranla çok daha doğru sonuç vermektedir.

5.6. Doku Tabanlı Bölümleme (Texture-Based Segmentation ) Doku tabanlı bölümleme, kullanıcı tarafından belirlenen yapı özelliklerinin hesaplandığı denetimli alanı ile başlar ve sonrasında hesaplanan özelliklere göre görüntünün sınıflandırılması ile devam eder. Nesne sınırları ve sınırların birbiri ile topolojik ilişkileri oluşturulur.

Doku Tabanlı Bölümleme

6. Uygulamalar...

Manuel olarak sinirlar belirlenmistir.. Bu uygulamada ultrasondan elde edilen görüntülerdeki yabancı yapıların dış hatlarının modellenmesi ve yapı sınırlarının belirlenmesi işlemi “görüntü bölümleme” yöntemi ile gerçekleştirilmiştir. Manuel olarak sinirlar belirlenmistir.. Algoritma ile sinirlar belirlenmistir.. Orjinal ultrason goruntusu..

Bir önceki uygulamada görüntü bölümleme yöntemi ile nesnenin sürekli ve pürüzsüz olması gereken kenar sınırları belirlenmistir.

6.1. 2B Sonuçları.. Şekil 1 (a) MR beyin (b) deri lezyon görüntüsü görüntüsü

Şekil2 (a,c) Otomatik (b,d) manuel bölümleme

Şekil 3. (a-c) Yaklaşık eğim hata=2,3,4 sigma=0. 02 Şekil 3 (a-c) Yaklaşık eğim hata=2,3,4 sigma=0.02 (d-f) Yaklaşık eğim hata=2,3,4 sigma=0.03

Şekil4 (a-c) Gözden geçirilip düzeltilmiş bölümleme sonucu..

Şekil 5 İteratif eşik değer atama yöntemi ile oluşturulmuş bölümlenmiş görüntüler..

Şekil 6 Aynı görüntünün interaktif düzeltmeden (interactive revision) sonraki en son bölümlemesi

6.2. 3B Sonuçları.. Şekil 7 (a) 3-B beyin görüntüsü (b) iteratif eşik değer sonucu..

Şekil 8 (a-c) Yaklaşık yüzey hata =2,3,4 sigma=0.02 (d-f) Yaklaşık yüzey hata =2,3,4 sigma=0.03

Şekil 9 (a) İlk bölümleme sonucu. (b) İnteraktif düzeltme Şekil 9 (a) İlk bölümleme sonucu (b) İnteraktif düzeltme (c) Elde edilen son görüntü

Şekil 10 (a) İlk düzeltme sonucu. (b) İnteraktif düzeltme Şekil 10 (a) İlk düzeltme sonucu (b) İnteraktif düzeltme (c) Elde edilen son görüntü

7. Kaynaklar http://www.ablesw.com/3d-doctor/3dseg.html http://www.spd.eee.strath.ac.uk/users/harve/bbc_epsrc_segmentation.html http://rkb.home.cern.ch/rkb/AN16pp/node131.html http://www.cs.wright.edu/people/faculty/agoshtas/segtools.html http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/KIM1/Seminars/Watershed/

Dinlediğiniz için Teşekkürler..