VERİ MADENCİLİĞİ UYGULAMALARI ROC ANALİZİ

İÇİNDEKİLER ROC Analizi Tanım ROC Analizi Amaçları Uygulama Alanları Temel Kavramlar (Duyarlılık ve Seçicilik) ROC Eğrisi Yöntemi ROC Eğrisi Uygulama Amaçları ROC Eğrisi Faydaları ROC Eğrisi Çizimi ROC Eğrisi Altında Kalan Alan (AUC) AUC Belirlemek için Kullanılan Yöntemler Örnek Uygulama

ROC Analizi Tanımı ROC analizi II. Dünya Savaşı sırasında Britanya’da radarda tespit edilen sinyallerin doğru tanımlanması, dost ve düşman ayrımının sağlanması için geliştirilmiştir[1]. 1967 yılında tıpta karar vermede kullanımını önererek, 1969 yılında medikal görüntüleme cihazlarında kullanımını sağlamıştır. Sonraki yıllarda tıpta tanı testlerinin performansının değerlendirilmesinde kullanımı giderek yaygınlaşmıştır[1].

ROC Analizi Tanımı ROC Analizi, bir duyarlılık ve seçicilik değeri kullanarak tanı koymanın getirdiği sakıncaları ortadan kaldırmak için geliştirilmiş istatistik değerlendirme yöntemidir[2]. ROC analizi tanı testini oluşturmak için duyarlılık ve seçiciliğin tüm kombinasyonlarını hesaplayarak raporladığı için tanı seçiciliği ile ilgili bugüne kadar yapılan en kapsamlı tanımlamayı verir[3].

ROC Analizi Amaçları ROC analizi farklı klinik durumlarda uygulanan tanı testlerinin performansını belirlemenin yanında lojistik modeller, doğrusal sınıflama analizi gibi istatistiksel modellerin doğruluğunu değerlendirmek amacı ile de kullanılır. Bir tanı testinin performansını tanımlayarak yeni tanı testlerinin gelişimini de sağlar. Tanı testleri ve tahmin modellerinin değerlendirilmesi, doğruluğun sayısal sonuçlarla açıklanması ve tahminlerin doğruluğu arasında karşılaştırma yapılmasına olanak sağlar. Klinik çalışmalarda eşik değeri belirler, yapısında var olan ve duyarlılık-seçicilik arasında yer alan değerlendirme dışı sonuçları ortaya koyar[1].

Kullanıldığı Alanlar Örnek genişliğinin belirlenmesinde Meta analizi gibi klinik araştırmalarda Lojistik modellerde Birçok klinik alanda, ağırlıklı olarak tanı, tarama ve özellikle laboratuar testlerinde, epidemiyoloji, radyoloji ve biyoinformatikte kullanımı hızla artmaktadır[1].

Temel Kavramlar Tanı testlerinde olumlu ya da olumsuz kararın doğruluk derecesi önemlidir.Pozitif ya da negatif kararların her biri için doğruluk düzeyini gösteren ölçütler vardır[1]. Tablo 1:Durumlar matrisi[6] Gerçek Durum Test Sonucu Pozitif Negatif Toplam Doğru Pozitif (DP) Yanlış Pozitif (YP) DP+YP Yanlış Negatif (YN) Doğru Negatif (DN) YN+DN DP+YN YP+DN DP+YP+YN+DN

Temel Kavramlar Doğruluk(Accuracy): (DP+DN) / (DP+YP+YN+DN) DP: Gerçek durum pozitifken test sonucu da pozitif çıkan durumlar YN: Gerçek durum pozitifken test sonucu negatif çıkan durumlar YP: Gerçek durum negatifken test sonucu pozitif çıkan durumlar DN:Gerçek durum negatifken test sonucu da negatif çıkan durumlar YPO oranı: YP/ YP+DN DPO oranı: DP/ DP+YN YNO oranı: YN/ DP+YN DNO oranı: DN/ YP+DN YNO = 1-Duyarlılık YPO = 1-Seçicilik Doğruluk(Accuracy): (DP+DN) / (DP+YP+YN+DN)

Temel Kavramlar Duyarlılık: Testin, gerçek pozitif durumlar içinden pozitif olan durumları ayırma yeteneğidir[5]. Seçicilik: Testin, gerçek negatif durumlar içinden negatif olan durumları ayırma yeteneğidir[5]. Duyarlılık (Sensitivity): DP/DP+YN Seçicilik (Specificity): DN/DN+YP Duyarlılık ve seçicilik değerleri, testin araştırılan durumla ilgili olanlarla olmayanları birbirinden ne kadar iyi ayırt edip etmediğini tanımlar.

Örnek: YPO oranı: YP/ YP+DN= 300/720= 0,42 DPO oranı: DP/ DP+YN= 75/80= 0,94 YNO oranı: YN/ DP+YN = 5/80= 0,062 DNO oranı: DN/ YP+DN= 420/720= 0,58 Duyarlılık: DP/DP+YN = DPO = 75/80= 0,94 Seçicilik: DN/YP+DN = DNO = 420/720=0,58 Gerçek Durum Test Sonucu Pozitif Negatif Toplam 75 300 375 5 420 425 80 720 800 Doğruluk: (DP+DN)/(DP+YP+YN+DN)=(75+420)/(75+300+5+40)=0,62

Soru ?

Kaynaklar 1.ERTOSUN.A.,D., BAĞ.B., UZAR. G., TURANOĞLU.M.,A.,’ROC Eğrisi Yöntemi İle Tanı Testlerinin Performanslarının Değerlendirilmesi’ 2.TOMAK.L., BEK.Y., ‘İşlem Karakteristik Eğrisi Analizi Ve Eğri Altında Kalan Alanların Karşılaştırılması’ Journal of Experimental and Clinical Medicine 3.METZ.E.,C., ‘Receiver Operating Characteristic Analysis: A Tool For The Quantitative Evaluation Of Observer Performance and Imaging System’ J Am Coll Radiol 2006;3:413-422. Copyright © 2006 American College of Radiology) 4. Vikipedia 5.DİRİCAN., ‘Tanı Testi Performanslarının Değerlendirilmesi ve Kıyaslanması’ 6. FAWCETT. T., ‘An Introduction to ROC Analysis’, Pattern Recognition Letters 27 (2006) 861–874 7. ASLAN. Ö., ‘Statistical Comparison Of Classifiers Using Receiver Operating Characteristics Information’, Bachelor of Science, Industrial Engineering, Isık University, 2007