Duyarlılık Seçicilik Tacettin İnandı,2013 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20031.

... konulu sunumlar: "Duyarlılık Seçicilik Tacettin İnandı,2013 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20031."— Sunum transkripti:

1 Duyarlılık Seçicilik Tacettin İnandı,2013 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20031

2 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20032 TANI DOĞRULUĞU ÖLÇÜLERİ: GERÇEK DURUM H+H- TESTTEST T+ab T-cd TOPLAMn1n2 Duyarlılık = Doğru pozitif oran = a/n1 Seçicilik = Doğru negatif oran = d/n2 Yanlış negatif oran = 1-Duyarlılık = c/n1 Yanlış pozitif oran = 1-Seçicilik = b/n2

3 Sensitivite (duyarlılık) Analizin doğru olarak gösterdiği spesifik bir hastalığa sahip olanların oranıdır. Aranan hastalığın hastada bulunması durumunda test sonucunun pozitif olma olasılığıdır. Duyarlılık (%) = [GP/(GP+YN)]x100

4 Spesifisite (özgüllük) Analizin doğru olarak gösterdiği spesifik bir hastalığa sahip olmayanların oranıdır. Aranan hastalığın hastada bulunmaması durumunda test sonucunun negatif olma olasılığıdır. Özgüllük (%) = [GN/(GN+YP)]x100 Duyarlılık artarken özgüllük azalır, özgüllük artarken duyarlılık azalır

5 Önceden tahmin değeri (prediktif değer) Laboratuvar testinin uygulanmakta olduğu topluluktaki hastalığın yaygınlık oranına (prevalansına) göre testin doğru tanı koydurma olasılığıdır. Pozitif prediktif değer: testin uygulandığı toplulukta (+) sonucu olanların gerçekte hasta olma olasılığıdır. Prevalans ve özgüllükten etkilenir. Negatif prediktif değer: testin uygulandığı toplulukta (-) sonucu olanların gerçekte hasta olmama olasılığıdır. Prevalans ve duyarlılıktan etkilenir.

6 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20036 Receiver Operating Characteristic Curve ROC EĞRİSİ Bir çift duyarlılık ve seçicilik değeri kullanmanın getirdiği dezavantajları ortadan kaldıracak bir yöntem olarak 1971 yılında Lusted tarafından geliştirilmiştir. Testin kendi doğruluğunu (prevelanstan bağımsız olarak) tanımlaması ve testler arasında en doğru karşılaştırma yapmaya olanak sağlaması açısından sıklıkla kullanılmaktadır.

7 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20037 ROC eğrisi, değişik kesim noktalarında testin duyarlılığının (y-ekseni), testin YP oranına (x- ekseni) karşı noktalanması ile elde edilir. Her kesim noktasındaki DP ve YP’e karşılık gelen noktalar birleştirilerek ROC eğrisi çizilir.

8 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20038 1970’li yıllardan sonra ROC (Receiver Operating Characteristic) Eğrileri yaygın olarak tanılayıcı tıpta kullanılmaya başlanmıştır. ROC eğrileri elektronik sinyal algılama teorisi içerisinde geliştirilmiş, ancak, tıbbi, askeri ve diğer bir çok alanda kullanım yeri bulmuştur.

9 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 20039 Tanı testinin yararlılığını ölçebilmek için o testi yorumlayanların performansının da ölçülebilmesi gereklidir. ROC eğrileri yorumlayıcı performansını incelemek için iyi bir temel oluşturur. Bir durumun (hastalığın) varlığı yada yokluğuna karar vermek için yorumlayıcının kullandığı kriter ile durumu (hastalığı) belirlemede yorumlayıcının yeteneği (test sonucunu yorumlamada kullanılan duyusal ve/veya bilişsel özellikler) arasında ayırımın yapılması gerekir. ROC eğrisi bu ayırımı yapmak için kullanılabilir (Lusted, 1971).

10 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200310 ROC eğrisinin parametrelerinin kestiriminde Gauss modellerinin kullanımı Green ve Swets (1966) tarafından önerilmiş, Dorfman ve Alf (1969) iki değişkenli normal ROC eğrisinin parametrelerinin “en çok olabilirlik kestirimleri”ni bulan RSCORE adlı bir yazılım geliştirmişlerdir. Metz (1978), Swets ve Picket (1982) test doğruluğunun bir ölçüsü olarak ROC eğrisi altında kalan alanı tanımlayarak bu amaca yönelik ROCFIT, LABROC, CORROC ve CLABROC gibi yazılımları hazırlamışlardır.

11 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200311 Mc Neil (1982) ROC eğrisi altında kalan alanla ilgili çalışmalarda örneklem genişliğini ve aynı hasta grubunun değişik gözlemciler tarafından değerlendirilmesi durumunda ortaya çıkan bağımlılık ve değerlendiriciler arası uyumu konu alan çalışmalar yayınlamıştır. Ransahoff ve Feinstein (1978) araştırma düzeni ve yanlılık kaynakları ile ilgili çalışmalar yapmışlardır. Spectrum bias, workup bias, verification bias, imperfect gold standard bias günümüzde de üzerinde çalışılan konular arasındadır.

12 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200312 Tanı testlerinin doğruluğu ile ilgili çalışmaları sentezleyen meta-analizi çalışmaları son yıllarda giderek önem kazanmaktadır. Littenberg, Moses ve Robinowitz (1990), belirli bir testin duyarlılık, seçicilik gibi doğruluk ölçülerini değişik çalışmalardan alarak Özet ROC Eğrilerini tanımlamışlardır. Değişik çalışmalardan elde edilen doğruluk ölçüleri ve ROC eğrisine ilişkin parametreler meta analitik yöntemlerle birleştirilerek daha büyük veri setleri üzerinde testler arası performans karşılaştırması yapabilmek olanaklı olmuştur.

13 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200313 ROC eğrileri olası tüm kesim noktalarını gösterirler ve her kesim noktasında değişik sonuçların (DP, DN, YP ve YN) sıklığı hakkında kestirimler yapılmasına olanak sağlarlar. Verilen bir test için en iyi kesim noktasının saptanmasına yönelik, doğru ve yanlış kararların yarar ve maliyetlerinin hesaplanmasında kullanılırlar.

14 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200314 normal”, “benin”, “muhtemelen benin”, “şüpheli” “malin” Patolojik olarak kanıtlanmış 30 meme kanserli ve 30 normal kadının mamografileri bir radyalog tarafından “normal”, “benin”, “muhtemelen benin”, “şüpheli” ve “malin” olarak değerlendirildiğinde:

15 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200315 Radyalog Değerlendirmesi PatolojiNBMBŞMTOPLAM Meme Ca106111230 Normal92118030 DP=12/30=0,40 YP=0/30=0,00 DP=23/30=0,77 YP=8/30=0,27 DP=29/30=0,97 YP=19/30=0,63 DP=29/30=0,97 YP=21/30=0,70 DP=30/30=1,00 YP=30/30=1,00

16 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200316 M Ş MB B Bu örnek problem için ROC eğrisi altında kalan alan 0,83 birim 2 ’dir. Meme kanserli bir hastanın, sağlam bir kişiye göre daha şüpheli (pozitif) test sonucuna sahip olması olasılığı 0,83’dür. ROC eğrisi altında kalan alan bir testin hastalarla sağlamları ayırt edebilme başarısının en iyi göstergesi olarak kabul edilir.

17 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200317 M (malin) kesim noktası katı bir kuralı tanımlar. Hastaları doğru bir biçimde seçer, pozitif sonuç kesin güvenilirdir. Negatif sonuca güvenilmez. Şüpheli ’ye, muhtemelen benin’e geçtiğimizde daha az katı karar kuralı kullanmış oluruz. ROC eğrileri aralık ölçekte ölçülmüş, objektif değerler (MI tanısında kullanılan CK değerleri) kullanılarak çizilebileceği gibi mamografi örneğinde olduğu gibi sübjektif, sıralı ölçekte değerlendirilmiş testler için de çizilebilir.

18 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200318 ROC Eğrisi Altında Kalan Alan:Testin doğruluğunu tek bir sayısal değerle özetlemek için kullanılır. En büyük “1” değerini alabilir. Pratik olarak alabileceği en küçük değer “0.50” dir. Hastalarla sağlamlar tamamen şansa bağlı olarak (örneğin para atışı ile) ayırt edilirse bu durum ortaya çıkar (Odds oranı=1, Youden İndeksi=0).

19 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200319 ROC Eğrisi altında kalan alan farklı şekillerde yorumlanabilir: i) Olası tüm seçicilik (DN) değerlerine karşılık gelen duyarlılık (DP) değerlerinin ortalamasıdır. ii) Olası tüm duyarlılık (DP) değerlerine karşılık gelen seçicilik (DN) değerlerinin ortalamasıdır. iii) Rasgele seçilen bir hastanın, yine rasgele seçilen bir sağlamdan daha kuşkulu (pozitif) test sonucuna sahip olması olasılığıdır.

20 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200320 I.TANI TESTİ II. TANI TESTİ

21 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200321

22 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200322

23 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200323

24 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200324 (yüksek duyarlı) (düşük duyarlılık değerleri) (yüksek duyarlılığa) ROC eğrisi altında kalan alan herzaman çok bilgilendirici olmayabilir. Kimi zaman, testin yüksek seçici (yüksek duyarlı) olması istendiğinde düşük seçicilik değerleri (düşük duyarlılık değerleri) ile değil, ROC eğrisinde yüksek seçiciliğe (yüksek duyarlılığa) karşılık gelen bölge ile ilgilenebiliriz. İki test aynı ROC eğrisi altında kalan alan değerine sahip olabilir, ancak işleyişleri farklıdır.

25 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200325 Düşük yanlış pozitif oran (yüksek seçicilik) gerekli ise, B test A testine tercih edilebi- lir. Bu nedenle ROC eğrisinin ilgilenilen bölümünü kullanmak, böyle bir bölgeyi kullanan ölçülerle ilgilenmek daha akılcı olabilir.

26 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200326 ROC Eğrisi Altında Kalan Kısmi Alan e 1 ve e 2 gibi iki YP oran arasında kalan ROC eğrisi altındaki kısmi alanıdır. A (e1≤YP≤e2) şeklinde gösterilir. e1=0, e2=1 ise ROC eğrisi altında kalan tüm alan; e1=e2 ise sabit bir YP değerine karşılık DP olduğundan, bu iki seçenek arasında yer alır. Klinik olarak uygun bölgede testi yorumlama olanağı verir.

27 Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200327 Kısmi Alan İndeksi Kısmi alanı yorumlayabilmek için, alabileceği en büyük değer olan (e2-e1) değeri ile karşılaştırmak gerekir. Kısmi alanı standartlaştırmak içinde, kısmi alanın alabileceği en büyük değer olan (e2-e1)’e bölümünün kullanılması önerilir. Bu ölçü Kısmi Alan İndeksi olarak adlandırılır. Bu indeks, belirli bir aralıktaki seçicilik değerlerine karşılık gelen duyarlılık değerlerinin ortalaması olarak yorumlanır.

28 ROC eğrisi, gözlenen tüm test sonuçları, karar eşiği yelpazesini sürekli olarak değiştirerek elde edilen duyarlılık/özgüllük değerlerinin grafiğe işlenmesiyle elde edilir. ROC eğrisi üzerindeki her nokta, belli bir karar eşiğine karşılık gelen duyarlılık/özgüllük çiftini temsil eder. Solda ve yukarıda yer alan eğri,daha yüksek doğruluğu (klinik yeterliliği) ifade eder.

29 Kaynaklar Prof. Dr. Ergun Karaağaoğlu Dr. Mustafa ALTINIŞIK Tıpta Karar VermeTıp Bilişimi Güz Okulu - Antalya, 200329