Mutlu Umaroğlu Meta Analizinde Aykırı Değerlerin Tespiti ve Farklı Varyans Tahmin Yöntemleri İle Değerlendirilmesi Mutlu Umaroğlu

Meta Analizi Meta analizi aynı konuda farklı yer, zaman ve merkezde yapılmış olan araştırma sonuçlarını niteliksel ve niceliksel olarak birleştirmeye ve o konuda genel bir sonuca ulaşmaya yardımcı olan istatistiksel bir yöntemdir. Meta analizi, örneklem genişliğini artırarak, parametre kestirimlerinin kesinliğini ve gücünü artırmak, araştırıcıdan kaynaklı yanlılığın önüne geçerek bilimsel yazılardaki tutarsızlıkları araştırmak için yapılır.

Etki Büyüklüğü Etki büyüklüğü iki değişken arasındaki ilişki miktarı veya iki grup arasındaki farklılığın miktarı vb. gibi kullanılan bir indeks değeridir. Test sonucunda doğru olarak saptamak istediğimiz en küçük değişim miktarını gösteren bir ölçüdür. Meta analizi çalışmalarında genellikle çalışmaların etki büyüklükleri birleştirilir. Çalışmalar birleştirilmeden önce her bir sonuç değişkenine ait ölçümlerin etki büyüklüklerinin hesaplanması gerekmektedir.

Homojenlik – Heterojenlik Meta analizine dahil edilen çalışmalar arasındaki etki büyüklüğünün farklılığına heterojenlik denir. Bu nedenle öncelikle etki büyüklüklerinin dağılım yapısının incelenmesi gerekmektedir. Meta analizi çalışmalarında etki büyüklüğü ölçüsü olarak genellikle sayısal veriler için Cohen’in d, Glass’ın Δ, Hedges’in g ve kategorik veriler için RR, OR ve AR kullanılmaktadır. Meta analizinde heterojenliği değerlendirmek için genellikle Cochran Q testi ve I2 kullanılmaktadır.

Cochran Q testi Çalışmalar arasında heterojenlik olup olmadığının değerlendirilmesinde en çok kullanılan yaklaşımdır. Q istatistiği (k-1) serbestlik dereceli ki-kare dağılımına sahiptir. wi  Çalışmaların ağırlığı (1/SH(Yi)) Yi  Etki büyüklüğü

𝐼 2 Heterojenlik Ölçüsü Heterojenliğin yüzde olarak ifade edildiği Cochran Q istatistiği temelli bir istatistiktir.

𝜏 2 Heterojenlik Ölçüsü 𝜏 2 Rasgele etki modelinde heterojenlik niceliksel olarak 𝜏 2 ile ifade edilmektedir. (DL) DerSimonian – Laird (SJ) Sidik-Jonkman (ML) En Çok Olabilirlik (REML) Kısıtlanmış En Çok Olabilirlik (EB) Deneysel Bayes 𝜏 2

𝜏 2 Kestirim Yöntemleri (DL) DerSimonian – Laird (SJ) Sidik-Jonkman Moment kestirimi  Varyans kestirimi  En çok olabilirlik  Bayes kestirimi  (DL) DerSimonian – Laird (SJ) Sidik-Jonkman (ML) En Çok Olabilirlik (REML) Kısıtlanmış En Çok Olabilirlik (EB) Deneysel Bayes

DerSimonian – Laird Yöntemi wi  Çalışmaların ağırlığı (1/SH(Yi)) Q  Cochran’ın Q test istatistiği k  Çalışma sayısı

Sidik-Jonkman Yöntemi olmak üzere

En Çok Olabilirlik Yöntemi Log olabilirlik fonksiyonunun maksimizasyonu ile 𝜏 2 elde edilir.

Kısıtlanmış En Çok Olabilirlik Yöntemi Log olabilirlik fonksiyonunun maksimizasyonu ile 𝜏 2 elde edilir.

𝜏 2 Kestirim Yöntemleri ML, REML ve EB yinelemeli yöntemlerden; DL ve SJ ise yinelemeli olmayan yöntemlerdendir. ML, REML ve EB sonsuz döngüye girebilmekte ve bu durumda 𝜏 2 değeri hesaplanamamaktadır.

Örnek: Öğrenme güçlüğü çeken yetişkinlerin Text-to-speech¹ yöntemi ile okunan metni ne kadar doğru anladığı değerlendirilmiştir. Etki büyüklüğü ölçüsü olarak Hedges’in G istatistiği kullanılmıştır. No Çalışma Etki Büyüklüğü Std. Hata 1 Elkind 1996 0,147 0,199 2 Higgins 1997 -0,016 0,23 3 Calhoon 2000 0,225 0,157 4 Chiang 2012 2,531 0,491 5 Chiang 2013 0,509 0,367 6 Chiang 2014 0,052 0,361 Perelmutter B ve ark., Assistive technology interventions for adolescents and adults with learning disabilities: An evidence-based systematic review and meta-analysis, Computers & Education, 2017 ¹TTS: Elektronik ortamdaki metinlerin anlaşılabilir bir biçimde ve insan sesi doğallığında seslendirilmesi

Örnek:

Araştırmalarda Aykırı Değer Problemi Birincil çalışmalarda olduğu gibi meta-analizlerinde de aykırı değer olabilmektedir. Heterojenliğin yüksek çıkmasının nedenlerinden biri de meta analizinde aykırı değer bulunmasıdır. Heterejonliği ölçen bu yöntemler aykırı değerleri tespit edememektedir. Aykırı değerlerin ayrıca tespit edilmesi gerekmektedir.

Aykırı Değerlerin Tespiti Meta analizi çalışmalarında kullanılan bazı grafikler hem çalışmaların heterojenliği hakkında hem de aykırı değer olarak adlandırılan çalışma olup olmadığı konusunda fikir verebilir. Forest plot Galbraith Radial plot Aykırı değerlerin tespitinde kullanılan kantitatif yöntem ise artıkların incelenmesidir.

Örnek:

Artıkların İncelenmesi Hedges’e göre standartlaştırılmış artıkları -3 ile +3 arasında olmayan çalışmalar aykırı değer olarak adlandırılmaktadır.

Örnek: Öğrenme güçlüğü çeken yetişkinlerde Text-to-speech¹ yöntemi ile okunan metni ne kadar doğru anladığı değerlendirilmiştir. Etki büyüklüğü ölçüsü olarak Hedges’in G istatistiği kullanılmıştır. No Çalışma Etki Büyüklüğü Std. Hata Artık 1 Elkind 1996 0,147 0,199 -0,4590 2 Higgins 1997 -0,016 0,23 -0,6794 3 Calhoon 2000 0,225 0,157 -0,3616 4 Chiang 2012 2,531 0,491 3,2172 5 Chiang 2013 0,509 0,367 0,0342 6 Chiang 2014 0,052 0,361 -0,5261 Perelmutter B ve ark., Assistive technology interventions for adolescents and adults with learning disabilities: An evidence-based systematic review and meta-analysis, Computers & Education, 2017 ¹TTS: Elektronik ortamdaki metinlerin anlaşılabilir bir biçimde ve insan sesi doğallığında seslendirilmesi

Örnek Yöntem Etki Büyüklüğü %95 Alt Sınır Üst Sınır P değeri I² Tau2 Log Likelihood Aykırı Değer Çıktığında (DL) 0,17 -0,03 0,36 0,09 1,49 DerSimonian-Laird 0,45 -0,02 0,91 0,06 79,16 0,25 7,58 Sidik-Jonkman 0,52 -0,22 1,25 92,11 0,76 7,52 En Çok Olabilirlik 0,49 -0,11 1,08 0,11 87,58 0,46 7,34 Kısıtlanmış En Çok Olabilirlik 0,51 -0,17 1,18 0,14 6,66 Deneysel Bayes 92,02 0,75 7,51 Q= 47,06, p=0,10 (Aykırı değer çıkarıldığında Q= 20,92, p<0,01) Bu sonuçlara göre aykırı değerden en az etkilenen yöntemler sırası ile DL, ML, REML, DB ve SJ Güven aralığı en dar çıkan yöntemler sırası ile DL, ML, REML, EB ve SJ ‘dir. Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model DL olarak bulunmuştur.

Örnek: Miyokart enfarktüsü sonrasında magnezyum alımının ölümü önlemesi üzerine yapılmış 16 rasgele kontrollü çalışma sonuçları aşağıda verilmiştir. Müdahale Kontrol No Çalışma Yıl Ölüm Toplam Total 1 Morton 1984 40 2 36 Rasmussen 1986 9 135 23 3 Smith 200 7 4 Abraham 1987 48 46 5 Feldstedt 1988 10 150 8 148 6 Schechter 1989 59 56 Ceremuzynski 25 Bertschat 22 21 Singh 1990 76 11 75 Pereira 27 Schechter 1 1991 89 12 80 Golf 13 33 Thogersen 130 122 14 LIMIT-2 1992 90 1159 118 1157 15 Schechter 2 1995 107 17 108 16 ISIS-4 2216 29011 2103 29039

Örnek 16 ISIS-4 2216 29011 2103 29039 0,06 0,03 3,43 Müdahale Kontrol Odds Oranı No Çalışma Ölüm Toplam Total Yi SH Artık 1 Morton 40 2 36 -0,83 1,25 -0,04 Rasmussen 9 135 23 -1,06 0,41 -0,36 3 Smith 200 7 -1,28 0,81 -0,51 4 Abraham 48 46 1,43 0,58 5 Feldstedt 10 150 8 148 0,22 0,49 1,20 6 Schechter 59 56 -2,41 1,07 -1,55 Ceremuzynski 25 1,19 -0,43 Bertschat 22 21 -1,19 1,66 -0,30 Singh 76 11 75 -0,7 0,54 0,11 Pereira 27 -2,21 1,11 -1,32 Schechter 1 89 12 80 -2,04 0,78 -1,38 Golf 13 33 -0,85 0,62 -0,07 Thogersen 130 122 -0,79 0,63 -0,01 14 LIMIT-2 90 1159 118 1157 -0,3 0,15 0,79 15 Schechter 2 107 17 108 -1,57 0,57 -0,96 16 ISIS-4 2216 29011 2103 29039 0,06 0,03 3,43 Jonathan A C Sterne, Michael J Bradburn, Matthias Egger, Meta-Analysis in Stata, Magnes.dta, 2008

Örnek

Örnek Yöntem Etki Büyüklüğü %95 Alt Sınır Üst Sınır P değeri I² Tau2 Log Likelihood Aykırı Değer Çıktığında (DL) -0,85 -1,24 -0,46 <0,01 33,36 0,15 17,8 DerSimonian-Laird -0,73 -1,11 -0,34 68,13 0,22 19,70 Sidik-Jonkman -0,78 -1,2 -0,35 74,95 0,31 19,73 En Çok Olabilirlik -0,75 -1,14 70,8 0,25 19,68 Kısıtlanmış En Çok Olabilirlik -0,77 -1,18 73,64 0,29 18,95 Deneysel Bayes -0,69 -1,05 -0,33 62,76 0,18 19,81 Q= 47,06, p=0,10 (Aykırı değer çıkarıldığında Q= 20,92, p<0,01) Bu sonuçlara göre aykırı değerden en az etkilenen yöntemler sırası ile SJ, REML, ML, DL ve EB Güven aralığı en dar çıkan yöntemler sırası ile EB, DL, ML, REML ve SJ ‘dir. Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model EB olarak bulunmuştur.

Çalışma Sayısı = 10 Benzetim Sayısı = 100 Seed = 141088 Benzetim Yöntemi Ana Çalışma Aykırı Değer Etki Büyüklüğü ~N(0,1) Standart Hata ~N(0,1) Etki Büyüklüğü ~N(2,1) Standart Hata ~N(0,1) Etki Büyüklüğü ~N(-2,1) Çalışma Sayısı = 10 Benzetim Sayısı = 100 Seed = 141088

Benzetim Yöntemi Aykırı değer olmayan çalışmalar çıkarıldı. Etki Büy. Std. Hata² Artık -1,7254 0,0584 -0,8762 0,6910 0,3707 0,6737 -1,4881 0,0932 -0,6983 -2,1110 0,7969 -0,9732 -0,9455 0,1185 -0,3388 -0,2286 0,3402 0,1130 1,4732 0,1293 1,1938 -1,4965 0,0161 -0,7713 0,5602 0,3868 0,5922 1,0258 0,0037 1,4972 Etki Büy. Std. Hata² Artık 0,4244 0,5311 0,0478 0,1768 0,6008 -0,1781 0,7939 0,2453 0,4378 0,1021 0,2542 -0,2867 1,6335 7,5504 0,4428 -1,5697 0,1160 -5,7079 -0,9764 3,8755 -0,6387 1,3277 0,1093 1,0382 0,6058 0,0014 0,1862 2,0643 1,0902 1,3159 Aykırı değer olmayan çalışmalar çıkarıldı. Artık -3 ile +3 arasında olmamalı. Aykırı değer farklı yönde olan çalışmalar çıkarıldı. Artık +3’den büyük beklerken -3’den küçük çıkmış.

Benzetim Yöntemi Birden çok aykırı değer olan çalışmalar çıkarıldı. Etki Büy. Std. Hata² Artık 0,7206 0,0408 0,6432 0,4999 0,0002 0,3217 -0,5751 1,8621 -0,5328 -0,1536 0,3502 -0,4326 -1,7332 0,1552 -3,1146 -1,7218 2,3652 -1,1726 1,0770 0,0390 1,1252 0,3238 0,3521 0,1099 -0,9057 0,1081 -1,6816 2,4396 0,1958 3,0304 Etki Büy. Std. Hata² Artık 0,3306 0,4387 0,4699 1,2789 4,4759 0,6140 -1,9570 5,2303 -0,8150 0,0548 0,9848 0,0973 0,0171 0,0104 0,0966 -0,2944 0,4255 -0,2982 -0,5711 1,6953 -0,3737 -0,1491 1,0483 -0,0855 0,7355 0,0853 1,6000 -0,6952 0,0002 -8,2855 Birden çok aykırı değer olan çalışmalar çıkarıldı. EB, ML ve REML ’de en fazla yineleme sayısı olarak 10,000 alınmıştır. Sonsuz döngüye giren çalışmalar çıkarılmıştır.

Aykırı Değer Pozitif Etki büyüklüğü olarak en küçük sonuç başarılı olarak kabul edildi. Buna göre aykırı değerden en az etkilenen yöntemler sırası ile DL, REML, ML, SJ ve EB olarak çıkmıştır. 1 2 3 4 5 DL 57 6 26 ML 27 43 17 8 REML 23 36 14 13 SJ 21 18 37 19 EB 10 34

Aykırı Değer Pozitif Etki büyüklüğünün güven aralığı olarak en dar sonuç başarılı olarak kabul edildi, Buna göre güven aralığı en dar çıkan yöntemler EB ve ML’dir. DL’de ise güven aralığı bazen dar bazen geniş çıkmıştır. REML’de ise geniş çıkma eğilimindedir. 1 2 3 4 5 DL 40 6 44 ML 11 37 46 REML 16 50 34 SJ 15 23 22 EB 17

Aykırı Değer Pozitif 𝜏 2 çalışmalar arası varyans değeri sonuçları Buna göre çalışmalara arası varyans 𝜏 2 küçükten büyüğe doğru sırasıyla EB, SJ, ML, REML ve DL olarak gözlenmiştir. 1 2 3 4 5 DL 26 6 58 ML 8 17 44 27 REML 13 14 37 23 SJ 19 38 18 21 EB 35 10

Aykırı Değer Pozitif -LogLikelihood Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16,91 10,01 23,76 15,19 18,43 ML 16,287 9,841 23,956 14,882 17,633 REML 15,061 9,373 18,327 13,843 16,347 SJ 16,314 9,858 19,864 14,870 17,659 EB 16,34 10,20 19,85 14,87 17,64 Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model ise aykırı değerden en az etkilenen DL olarak bulunmuştur.

Aykırı Değer Negatif Etki büyüklüğü olarak en büyük sonuç başarılı olarak kabul edildi. Buna göre aykırı değerden en az etkilenen yöntemler sırası ile DL, REML, ML, SJ ve EB olarak çıkmıştır. 1 2 3 4 5 DL 28 6 8 53 ML 9 14 45 REML 12 15 43 22 SJ 18 37 16 11 EB 33 21 10

Aykırı Değer Negatif Etki büyüklüğünün güven aralığı olarak en dar sonuç başarılı olarak kabul edildi. Buna göre güven aralığı en dar çıkma eğiliminde yöntemler EB ve ML’dir. DL’de ise güven aralığı bazen dar bazen geniş çıkmıştır. REML’de ise geniş çıkma eğilimindedir. 1 2 3 4 5 DL 38 6 8 45 ML 11 33 REML 54 35 SJ 7 16 19 20 EB 43 21 23 13

Aykırı Değer Negatif 𝜏 2 çalışmalar arası varyans değeri sonuçları Buna göre çalışmalara arası varyans 𝜏 2 küçükten büyüğe doğru sırasıyla EB, SJ, ML, REML ve DL olarak gözlenmiştir. 1 2 3 4 5 DL 53 9 6 28 ML 45 15 REML 22 43 8 13 SJ 11 17 18 37 EB 21 33

Aykırı Değer Negatif -LogLikelihood Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16,99 12,24 36,49 15,27 18,44 ML 16,18 12,22 20,56 14,84 17,80 REML 15,01 11,70 18,94 13,94 16,43 SJ 16,22 12,54 20,57 15,13 17,87 EB 16,26 14,95 16,34 17,84 Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model ise aykırı değerden en az etkilenen DL olarak bulunmuştur.

Tartışma - Sonuç Bir meta analizi çalışmasında aykırı değer olması durumunda Q, 𝐼 2 ve 𝜏 2 olması gerekenden daha yüksek değer almaktadır. Özet etki büyüklüğü aykırı değerin olduğu yöne doğru kaymaktadır. Özet etki büyüklüğü aykırı değerden en az DL yönteminde etkilenmekte ancak bu yöntemde bazen güven aralığı oldukça geniş çıkabilmektedir. Aykırı değerin sağda veya solda olması sonuçları değiştirmemektedir.

Tartışma - Sonuç Bu sunuda meta analizine dahil edilen çalışma sayısı 10 olarak sabit tutulmuştur. 5, 20, 30 gibi farklı büyüklükteki çalışmalar için sonuçlar irdelenebilir. Düşük standart hataya sahip çalışma aykırı değer olacak şekilde sonuçlar irdelenebilir. EB, ML ve REML yöntemlerinde sonsuz döngüye giren çalışmaların özellikleri ve sonsuz döngüye girme nedenleri araştırılabilir.

Kaynaklar W. Viechtbauer, M.W.L. Cheung, 2010, Wiley, Outlier and influence diagnostics for meta- analysis F.N. Gumedze, D. Jackson, BMC, 2011, A random effects variance shift model for detecting and accommodating outliers in meta-analysis L. Lin, H. Chu, J.S. Hodges, 2016, Alternative Measures of Between-Study Heterogeneity in Meta-Analysis: Reducing the Impact of Outlying Studies, Biometrics J. Higgins, S.G. Thompson, J. Deeks, DG. Altman, 2003, Measuring inconsistency in meta- analyses, BMJ Hedges LV and Olkin I (1985). Statistical Method for Meta-Analysis. Academic Press, Orlando, FL. K. Sidik, K.N. Jonkman, Simple heterogeneity variance estimation for meta-analysis, Journal of the royal statistical society, 2005 Perelmutter B ve ark., Assistive technology interventions for adolescents and adults with learning disabilities: An evidence-based systematic review and meta-analysis, Computers & Education, 2017 Jonathan A C Sterne, Michael J Bradburn, Matthias Egger, Meta-Analysis in Stata, Magnes.dta, 2008