Outlier Problem in Meta-Analysis and Comparing Some Methods for Outliers Mutlu Umaroğlu¹ Pınar Özdemir¹ ¹Hacettepe University Department of Biostatistics

Meta Analizi Meta analizi, aynı konuda farklı yer ve zamanda yapılmış çalışmalardan elde edilen bulguların bir takım istatistiksel yöntemlerle birleştirilmesine dayalı kantitatif bir yöntemdir. Meta analizinin amacı birincil çalışmalara göre daha çok sayıda örneklem alarak parametreleri daha düşük hata ve daha fazla güç ile tahmin etmektir. Meta analizi çalışmalarında genellikle çalışmaların etki büyüklükleri birleştirilerek ortak etki büyüklüğü hesaplanmaya çalışılır.

Etki Büyüklüğü Etki büyüklüğü iki değişken arasındaki ilişki miktarı veya iki grup arasındaki farklılığın miktarı vb. gibi kullanılan bir indeks değeridir. Meta analizi çalışmalarında etki büyüklüğü ölçüsü olarak genellikle sayısal veriler için Cohen’in d, Glass’ın Δ, Hedges’in g ve kategorik veriler için RR, OR ve AR kullanılmaktadır.

Homojenlik – Heterojenlik Meta analizine dahil edilen çalışmalar arasındaki etki büyüklüğünün farklılığına heterojenlik denir. Meta analizinde heterojenliği değerlendirmek için genellikle Cochran Q testi ve I2 kullanılmaktadır.

Cochran Q testi Çalışmalar arasında heterojenlik olup olmadığının değerlendirilmesinde en sık kullanılan yaklaşımdır. Q istatistiği (k-1) serbestlik dereceli ki-kare dağılımına sahiptir. wi  Çalışmaların ağırlığı (1/SH(Yi)) Yi  Etki büyüklüğü

𝐼 2 Heterojenlik Ölçüsü Heterojenliğin yüzde olarak ifade edildiği Cochran Q istatistiği temelli bir istatistiktir.

Sabit Etki ve Rasgele Etki Modeli Sabit etki modelinde çalışmaların etki büyüklükleri arasındaki farklılıklar rasgele hatadan kaynaklanır. Rasgele etki modelinde meta analizine dahil edilen tüm çalışmaların aynı etkiyi gösteren evrenden çekilmesi mümkün olmadığı varsayılır.

𝜏 2 𝜏 2 Heterojenlik Ölçüsü Rasgele etki modelinde heterojenlik niceliksel olarak 𝜏 2 ile ifade edilmektedir. (DL) DerSimonian – Laird (SJ) Sidik – Jonkman (ML) En Çok Olabilirlik (REML) Kısıtlanmış En Çok Olabilirlik (EB) Deneysel Bayes 𝜏 2

𝜏 2 Kestirim Yöntemleri (DL) DerSimonian – Laird (SJ) Sidik-Jonkman Moment kestirimi  Varyans kestirimi  En çok olabilirlik  Bayes kestirimi  (DL) DerSimonian – Laird (SJ) Sidik-Jonkman (ML) En Çok Olabilirlik (REML) Kısıtlanmış En Çok Olabilirlik (EB) Deneysel Bayes

DerSimonian – Laird Yöntemi wi  Çalışmaların ağırlığı (1/SH(Yi)) Q  Cochran’ın Q test istatistiği k  Çalışma sayısı

Sidik-Jonkman Yöntemi olmak üzere

En Çok Olabilirlik Yöntemi Log olabilirlik fonksiyonunun maksimizasyonu ile 𝜏 2 elde edilir.

Kısıtlanmış En Çok Olabilirlik Yöntemi Log olabilirlik fonksiyonunun maksimizasyonu ile 𝜏 2 elde edilir.

𝜏 2 Kestirim Yöntemleri ML, REML ve EB iterasyon tabanlı yöntemlerden; DL ve SJ iterasyon tabanlı olmayan yöntemlerdendir. ML, REML ve EB sonsuz döngüye girebilmekte ve bu durumda 𝜏 2 değeri hesaplanamamaktadır.

T dağılımı Bu yöntemde t dağılımının serbestlik derecesi (v) kuyruktaki değerlerin modellemesini kolaylaştırır.

Rasgele etki varyansı 𝜏 1 2 , 𝜏 2 2 Mixture Dağılımı Rasgele etki varyansı 𝜏 1 2 , 𝜏 2 2

Örnek: Diş taşı temizliği ve kök düzeltilmesi yapılan hastalar ile sadece kök düzeltilmesi yapılan hastalarda peridontal derinlik karşılaştırılmıştır. No Çalışma Etki Büyüklüğü Std. Hata 1 Anderson 2007 0,37 0,1824 2 Betsy 2014 0,8 0,2241 3 Chondros 2009 -0,1 0,2723 4 Christodoulides 2008 0,2 0,2198 5 Ge 2013 0,44 0,26 6 0,18 0,29 7 Lulic 2009 0,63 0,2119 8 Monzavi 2016 1,91 0,191 9 Polansky 2009 0,21 0,3041 Azaripour A. ve ark., Efficacy of photodynamic therapy as adjunct treatment of chronic periodontitis: a systematic review and meta-analysis, Lasers in Medical Science, 2017

Araştırmalarda Aykırı Değer Problemi Birincil çalışmalarda olduğu gibi meta-analizlerinde de aykırı değer olabilmektedir. Heterojenliğin yüksek çıkma nedenlerinden biri de meta analizinde aykırı değer bulunmasıdır. Heterejonliği değerlendiren yöntemler aykırı değerleri tespit edememekte; aykırı değerlerin ayrıca tespit edilmesi gerekmektedir.

Aykırı Değerlerin Tespiti Meta analizinde kullanılan bazı grafikler aykırı değer olarak adlandırılan çalışma olup olmadığı konusunda fikir verebilir. Forest plot Galbraith Radial plot Aykırı değerlerin tespitinde kullanılan kantitatif yöntem ise artıkların incelenmesidir.

Örnek:

Örnek:

Artıkların İncelenmesi Hedges’e göre artıklar -3 ile +3 arasında olmalıdır. Eğer bir çalışmaya ait artıklar bu aralıkta değilse bu çalışma aykırı değerdir.

Örnek: Diş taşı temizliği ve kök düzeltilmesi yapılan hastalar ile sadece kök düzeltilmesi yapılan hastalarda peridontal derinlik karşılaştırılmıştır. No Çalışma Etki Büyüklüğü Std. Hata Artık 1 Anderson 2007 0,37 0,1824 -0,5091 2 Betsy 2014 0,8 0,2241 0,5133 3 Chondros 2009 -0,1 0,2723 -1,3525 4 Christodoulides 2008 0,2 0,2198 -0,8434 5 Ge 2013 0,44 0,26 -0,2716 6 0,18 0,29 -0,7616 7 Lulic 2009 0,63 0,2119 0,1357 8 Monzavi 2016 1,91 0,191 3,2937 9 Polansky 2009 0,21 0,3041 -0,6852 Azaripour A. ve ark., Efficacy of photodynamic therapy as adjunct treatment of chronic periodontitis: a systematic review and meta-analysis, Lasers in Medical Science, 2017

Örnek Yöntem Etki Büyüklüğü %95 Alt Sınır Üst Sınır P değeri I² Tau2 Log Likelihood Aykırı Değer Çıktığında (DL) 0,38 0,20 0,55 <0,01 14,68 0,01 0,73 DerSimonian-Laird 0,53 0,10 0,96 87,38 0,37 7,76 Sidik-Jonkman 0,14 0,92 84,86 0,30 7,63 En Çok Olabilirlik 0,16 0,91 83,60 0,27 7,61 Kısıtlanmış En Çok Olabilirlik 0,93 85,33 0,31 7,22 Deneysel Bayes 84,82 T dağılımı 0,384 0,67 5,93 Mixture Dağılımı 0,386 0,61 5,25 Q = 63,38, p<0,01 (Aykırı değer çıkarıldığında Q = 9,53, p=0,22) Aykırı değerden en az etkilenen yöntemler T dağılımı ve Mixture dağılımıdır. Güven aralığı en dar çıkan yöntemler mixture ve t dağılımı; en geniş çıkan yöntem DerSimonian-Laird yöntemidir. Logaritmik olabilirlik sonuçlarına göre en iyi modeller Mixture, T dağılımı ve REML’dir.

Örnek: Miyokart enfarktüsü sonrasında magnezyum alımının ölümü önlemesi üzerine yapılmış 16 rasgele kontrollü çalışma sonuçları aşağıda verilmiştir. Müdahale Kontrol No Çalışma Yıl Ölüm Toplam Total 1 Morton 1984 40 2 36 Rasmussen 1986 9 135 23 3 Smith 200 7 4 Abraham 1987 48 46 5 Feldstedt 1988 10 150 8 148 6 Schechter 1989 59 56 Ceremuzynski 25 Bertschat 22 21 Singh 1990 76 11 75 Pereira 27 Schechter 1 1991 89 12 80 Golf 13 33 Thogersen 130 122 14 LIMIT-2 1992 90 1159 118 1157 15 Schechter 2 1995 107 17 108 16 ISIS-4 2216 29011 2103 29039

Örnek: 16 ISIS-4 2216 29011 2103 29039 0,06 0,03 3,43 Müdahale Kontrol Odds Oranı No Çalışma Ölüm Toplam Total Yi SH Artık 1 Morton 40 2 36 -0,83 1,25 -0,04 Rasmussen 9 135 23 -1,06 0,41 -0,36 3 Smith 200 7 -1,28 0,81 -0,51 4 Abraham 48 46 1,43 0,58 5 Feldstedt 10 150 8 148 0,22 0,49 1,20 6 Schechter 59 56 -2,41 1,07 -1,55 Ceremuzynski 25 1,19 -0,43 Bertschat 22 21 -1,19 1,66 -0,30 Singh 76 11 75 -0,7 0,54 0,11 Pereira 27 -2,21 1,11 -1,32 Schechter 1 89 12 80 -2,04 0,78 -1,38 Golf 13 33 -0,85 0,62 -0,07 Thogersen 130 122 -0,79 0,63 -0,01 14 LIMIT-2 90 1159 118 1157 -0,3 0,15 0,79 15 Schechter 2 107 17 108 -1,57 0,57 -0,96 16 ISIS-4 2216 29011 2103 29039 0,06 0,03 3,43 Jonathan A C Sterne, Michael J Bradburn, Matthias Egger, Meta-Analysis in Stata, Magnes.dta, 2008

Örnek

Örnek Yöntem Etki Büyüklüğü %95 Alt Sınır Üst Sınır P değeri I² Tau2 Log Likelihood Aykırı Değer Çıktığında (DL) -0,85 -1,24 -0,46 <0,01 33,36 0,15 17,8 DerSimonian-Laird -0,73 -1,11 -0,34 68,13 0,22 19,70 Sidik-Jonkman -0,776 -1,2 -0,35 74,95 0,31 19,73 En Çok Olabilirlik -0,75 -1,14 70,8 0,25 19,68 Kısıtlanmış En Çok Olabilirlik -0,77 -1,18 73,64 0,29 18,95 Deneysel Bayes -0,69 -1,05 -0,33 62,76 0,18 19,81 T dağılımı -0,787 -1,26 -0,40 20,30 Mixture Dağılımı -1,27 -0,32 Q= 47,06, p<0,01 (Aykırı değer çıkarıldığında Q= 20,92, p=0,10) Bu sonuçlara göre aykırı değerden en az etkilenen yöntemler sırası T dağılımı, Mixture dağılımı ve SJ’dir. Güven aralığı en dar çıkan yöntemler sırası ile EB ve DL, en geniş çıkan yöntem ise mixture dağılımıdır. Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model mixture ve t dağılımı olarak bulunmuştur.

Çalışma Sayısı = 10 - 20 Simülasyon Sayısı = 100 Seed = 141088 Ana Çalışma Aykırı Değer Etki Büyüklüğü ~N(0,1) Standart Hata ~N(0,1) Etki Büyüklüğü ~N(2,1) Standart Hata ~N(0,1) Etki Büyüklüğü ~N(-2,1) Çalışma Sayısı = 10 - 20 Simülasyon Sayısı = 100 Seed = 141088

Simülasyon Aykırı değer olmayan çalışmalar çıkarıldı. Etki Büy. Std. Hata² Artık -1,7254 0,0584 -0,8762 0,6910 0,3707 0,6737 -1,4881 0,0932 -0,6983 -2,1110 0,7969 -0,9732 -0,9455 0,1185 -0,3388 -0,2286 0,3402 0,1130 1,4732 0,1293 1,1938 -1,4965 0,0161 -0,7713 0,5602 0,3868 0,5922 1,0258 0,0037 1,4972 Etki Büy. Std. Hata² Artık 0,4244 0,5311 0,0478 0,1768 0,6008 -0,1781 0,7939 0,2453 0,4378 0,1021 0,2542 -0,2867 1,6335 7,5504 0,4428 -1,5697 0,1160 -5,7079 -0,9764 3,8755 -0,6387 1,3277 0,1093 1,0382 0,6058 0,0014 0,1862 2,0643 1,0902 1,3159 Aykırı değer olmayan çalışmalar çıkarıldı. Artık -3 ile +3 arasında olmamalı. Aykırı değer farklı yönde olan çalışmalar çıkarıldı. Artık +3’den büyük beklerken -3’den küçük çıkmış.

Simülasyon Birden çok aykırı değer olan çalışmalar çıkarıldı. Etki Büy. Std. Hata² Artık 0,7206 0,0408 0,6432 0,4999 0,0002 0,3217 -0,5751 1,8621 -0,5328 -0,1536 0,3502 -0,4326 -1,7332 0,1552 -3,1146 -1,7218 2,3652 -1,1726 1,0770 0,0390 1,1252 0,3238 0,3521 0,1099 -0,9057 0,1081 -1,6816 2,4396 0,1958 3,0304 Etki Büy. Std. Hata² Artık 0,3306 0,4387 0,4699 1,2789 4,4759 0,6140 -1,9570 5,2303 -0,8150 0,0548 0,9848 0,0973 0,0171 0,0104 0,0966 -0,2944 0,4255 -0,2982 -0,5711 1,6953 -0,3737 -0,1491 1,0483 -0,0855 0,7355 0,0853 1,6000 -0,6952 0,0002 -8,2855 Birden çok aykırı değer olan çalışmalar çıkarıldı. EB, ML ve REML ’de max iterasyon sayısı olarak 10,000 alınmıştır. Sonsuz döngüye giren çalışmalar çıkarılmıştır.

Etki Büyüklüğü 10 20 Pozitif Pozitif 1 2 3 4 5 DL 57 6 26 ML 27 43 17 8 REML 23 36 14 13 SJ 21 18 37 19 EB 10 34 10 Pozitif 1 2 3 4 5 DL 57 6 28 ML 34 46 15 REML 25 36 10 17 12 SJ 13 29 35 EB 9 27 41 20 Pozitif

Etki Büyüklüğü 10 10 Negatif Pozitif 1 2 3 4 5 DL 28 6 8 53 ML 9 14 45 REML 12 15 43 22 SJ 18 37 16 11 EB 33 21 10 10 Negatif 1 2 3 4 5 DL 57 6 26 ML 27 43 17 8 REML 23 36 14 13 SJ 21 18 37 19 EB 10 34 10 Pozitif

Güven Aralığı 10 20 Pozitif Pozitif 1 2 3 4 5 DL 40 6 44 ML 11 37 46 REML 16 50 34 SJ 15 23 22 EB 17 10 Pozitif 1 2 3 4 5 DL 51 8 38 ML 17 52 27 REML 9 39 SJ 12 23 EB 45 37 20 Pozitif

Güven Aralığı 10 10 Negatif Pozitif 1 2 3 4 5 DL 38 6 8 45 ML 11 33 REML 54 35 SJ 7 16 19 20 EB 43 21 23 13 10 Negatif 1 2 3 4 5 DL 40 6 44 ML 11 37 46 REML 16 50 34 SJ 15 23 22 EB 17 10 Pozitif

𝜏 2 çalışmalar arası varyans 1 2 3 4 5 DL 26 6 58 ML 8 17 44 27 REML 13 14 37 23 SJ 19 38 18 21 EB 35 10 10 Pozitif 1 2 3 4 5 DL 28 7 57 ML 15 46 34 REML 12 17 10 37 25 SJ 35 29 13 EB 41 27 11 9 20 Pozitif

𝜏 2 çalışmalar arası varyans 1 2 3 4 5 DL 53 9 6 28 ML 45 15 REML 22 43 8 13 SJ 11 17 18 37 EB 21 33 10 Negatif 1 2 3 4 5 DL 26 6 58 ML 8 17 44 27 REML 13 14 37 23 SJ 19 38 18 21 EB 35 10 10 Pozitif

-LogLikelihood 10 20 Pozitif Pozitif Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16,91 10,01 23,76 15,19 18,43 ML 16,287 9,841 23,956 14,882 17,633 REML 15,061 9,373 18,327 13,843 16,347 SJ 16,314 9,858 19,864 14,870 17,659 EB 16,34 10,20 19,85 14,87 17,64 10 Pozitif Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 33,79 26,28 45,56 31,61 35,96 ML 32,56 25,69 198,74 30,39 33,88 REML 31,32 24,90 37,37 29,22 32,62 SJ 25,70 38,86 30,35 33,83 EB 32,54 25,78 30,23 33,89 20 Pozitif

-LogLikelihood 10 10 Negatif Pozitif Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16,99 12,24 36,49 15,27 18,44 ML 16,18 12,22 20,56 14,84 17,80 REML 15,01 11,70 18,94 13,94 16,43 SJ 16,22 12,54 20,57 15,13 17,87 EB 16,26 14,95 16,34 17,84 10 Negatif Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16,91 10,01 23,76 15,19 18,43 ML 16,287 9,841 23,956 14,882 17,633 REML 15,061 9,373 18,327 13,843 16,347 SJ 16,314 9,858 19,864 14,870 17,659 EB 16,34 10,20 19,85 14,87 17,64 10 Pozitif

Etki Büyüklüğü 10 Pozitif 1 2 3 4 5 6 7 DL 10 20 31 8 23 ML 14 35 28 17 REML 16 22 19 11 12 SJ 15 EB 24 Mixture 52 T Dağlımı 25 34 10 Pozitif

Güven Aralığı 10 Pozitif 1 2 3 4 5 6 7 DL 22 11 14 37 ML 8 13 35 29 36 REML 19 41 28 9 SJ 23 20 17 10 EB 21 30 16 15 Mixture 46 12 T Dağlımı 18 33 10 Pozitif

-LogLikelihood 10 Pozitif Ortanca En küçük En büyük 1. Çeyrek DL 16,91 10,01 23,76 15,19 18,43 ML 16,229 9,841 23,956 14,882 17,601 REML 15,010 9,373 18,327 13,843 16,300 SJ 16,266 9,858 19,864 14,870 17,611 EB 16,29 10,20 19,85 14,87 17,61 Mixture 14,894 8,953 19,810 13,281 16,272 T Dağlımı 15,785 14,263 16,959 10 Pozitif

AIC 10 Pozitif Ortanca En küçük En büyük Çeyrek 3. Çeyrek DL 37,82 24,03 51,52 34,38 40,86 ML 36,46 23,68 51,91 33,76 39,20 REML 34,02 22,75 40,65 31,69 36,60 SJ 36,53 23,72 43,73 33,74 39,22 EB 36,57 24,39 43,70 33,73 39,21 Mixture 37,79 25,91 47,62 34,56 40,54 T Dağlımı 37,57 25,68 45,62 34,53 39,92 10 Pozitif

BIC 10 Pozitif Ortanca En küçük En büyük Çeyrek 3. Çeyrek DL 38,42 24,63 52,12 34,98 41,47 ML 37,06 24,29 52,52 34,37 39,81 REML 34,41 23,14 41,05 32,08 36,99 SJ 37,14 24,32 44,33 34,34 39,83 EB 37,18 25,00 44,30 39,82 Mixture 39,00 27,12 48,83 35,77 41,75 T Dağlımı 38,49 26,59 46,53 35,43 40,83 10 Pozitif

Tartışma - Sonuç Bir meta analizi çalışmasında aykırı değer olması durumunda Q, 𝐼 2 ve 𝜏 2 olması gerekenden daha yüksek değer almaktadır. Özet etki büyüklüğü aykırı değerin olduğu yöne doğru kaymaktadır. Meta analizine dahil edilen çalışma sayısı (aykırı değer oranı) sonuçları değiştirmemektedir. Aykırı değerin pozitif veya negatif yönde olması sonuçları değiştirmemektedir.

Tartışma - Sonuç Hem pozitif hem de negatif yönde aykırı değer olduğu durum için sonuçlar irdelenebilir. Bu sunuda meta analizine dahil edilen çalışma sayısı 10 ve 20; aykırı değer 1 olarak düşünülmüştür. 1’den çok aykırı değer ve farklı sayıda çalışma için sonuçlar irdelenebilir. Düşük standart hataya sahip çalışma aykırı değer olacak şekilde sonuçlar irdelenebilir. EB, ML ve REML yöntemlerinde sonsuz döngüye giren çalışmaların özellikleri ve sonsuz döngüye girme nedenleri araştırılabilir.

Kaynaklar W. Viechtbauer, M.W.L. Cheung, 2010, Wiley, Outlier and influence diagnostics for meta-analysis F.N. Gumedze, D. Jackson, BMC, 2011, A random effects variance shift model for detecting and accommodating outliers in meta-analysis L. Lin, H. Chu, J.S. Hodges, 2016, Alternative Measures of Between-Study Heterogeneity in Meta- Analysis: Reducing the Impact of Outlying Studies, Biometrics J. Higgins, S.G. Thompson, J. Deeks, DG. Altman, 2003, Measuring inconsistency in meta-analyses, BMJ Hedges LV and Olkin I (1985). Statistical Method for Meta-Analysis. Academic Press, Orlando, FL. K. Sidik, K.N. Jonkman, Simple heterogeneity variance estimation for meta-analysis, Journal of the royal statistical society, 2005 Azaripour A. ve ark., Efficacy of photodynamic therapy as adjunct treatment of chronic periodontitis: a systematic review and meta-analysis, Lasers in Medical Science, 2017 Jonathan A C Sterne, Michael J Bradburn, Matthias Egger, Meta-Analysis in Stata, Magnes.dta, 2008 K.J.Beath, 2014, Wiley, A finite mixture method for outlier detection and robustness in meta-analysis K.J.Beath, 2016, Metaplus: An R package for the analysis of Robust Meta Analysis and Meta Regression R Baker, D Jackson, 2008, A new approach to outliers in meta-analysis R Baker, D Jackson, 2015, New Models for describing outliers in meta-analysis K. J. Lee and S. G. Thompson, 2008, Flexible parametric models for random-effects distributions