Meta Analizinde Etki Büyüklüğü ve Heterojenlik Mutlu Umaroğlu

Etki Büyüklüğü İlk kez 1977’de Cohen tarafından geliştirilmiştir. Etki büyüklüğü (effect size) genellikle iki değişken arasındaki ilişki miktarı veya iki grup arasındaki farklılığın miktarı olarak kullanılan bir indeks değeridir. Test sonucunda doğru olarak saptamak istediğimiz en küçük değişim miktarını gösteren bir ölçüdür. Uygulamada klinik anlamlılık olarak da adlandırılır.

Etki Büyüklüğü Hipotez testlerinde p değeri gözlem sayısı arttıkça küçülme eğilimindeyken etki büyüklüğü gözlem sayısından etkilenmemektedir.   Hastalık Toplam Var Yok Tedavi 20 80 100 200 800 1000 Kontrol 30 70 300 700 50 150 500 1500 2000 OR= 0.583 (0.304-1.118) Kikare=2.667 p=0.102 OR= 0.583 (0.475-0.717) Kikare=26.667 p<0.0001

Etki Büyüklüğü Meta analizi ve güç analizinde kullanılmaktadır. Meta analizine dahil edilecek çalışmalar birleştirilmeden önce her bir sonuç değişkenine ait ölçümlerin etki büyüklüklerinin hesaplanması gerekmektedir.

Etki Büyüklüğü Literatürde kullanılan etki büyüklüğü ölçüleri

Ortalamalar Arası Fark Sonuçların bir ölçekle sunulduğu ve analizdeki tüm çalışmalarda aynı ölçeğin kullanıldığı durumlarda kullanılır. Ham ortalamaların kullanılması nedeniyle etki büyüklüğü hakkında öngörüye sahip olmak daha kolaydır.

Ortalamalar Arası Fark İki grup ortalaması arasındaki farklılık, İki grup ortalaması arasındaki farklılığın varyansı, Ortalamalar arası farka ait %95 güven aralığı,

Standartlaştırılmış Ortalama Farklar Meta analizine dahil edilecek çalışmalar genellikle aynı ölçüm aracıyla elde edilemeyebilir. Farklı araştırma desenleri ile elde edilen veriler farklı aralıklarda değer alabilmekte ortalama ve standart sapmaları değişebilmektedir. Bu durumda ham ortalama farklarını birleştirmek anlamlı olmaz. Tüm çalışmalardan elde edilen sonuç ölçümleri uygun dönüşümler yardımıyla belirli bir aralıkta değer alacak şekilde standartlaştırılır.

Cohen’in d istatistiği Cohen’in d istatistiği Cohen tarafından geliştirilmiş ve meta analizi çalışmalarında etki büyüklüğünü hesaplamak için kullanılan ölçümlerden biridir. Araştırmalarda standartlaştırılmış ortalama farkın örneklem tahmini olarak en sık kullanılan ölçüdür.

Cohen’in d istatistiği D’nin varyansı, D’nin %95 güven aralığı, Ağırlık

Glass’ın Delta istatistiği Glass tarafından geliştirilen bu yöntemde ortalamalar arasındaki farklılık yalnızca kontrol grubuna ait standart sapma değerine bölünerek bulunur. Delta istatistiği, Deltanın varyansı, Deltanın %95 güven aralığı,

Hedges’in g istatistiği Delta istatistiği tedavi ve kontrol grupları arasındaki değişkenlik farklılığından etkilenebilmektedir. Bu durum her bir grup içerisindeki değişkenlik farklılaştığında etki büyüklüğü tahmininde yanlılığa neden olabilmektedir. Hedges Cohen’in d istatistiğinin yanlı olduğunu ve bu yanlılığın ortadan kaldırılması gerektiğini söyler.

Hedges’in g istatistiği Hegres G istatistiği, G istatistiğinin varyansı, G istatistiğinin %95 güven aralığı, J

Yanlılık Miktarı Gözlem sayısı arttıkça yanlılık azalıyor. Sd Cohen's d Hegre's g Yanlılık (%) 2 100 57,14 75,00 5 84,21 18,75 10 92,31 8,33 20 96,20 3,95 30 97,48 2,59 50 98,49 1,53 99,25 0,76 1000 99,92 0,08 Gözlem sayısı arttıkça yanlılık azalıyor. Cohen’s d ile Hegre’s g birbirine yakınsıyor.

2x2 Çapraz Tablolarda Etki Büyüklüğü İlgilenilen durum Var Yok Toplam Tedavi a b n1=a+b Kontrol c d n2=c+d a+c b+d n Sonuç değişkeni oran olduğunda da etki büyüklüğü hesaplanabilir. En sık kullanılan ölçüler risk oranı (Risk Ratio), odds oranı (Odds Ratio), risk farkı (Risk Difference) gibi ölçülerdir.

Risk Oranı Sağlık alanında sıklıkla kullanılan, tedavi ve kontrol grubunun risklerinin oranıdır. Risk oranı, Risk oranının varyansı, Risk oranının %95 güven aralığı,

Odds Oranı Tedavi grubunda ilgilenilen olayın meydana gelme odds’unun kontrol grubunda ilgilenilen olayın meydana gelme odds’una oranıdır. Odds oranı, Odds oranının varyansı, Odds oranının %95 güven aralığı,

Risk Farkı (Atfedilen Risk) Uygulanan tedavinin etkinliğini gösteren bir ölçüt olup tedavi ve kontrol grubu arasındaki risklerin farkıdır. Risk farkı, Risk farkının varyansı, Risk farkının %95 güven aralığı,

Meta Analizinde Heterojenlik Heterojenlik meta analizine dahil edilen çalışmalar arasındaki etki büyüklüğünün farklılığıdır. Homojenlik analizi yapılarak etki büyüklüğünün çalışmalar arasında farklılık gösterip göstermediği araştırılabilir. Klinik, metodolojik ve istatistiksel olmak üzere üç farklı heterojenlik söz konusudur.

Meta Analizinde Heterojenlik Deneklere yapılan müdahale ve çalışmadaki sonuç değişkeninin çeşitliliğine göre çalışmalar arasındaki klinik farklılığa klinik heterojenlik denir. Çalışmanın kalitesi, çalışmanın süresi ve kullanılan istatistiksel yöntemler gibi deneme düzeni ile ilgili heterojenliğe metodolojik heterojenlik denir. Etki büyüklüklerindeki değişkenlikle ilişkili heterojenliğe istatistiksel heterojenlik denir.

Heterojenliğin Nedenleri Heterojenlik çalışma içi değişkenlik (örnekleme hatası) veya çalışmalar arasındaki değişkenlikten kaynaklı olabilir. Çalışmaların sonuçları arasında şansa bağlı olmayan heterojenlik olması durumunda heterojenliğin kaynağı araştırılmalıdır. Bir meta analizi çok sayıda çalışmadan oluşuyorsa ve çalışmalar arası farklılık sadece rasgele değişkenlikten kaynaklanıyorsa çalışma sonuçları ortalama etrafında dağılacaktır.

Heterojenliğin Nedenleri Eğer farklılık rasgele değişkenlikten dolayı değil ise çalışma sonuçları ortalamadan gittikçe uzaklaşacak ve heterojenlik artacaktır. Çalışmalar arasında gözlenen heterojenlik çalışmaya dahil edilen bireyler arasındaki farklılıklardan da kaynaklanabilir.

Cochran’ın Q istatistiği Çalışmalar arasında heterojenlik olup olmadığını değerlendirmede en çok kullanılan yaklaşımdır. Cochran (1954) tarafından önerilen (k-1) serbestlik dereceli ki-kare dağılımına sahip Ki-Kare heterojenlik testidir. Meta analizi çıktılarında sunulan kikare değeridir.

Cochran’ın Q istatistiği Q istatistiğinin gücü meta analizine dahil edilen çalışma sayısından etkilenmektedir. Çalışma sayısı arttıkça Q değeri de artmaktadır. Meta analizine az sayıda çalışma dahil edildiğinde testin gücü düşük olurken çok sayıda çalışma dahil edildiğinde testin gücü yüksek olmaktadır. Eğer meta analizine pek çok çalışma dahil edilmişse, meta analizi için önemsiz olan küçük miktardaki heterojenlik istatistiksel olarak anlamlı bulunabilir.

H İstatistiği Higgins ve Thompson tarafından önerilen (2002) bu istatistik 1 ile ∞ arasında değer almaktadır. H’nin 1’e yaklaşması homojenliğin daha iyi olduğu anlamını taşımaktadır. H istatistiğinin %95 güven aralığı k: Meta analizine dahil edilen çalışma sayısı

H İstatistiği Q>k olduğunda Q≤k olduğunda Çalışma sayısı az olduğunda (k<8) H değeri yanlılık gösterebilmekte hatta orta dereceli bir heterojenliği bile ayırt edememektedir.

𝜏 2 İstatistiği Çalışmalar arası varyans (gerçek etki büyüklüğünün varyansı) olarak ifade edilir. Eğer alt sınır 0’dan büyük ise 𝜏 2 anlamlıdır ve çalışmalar arasında heterojenlik olduğundan söz edilebilir.

𝜏 2 İstatistiği %95 güven aralığı 𝑄>𝑘 𝑄≤𝑘

R İstatistiği Rasgele etki modellerinde güven aralıklarının etkisini tanımlamakta kullanılır ve meta analizine dahil edilen çalışma sayısından bağımsızdır. 𝜏 2 yardımıyla hesaplanır. 1’e yaklaştıkça daha iyi homojenliği ifade eder.

R İstatistiği %95 güven aralığı Q>k olduğunda Q≤k olduğunda

𝐼 2 İstatistiği Son yıllarda kullanılmaya başlanan ve Q, H ve 𝜏 gibi ölçülerden yararlanılarak hesaplanan bir yaygınlık göstergesidir.

𝐼 2 İstatistiği 𝐼 2 için Higgins’in önerdiği sınıflama

Örnek Ross Harris 2006 Ölüm var Ölüm yok Toplam Tedavi 50 60 110 Kontrol 64 47 111 114 107 221

Ross HarrIs Verisi Etki büyüklüğü (odds oranı) Etki büyüklüğünün güven aralığı Çalışmanın ağırlığı Cochran Q istatistiği I² istatistiği

Olkin95 Verisi Olgu var Olgu yok Toplam Tedavi 1 11 12 Kontrol 4 7 5 18 23

Olkin95 Verisi Cochran Q istatistiği I² istatistiği

Heterojenliğin Grafikle Belirlenmesi Çalışmalar arasındaki heterojenliği gösterebilmek için aşağıdaki grafiklerden yararlanılabilir. Forest plot L’abbe plot Galbraith Radial plot Funnel plot Risk of bias plot Risk of bias summary plot

Forest Plot Meta analizinde en sık kullanılan grafiksel araçtır. Literatürde «blobbogram» olarak da geçmektedir. Etki büyüklükleri arasındaki tutarlılığı göstermek amacıyla kullanılmaktadır. Sonuç değişkeni hem iki durumlu hem de sürekli olduğu durumlarda kullanılabilir. Son yıllarda ağaç diyagramının daha fazla bilgi içeren türleri de geliştirilmiştir.

Forest Plot Grafiğin sol tarafında çalışmaların isimleri grafiğin altında ise etki büyüklüğü yer almaktadır.

L’abbe Plot Sonuç değişkeni sadece iki durumlu olduğunda kullanılan bu grafik tedavi ve kontrol grubuna ait risk değerlerinden (odds) yararlanılarak çizilir. Noktaların boyutu çalışmaların ağırlığı ile doğru orantılıdır.

L’abbe Plot Meta analizine dahil edilen çalışmalar homojen ise noktalar çizgiye yakın, heterojen ise çizgiden sapmalar söz konusu olacaktır. Doğrunun altında kalan noktalar tedavinin etkin olmadığını, Doğrunun üstünde kalan noktalar ise tedavinin etkinliğini göstermektedir.

GalbraIth RadIal PLOt Çalışmalar arasındaki standart hataların benzer olup olmadığının ve heterojenliğin incelenmesinde kullanılan grafiksel araçtır. Her bir çalışmadan elde edilen sonuçların (OR veya MD) varyansının kareköküne bölünmesinden elde edilen değer (z) ile standart hatanın tersine karşı çizilir.

GalbraIth RadIal PLOt Grafikteki noktalar %95 güven aralığı içerisinde bulunuyorsa çalışmaların homojen olduğu söylenir.

Funnel Plot Huni grafiği meta analizinde sıklıkla kullanılan ve yayın yanlılığı, sistematik yanlılık olup olmadığının sınanmasında kullanılan grafiksel araçtır. Etki büyüklüğü ile etki büyüklüğü değerlerinin standart hatasının saçılım grafiğidir.

Funnel Plot Grafikte yer alan noktaların simetrik dağılmaması heterojenlik şüphesi doğurabilmektedir.

RIsk of bIas summary Graph Meta analizine dahil edilen her bir çalışmadaki yanlılıkların gösterildiği grafiktir.

RIsk of bIas graph Meta analizine dahil edilen çalışmalarda yanlılık var ise ne kadar yüksek yada düşük bir riske sahip olduğunun gösterildiği grafiktir. 2. Steps of a Cochrane review <ul><li>define the question </li></ul><ul><li>plan eligibility criteria </li></ul><ul><li>plan methods </li></ul><ul><li>search for studies </li></ul><ul><li>apply eligibility criteria </li></ul><ul><li>collect data </li></ul><ul><li>assess studies for risk of bias </li></ul><ul><li>analyse and present results </li></ul><ul><li>interpret results and draw conclusions </li></ul><ul><li>improve and update review </li></ul> 1. Assessing risk of bias in included studies Assessing risk of bias in included studies 4. What is bias? <ul><li>Systematic error or deviation from the truth </li></ul><ul><li>systematic reviews depend on included studies </li></ul><ul><ul><li>incorrect studies = misleading reviews </li></ul></ul><ul><ul><li>should I believe the results? </li></ul></ul><ul><li>assess each study for risk of bias </li></ul><ul><ul><li>can’t measure the presence of bias </li></ul></ul><ul><ul><li>may overestimate or underestimate the effect </li></ul></ul><ul><ul><li>look for methods shown to minimise risk </li></ul></ul> 3. Outline <ul><li>risk of bias in systematic reviews </li></ul><ul><li>assessing sources of bias </li></ul><ul><li>putting it into practice: ‘Risk of bias’ tables </li></ul><ul><li>incorporating findings into your review </li></ul>See Chapter 8 of the Handbook 5. Bias is not the same as <ul><li>random error due to sampling variation </li></ul><ul><li>reflected in the confidence interval </li></ul><ul><li>bias can occur in well-conducted studies </li></ul><ul><li>not all methodological flaws introduce bias </li></ul>Quality Imprecision Reporting <ul><li>good methods may have been used but not well reported </li></ul> 6. Quality scales and checklists <ul><li>many scales available </li></ul><ul><li>not supported by empirical evidence </li></ul><ul><li>different scales, different conclusions </li></ul><ul><li>may include criteria not related to bias </li></ul><ul><li>numerical weighting not justified </li></ul><ul><li>difficult for readers to interpret the score </li></ul>Quality scales should not be used in Cochrane reviews 7. Cochrane ‘Risk of bias’ assessment <ul><li>7 evidence-based domains </li></ul><ul><li>review authors’ judgement </li></ul><ul><ul><li> Low risk of bias </li></ul></ul><ul><ul><li> High risk of bias </li></ul></ul><ul><ul><li>? Unclear </li></ul></ul><ul><li>support for judgement </li></ul><ul><ul><li>evidence/quotes from the paper or other sources </li></ul></ul><ul><ul><li>review author’s explanation </li></ul></ul> 8. Domains to address <ul><li>random sequence generation </li></ul><ul><li>allocation concealment </li></ul><ul><li>blinding of participants and personnel </li></ul><ul><li>blinding of outcome assessment </li></ul><ul><li>incomplete outcome data </li></ul><ul><li>selective reporting </li></ul><ul><li>other bias </li></ul>You MUST consult the Handbook before completing your Risk of Bias assessment 9. Overview <ul><li>risk of bias in systematic reviews </li></ul><ul><li>assessing sources of bias </li></ul><ul><li>putting it into practice: ‘Risk of bias’ tables </li></ul><ul><li>incorporating findings into your review </li></ul> 11. Random sequence generation <ul><li>occurs at the start of a trial before allocation of participants </li></ul><ul><li>avoids selection bias </li></ul><ul><li>determines a random order of assigning people into intervention and control groups </li></ul><ul><li>avoids systematic differences between groups </li></ul><ul><li>accounts for known and unknown confounders </li></ul> 10. Sources of bias Random sequence generation Allocation concealment Selection Performance Detection Attrition Reporting Target population Allocation Intervention group Control group Outcome assessment Outcome assessment Publication of study outcomes Performance Detection Attrition Reporting 12. Random sequence generation <ul><li>Low risk – unpredictable </li></ul><ul><ul><li>random number table </li></ul></ul><ul><ul><li>computer random number generator </li></ul></ul><ul><ul><li>stratified or block randomisation </li></ul></ul><ul><ul><li>minimisation </li></ul></ul><ul><ul><li>low tech - coin toss, shuffling cards or envelopes, throwing dice, drawing lots </li></ul></ul><ul><li>High risk – predictable </li></ul><ul><ul><li>quasi-random – date of birth, day of visit, ID or record number, alternate allocation </li></ul></ul><ul><ul><li>non-random – choice of clinician or participant, test results, availability </li></ul></ul>See Section 8.9 of the Handbook 13. Allocation concealment <ul><li>occurs at the start of the trial during allocation of participants </li></ul><ul><li>avoids selection bias </li></ul><ul><li>when a person is recruited to the study, no-one can predict which group they will be allocated to </li></ul><ul><li>ensures the strict implementation of the random sequence </li></ul><ul><ul><li>prevents changing the order </li></ul></ul><ul><ul><li>prevents selecting who to recruit </li></ul></ul> 14. Allocation concealment <ul><li>Low risk – unpredictable </li></ul><ul><li>central allocation (phone, web, pharmacy) </li></ul><ul><li>sequentially numbered, sealed, opaque envelopes </li></ul><ul><li>sequentially numbered, identical drug containers </li></ul><ul><li>High risk – predictable </li></ul><ul><li>random sequence known to staff in advance </li></ul><ul><li>envelopes or packaging without all safeguards </li></ul><ul><li>non-random, predictable sequence </li></ul>See Section 8.10 of the Handbook 16. Blinding of participants & personnel <ul><li>avoids performance bias </li></ul><ul><ul><li>different treatment of the intervention groups </li></ul></ul><ul><ul><li>different participant expectations </li></ul></ul><ul><ul><li>leads to changes in the actual outcomes </li></ul></ul><ul><li>assess carefully </li></ul><ul><ul><li>avoid terms like “single blinding” and “double blinding” </li></ul></ul><ul><ul><li>is it likely that blinding was broken? </li></ul></ul><ul><ul><li>consider impact even if not feasible for this intervention </li></ul></ul> 15. Sources of bias Blinding of participants, personnel Selection Performance Detection Attrition Reporting Target Population Allocation Intervention group Control group Outcome assessment Outcome assessment Publication of study outcomes 17. Blinding of participants & personnel <ul><li>Low risk </li></ul><ul><li>blinding, and unlikely that the blinding could have been broken </li></ul><ul><li>no blinding or incomplete blinding, but outcome unlikely to be influenced </li></ul><ul><li>High risk </li></ul><ul><li>no blinding, incomplete or broken blinding, and outcome likely to be influenced </li></ul>See Section 8.11 of the Handbook 19. Blinding of outcome assessment <ul><li>avoids detection bias </li></ul><ul><ul><li>measurement of outcomes affected by knowledge of the intervention received </li></ul></ul><ul><li>assess carefully </li></ul><ul><ul><li>avoid terms like “single blinding” and “double blinding” </li></ul></ul><ul><ul><li>is it likely that blinding was broken? </li></ul></ul><ul><ul><li>may be feasible even where blinding of participants and care providers is not </li></ul></ul><ul><ul><li>remember that participants and personnel may also be outcome assessors </li></ul></ul> 18. Sources of bias Blinding of outcome assessment Selection Performance Detection Attrition Reporting Target Population Allocation Intervention group Control group Outcome assessment Outcome assessment Publication of study outcomes 20. Blinding of outcome assessment <ul><li>Low risk </li></ul><ul><li>blinding, and unlikely that the blinding could have been broken </li></ul><ul><li>no blinding, but measurement unlikely to be influenced </li></ul><ul><li>High risk </li></ul><ul><li>no blinding or broken blinding, and measurement likely to be influenced </li></ul>See Section 8.12 of the Handbook 21. Assessing blinding by outcome <ul><li>may reach different conclusions for different outcomes </li></ul><ul><ul><li>measurement of only some outcomes may be blinded </li></ul></ul><ul><ul><li>subjective outcomes may be more vulnerable to bias e.g. death vs quality of life </li></ul></ul><ul><li>may apply to both performance bias and detection bias </li></ul><ul><li>option to design your table with two or more outcome groups for these categories </li></ul> 23. Incomplete outcome data <ul><li>when complete outcome data for all participants is not available for your review </li></ul><ul><ul><li>attrition - loss to follow up, withdrawals, other missing data </li></ul></ul><ul><ul><li>exclusions – some available data not included in report </li></ul></ul><ul><li>can lead to attrition bias </li></ul><ul><li>considerations </li></ul><ul><ul><li>how much data is missing from each group? (include numbers in your description) </li></ul></ul><ul><ul><li>why is it missing? </li></ul></ul><ul><ul><li>how were the data analysed? </li></ul></ul> 22. Sources of bias Incomplete outcome data Selection Performance Detection Attrition Reporting Target Population Allocation Intervention group Control group Outcome assessment Outcome assessment Publication of study outcomes 24. How much is too much missing data? <ul><li>no simple rule </li></ul><ul><li>enough missing to meaningfully affect the results </li></ul><ul><ul><li>overall proportion of missing data </li></ul></ul><ul><ul><li>event risk (dichotomous outcomes) </li></ul></ul><ul><ul><li>plausible effect size (continuous outcomes) </li></ul></ul><ul><li>reasons related to study outcomes </li></ul><ul><ul><li>e.g. recovered, adverse event, refusal </li></ul></ul><ul><ul><li>reasons can have different meaning in each group </li></ul></ul><ul><li>missing data or reasons not balanced between groups </li></ul> 25. Intention-to-treat analysis <ul><li>all participants analysed in the groups randomised </li></ul><ul><ul><li>regardless of what happened during the study </li></ul></ul><ul><li>issues that may arise </li></ul><ul><ul><li>per protocol analysis </li></ul></ul><ul><ul><ul><li>non-compliers excluded from analysis </li></ul></ul></ul><ul><ul><li>as-treated analysis </li></ul></ul><ul><ul><ul><li>non-compliers moved between groups </li></ul></ul></ul><ul><ul><li>imputation of missing values </li></ul></ul><ul><ul><ul><li>assumptions may be inappropriate - consult a statistician </li></ul></ul></ul><ul><li>it may be possible to re-include some excluded data </li></ul> 26. Assessing incomplete data by outcome <ul><li>may reach different conclusions for different outcomes </li></ul><ul><ul><li>may be more missing data at different time points </li></ul></ul><ul><ul><li>some outcomes may have more missing data e.g. sensitive questions, invasive tests </li></ul></ul><ul><li>option to design your table with two or more outcome groups for ‘incomplete data’ </li></ul> 27. Incomplete outcome data <ul><li>Low risk </li></ul><ul><li>no missing data </li></ul><ul><li>reasons for missing data not related to outcome </li></ul><ul><li>missing data balanced across groups, and reasons similar </li></ul><ul><li>proportion missing or plausible effect size not enough to have a clinically relevant effect </li></ul><ul><li>High risk </li></ul><ul><li>reasons related to outcome, and imbalance in numbers or reasons </li></ul><ul><li>proportion missing or plausible effect size enough to have a clinically relevant effect </li></ul><ul><li>’ as-treated’ analysis with substantial departure from allocation </li></ul><ul><li>inappropriate use of imputation </li></ul>See Section 8.13 of the Handbook 29. Selective reporting <ul><li>can lead to reporting bias </li></ul><ul><li>statistically significant results more likely to be reported </li></ul><ul><ul><li>as planned </li></ul></ul><ul><ul><li>in detail </li></ul></ul><ul><li>difficult to determine </li></ul><ul><ul><li>compare methods to results – look for: </li></ul></ul><ul><ul><ul><li>outcomes measured (or likely to be measured) but not reported </li></ul></ul></ul><ul><ul><ul><li>outcomes added, statistics changed, subgroups only </li></ul></ul></ul><ul><ul><ul><li>reporting that cannot be used in a review (e.g. stating non-significance without numerical results) </li></ul></ul></ul><ul><ul><li>refer to study protocol or trial register </li></ul></ul><ul><li>focus on outcomes of interest to your review </li></ul> 28. Sources of bias Selective reporting Selection Performance Detection Attrition Reporting Target Population Allocation Intervention group Control group Outcome assessment Outcome assessment Publication of study outcomes 30. Selective reporting <ul><li>Low risk </li></ul><ul><li>protocol is available and all pre-specified outcomes of interest to the review reported in the pre-specified way </li></ul><ul><li>protocol not available but it is clear that all pre-specified and expected outcomes of interest are reported </li></ul><ul><li>Unclear risk </li></ul><ul><li>most studies will be judged in this category </li></ul><ul><li>High risk </li></ul><ul><li>outcomes not reported as pre-specified or expected </li></ul><ul><ul><li>e.g. missing, added, subsets, unexpected measurements or methods </li></ul></ul><ul><li>outcomes reported incompletely so they cannot be entered in a meta-analysis </li></ul>See Section 8.14 of the Handbook 31. Other sources of bias <ul><li>must be a clear rationale why a factor may cause bias </li></ul><ul><li>do not include </li></ul><ul><ul><li>imprecision (e.g. small sample size) </li></ul></ul><ul><ul><li>diversity (e.g. inadequate dose, unusual population) </li></ul></ul><ul><ul><li>other measures of quality (e.g. ethics approval, funding) </li></ul></ul><ul><li>if possible, identify important issues in your protocol </li></ul><ul><li>option to add rows to your table for items to be assessed across all studies </li></ul> 32. Other sources of bias <ul><li>Low risk </li></ul><ul><li>study appears to be free of other sources of risk </li></ul><ul><li>High risk </li></ul><ul><li>issues specific to the study design </li></ul><ul><ul><li>carry-over in cross-over trials </li></ul></ul><ul><ul><li>recruitment bias in cluster-randomised trials </li></ul></ul><ul><ul><li>non-randomised studies </li></ul></ul><ul><li>baseline imbalance </li></ul><ul><li>blocked randomisation in unblinded trials </li></ul><ul><li>differential diagnostic activity </li></ul><ul><li>other bias </li></ul>See Section 8.15 of the Handbook 34. Completing the assessments <ul><li>at least two assessors </li></ul><ul><ul><li>ensure all understand the methodological issues </li></ul></ul><ul><ul><li>include content and methods experts </li></ul></ul><ul><li>pilot on 3-6 studies to check consistency of assessment </li></ul><ul><li>look for missing information </li></ul><ul><ul><li>study protocol </li></ul></ul><ul><ul><li>contact authors </li></ul></ul> 33. Overview <ul><li>risk of bias in systematic reviews </li></ul><ul><li>assessing sources of bias </li></ul><ul><li>putting it into practice: ‘Risk of bias’ tables </li></ul><ul><li>incorporating findings into your review </li></ul> 35. ‘ Risk of bias’ tables <ul><li>one for each included study </li></ul><ul><li>your judgement for each domain </li></ul><ul><ul><li> Low risk </li></ul></ul><ul><ul><li> High risk - consider risk of material bias, not any bias </li></ul></ul><ul><ul><li>? Unclear = not enough information to make a clear judgement </li></ul></ul><ul><li>support for judgement </li></ul><ul><ul><li>direct quotes from the paper or study author where possible </li></ul></ul><ul><ul><li>additional comments </li></ul></ul><ul><ul><li>rationale for any assumptions (e.g. “probably done”) </li></ul></ul><ul><ul><li>state explicitly if no information available </li></ul></ul> 38. Prioritise domains for your review <ul><li>all reviews address all domains, but you can select one or more as priorities for your review </li></ul><ul><ul><li>specify in your protocol </li></ul></ul><ul><li>give a rationale, considering: </li></ul><ul><ul><li>empirical evidence of impact </li></ul></ul><ul><ul><li>likely direction of impact </li></ul></ul><ul><ul><ul><li>bias most likely to exaggerate effect </li></ul></ul></ul><ul><ul><ul><li>if likely to underestimate and a significant effect observed, may be ok </li></ul></ul></ul><ul><ul><li>likely magnitude of impact in relation to observed effect </li></ul></ul>See Handbook Sections 8.5-8.14 37. Overview <ul><li>risk of bias in systematic reviews </li></ul><ul><li>assessing sources of bias </li></ul><ul><li>putting it into practice: ‘Risk of bias’ tables </li></ul><ul><li>incorporating findings into your review </li></ul> 39. Incorporating findings into your review <ul><li>always give a narrative description </li></ul><ul><ul><ul><li>may be missed by readers </li></ul></ul></ul><ul><ul><ul><li>does not address impact on results </li></ul></ul></ul><ul><li>may restrict primary analysis to studies at low risk </li></ul><ul><ul><li>based on reasoned (but arbitrary) key domains </li></ul></ul><ul><ul><li>always conduct sensitivity analysis </li></ul></ul><ul><li>may present a stratified analysis </li></ul><ul><li>may explore the impact further </li></ul><ul><ul><li>subgroup analysis </li></ul></ul><ul><ul><li>meta-regression - get statistical advice </li></ul></ul> 40. Reaching an overall interpretation <ul><li>don’t try to summarise all outcomes and all studies at once </li></ul><ul><li>summarise by outcome </li></ul><ul><ul><li>outcome may have different risk assessments (e.g. blinding, incomplete data) </li></ul></ul><ul><ul><li>not all studies contribute to each outcome </li></ul></ul><ul><ul><li>start by summarising within a study , then across studies </li></ul></ul><ul><li>studies at ‘unclear’ risk should not be grouped with ‘low risk’ without a rationale </li></ul> 41. Risk of bias summary 43. What to include in your protocol <ul><li>check with your CRG for standard text </li></ul><ul><li>brief description of risk of bias assessment tool </li></ul><ul><ul><li>list domains </li></ul></ul><ul><ul><li>refer to Handbook Chapter 8 </li></ul></ul><ul><li>more than one author will assess risk of bias </li></ul><ul><li>how will disagreements will be resolved? </li></ul><ul><li>are there specific domains you consider to be important for the review? </li></ul><ul><li>how will you incorporate findings into your analysis ? </li></ul> 42. Risk of bias graph 46. References <ul><li>Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies . In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org . </li></ul>Acknowledgements <ul><li>Compiled by Miranda Cumpston </li></ul><ul><li>Based on materials by the Cochrane Bias Methods Group and the Australasian Cochrane Centre </li></ul><ul><li>Approved by the Cochrane Methods Board </li></ul 45. Take home message <ul><li>biased studies may lead to misleading reviews </li></ul><ul><li>seven domains of bias to be assessed </li></ul><ul><li>describe what happened in detail and give your judgement </li></ul><ul><li>consider the possible effects and use appropriate caution in interpreting your results </li></ul>

Heterojenliğin Değerlendirilmesi Çalışmalar arasındaki farklılık anlamlı değilse yani çalışmalar homojen ise sabit etki modelinin kullanılması önerilmektedir. Çalışmalar arasında heterojenlik varsa heterojenlik kaynağının tespit edilmesi gerekir. Eğer heterojenlik uç çalışmalardan kaynaklanıyor ise bu çalışmaların çıkarılması önerilmektedir. Heterojenlik uç çalışmalardan kaynaklanmıyorsa bu durumda rasgele etki modeli kullanılmalıdır.

Teşekkürler Ross Harris datasets : Ross J Harris (rossharris1978@yahoo.co.uk), Roger M Harbord, Jonathan A C Sterne. Department of Social Medicine, University of Bristol, Canynge Hall, Whiteladies Road, Bristol BS8 2PR, UK Olkin95 datasets: Olkin I (1995), Statistical and theoretical considerations in meta-analysis. Journal of Clinical Epidemiology, 48, 133–146

Teşekkürler Understanding The New Statistics Effect Sizes, confidence intervals, and meta-analysis, Geoff Cumming La Trobe University, Melbourne, Australia Introduction to Meta-Analysis, M. Borenstein, L. V. Hedges, J.P.T. Higgins, H. R. Rothstein, Wiley 2009