ANALİTİK YÖNTEM VALİDASYONU

... konulu sunumlar: "ANALİTİK YÖNTEM VALİDASYONU"— Sunum transkripti:

1 ANALİTİK YÖNTEM VALİDASYONU
6.DERS

2 Kesinliklerin karşılaştırılması – F testi
Zaman zaman, iki popülasyonun varyanslarının (veya standart sapmalarının) karşılaştırılmasına gerek duyulur. Örneğin, normal t testi karşılaştırılacak veri takımlarının s’larının eşit olmasını gerektirir. F testi adı verilen istatistiksel test, popülasyonların normal (Gauss) dağılımı göstermesi şartıyla, bu kabulün test edilmesi amacıyla kullanılabilir. Aynı zamanda F testi, ikiden daha çok sayıda ortalamanın karşılaştırılmasında ve doğrusal regresyon analizinde de kullanılır. F testi, düşünülen şartlarda iki popülasyon varyansının eşit olduğunu ifade eden null hipotezini, H0 : σ12 = σ22 esas alır. İki örneklem varyansının oranı ise; F = s12 / s22 olarak ifade edilen test istatistiği (F) hesaplanır ve istenilen güven seviyesindeki F’nin kritik değeri ile (Ftablo) karşılaştırılır. Deneysel olarak hesaplanan F değeri, olasılık tablolarından bulunan kritik F değerini geçerse, iki varyansın da aynı olduğu null hipotezinin sorgulanması için istatistik bir dayanak vardır. Ayrıca, F tablolarına bakarken tek veya çift taraflı olmasına göre bakılması gerekir. 2

3 F tablosunda, 0,05 olasılık seviyesi için kritik F değerleri, iki tane serbestlik derecesi ile birlikte verilmektedir. Bunlardan bir tanesi paya karşılık gelirken, diğeri paydaya karşılık gelmektedir. F testi, tek yanlı ve iki yanlı olarak kullanılabilmektedir. Tek yanlı test için, alternatif hipotez olarak, varyanslardan birinin diğerinden daha büyük olup olmadığı ya da daha kesin olup olmadığı test edilir. Buna göre, kesinliğinin daha yüksek olduğu kabul edilen işlemin varyansı paydaya, kesinliğinin daha düşük olduğu kabul edilen işlemin varyansı ise paya yazılır. Alternatif hipotez, Ha : σ12 > σ22 ‘dir. İki yanlı test için, varyansların birbirinden farklı olup olmadığını Ha : σ12  σ22 test ederiz. Bu uygulama için ise, daha büyük olan varyans daima paya yazılır.

4 α için Fkritik (n1-1) ve (n2-1) tek yanlı test
Örneğin; Metot A’nın metot B’den daha kesin olup olmadığının araştırılmasında veya iki metodun kesinlikleri arasında bir fark olup olmadığının araştırılmasında kullanılan F testi ile; A işleminin kesinliği B işleminin kesinliğinden daha yüksek ise, tek yanlı test: A işleminin kesinliği B işleminin kesinliğinden önemli derecede farklı ise, iki yanlı test uygulanır: α için Fkritik (n1-1) ve (n2-1) tek yanlı test α/2 için Fkritik (n1-1) ve (n2-1) iki yanlı test 4

5 H0 : σ 21 = σ 22 null hipotezi, aralarında önemli bir fark yok,
F testi için öncelikle isteğimizi hipoteze dönüştürürüz. İki normal biçimde dağıtılmış veri grubu söz konusu olduğunda, null hipotezi şöyle verilir ki; iki numune varyansları arasında önemli bir fark yoktur. Yani; H0 : σ 21 = σ 22 null hipotezi, aralarında önemli bir fark yok, σ 21 ≤ σ 22 şüpheli değer red edilir (tek yanlı) (σ 21 / σ 22= 1). Ha : σ 21 ≠ σ 22 alternatif hipotez, aralarında önemli bir fark var (iki yanlı) (σ 21 > σ 22). Fhesaplanan < Ftablo ise varyanslar arasında anlamlı bir farklılık yok Fhesaplanan > Ftablo ise varyanslar arasında anlamlı bir farklılık var demektir. 5

6 Örnek: 2 veri seti için n1=10, n2=10 olsun. F (0,05 , 9, 9)
Hesapla bulunan ile tablodan bulunan arasında fark vardır. p (α)= 0,05 düzeyinde (iki taraflı) : Fhesaplanan > Ftablo ise H0 red, Ha kabul, fark önemli Fhesaplanan< Ftablo ise H0 kabul, Ha red, fark önemsiz Fhesaplanan = Ftablo ise H0 kabul, Ha red, fark önemsiz Exceldeki F-testi sonuç tablosunda p>0,05 olursa da, aradaki fark önemli değildir. 6

7 p>0,05 olursa, aralarında fark yoktur.
Fhesaplanan=36,7/18,9=1,94 (iki yanlı) Fkritik=9,12 Fkritik>Fhesaplanan p>0,05 olursa, aralarında fark yoktur. 7

8 İki ölçüm varyanslarının oranını veren F testinde, eğer standart bir metot varsa; standart metot ile diğer metodun kesinliği için tablodan pay için serbestlik derecesi olarak ∞ alınır. F tablosu genellikle %95 ihtimaliyete göredir. Soldan sağa doğru pay, yukarıdan aşağıya doğru paydaya bakılır. F değerleri α, n1-1 ve n2-1’e bağlıdır. Bu durumda, varyansı daha az kesin olan metot paya, daha kesin olan ise paydaya yazılır. Ya da büyük olan varyans paya, küçük olan varyans paydaya yazılır. F değeri 1’den küçük olamaz. F’nin 1 olması veya 1’den küçük olması durumunda, sapmalarının tesadüften ileri gelebilecek farklılık kadar olması beklenir. F değerleri 1’den büyük olacak şekilde hesaplanır. 8

9 Örnek Gaz karışımlarındaki karbon monoksidin tayini için bir standart yöntemin yüzlerce ölçümünden 0,21 ppm CO’lik bir standart sapmaya sahip olduğu bilinmektedir. Yöntemin değiştirilmiş bir şekli, 12 serbestlik derecesi ile, birleşik veri takımı için, 0,15 ppm CO’lik bir s değeri vermektedir. Yine 12 serbestlik derecesine dayanan ikinci bir değiştirilmiş şeklinin standart sapması ise 0,12 ppm CO’dur. Değiştirilmiş her iki yöntemin, orijinal yöntemden önemli derecede daha kesin olup olmadığını bulunuz. Null hipotezi olarak H0: σstd2 = σ12 test edilecektir. Burada, σstd2 standart yöntemin varyansı, σ12 ise modifiye edilmiş 1. yöntemin varyansıdır. Alternatif hipotez Ha : σ12 < σstd2 ise tek yanlıdır. Yöntemde bir iyileştirme amaçlandığı için geliştirilmiş yöntemin varyansı paydaya yazılır. İlk geliştirilmiş yöntem için: İkinci geliştirilmiş yöntem için:

10 Standart yöntem için, çok sayıda ölçüm alındığından, sstd  σ’ya yeterince yakındır ve pay için serbestlik derecesi sonsuz olarak alınabilir. Böylece, F değeri için kritik değer 2,30 dur. Fhesaplanan < Ftablo ise varyanslar arasında önemli bir farklılık yok Fhesaplanan > Ftablo ise varyanslar arasında önemli bir farklılık var Gelişmiş birinci yöntem için F1 değeri 2,30’dan küçüktür ve bu yüzden %95 olasılık seviyesinde null hipotezi çürütülemez. Bu durumda, kesinlikte bir iyileşme olmadığı (bir fark yok) sonucuna varırız. Ancak, ikinci gelişmiş yöntem için F2 > 2,30 dur. Burada, null hipotezi reddedilir ve ikinci gelişmiş yöntemin %95 GS de kesinliğinin daha iyi göründüğü sonucuna varılır.

11 İkinci değişikliğin kesinliğinin birinciden önemli derecede daha iyi olup olmadığını incelemek için de, daha büyük olan varyans paya küçük olan ise paydaya yerleştirilir. Burada, alternatif hipotez Ha : s12  s22 iki yanlıdır. F için tablodan bulunan yeni kritik değer 2,69 dur. Fhesaplanan< Fkritik olduğundan, H0 kabul edilmeli ve iki gelişmiş yöntemin eşit kesinlik verdiği sonucuna varılmalıdır.

12 Varyans Analizi Denemelerde elde edilen verilere etki eden faktör sayısı genellikle birden fazladır. Kontrol edemediğimiz değişkenliğin tahmini deneme hatası olarak bilinir. Deneme hatası, denemenin başlangıcından itibaren verilerin elde edilmesine kadarki dönem içinde deneme materyalindeki heterojenlikten ve deneyler yapılırken ölçüm, tartım ve sayım gibi hatalardan kaynaklanabilir. Deneme hatasının geçerliliğinde önemli olan hususlar şansa bağlılık ve tekrarlardır. Bunlar dikkate alınmak şartıyla denemeden elde edilen sonuçların güvenilirliğini artırmak için, deneme hatasının büyümesine etki edebilecek faktörlerin iyi bilinmesi gerekir. Çünkü deneme hatasının büyük olması istatistiki açıdan arzu edilmeyen bir durumdur. Bu amaçla hata bileşenlerinin analizi, Calder tarafından tanımlanan Varyans Analizi ya da kısaca ANOVA (ANalysis Of VAriance) uygulanır. Varyans analizi, ikiden fazla sayıda numuneden elde edilen ortalamaların aralarındaki farkın gerçek mi, yoksa rastgele bir hata sonucu mu olduğunu belirlemek için yapılan bir karşılaştırma işlemidir. Anı zamanda, ikiden fazla varyansı karşılaştırmak için de varyans analizi (F-testi) kullanılır. 12

13 İki örneklem ortalamasının veya bir örneklem ortalaması ile bilinen bir değerin karşılaştırılması için kullanılan yöntemlerin ilkeleri, ikiden fazla popülasyon ortalamasının karşılaştırılabilmesine olanak tanıyacak şekilde geliştirilmiştir. İşte bu çoklu karşılaştırma yöntemleri, popülasyon ortalamaları arasında fark olup olmadığını, ikili karşılaştırmalarda olduğu gibi, t testini kullanmak yerine tek bir test (ANOVA) kullanarak tayin edebilir. ANOVA işlemlerinde, çeşitli popülasyon ortalamaları arasındaki farklılıklar, bunların varyanslarının karşılaştırılması ile tayin edilir. I tane yığının ortalamasının, µ1, µ2, µ3,…… µI karşılaştırılmasında H0 null hipotezi aşağıdaki gibidir: H0 = µ1 = µ2 = µ3 = ………… = µI ve alternatif hipotez Ha da aşağıdaki gibidir: Ha : en az iki tane µI farklıdır.

14 ANOVA’nın tipik uygulamalarına örnekler:
Volumetrik bir yöntemle kalsiyum tayininde, beş analizcinin sonuçları arasında bir fark var mıdır? Dört farklı çözücü bileşimi kullanılınca, bir kimyasal sentezin veriminde farklanma olur mu? Farklı üç analitik yöntemle bulunmuş mangan tayini sonuçları farklı mıdır? Altı farklı pH değerinde bir kompleks iyonun floresansları arasında bir fark var mıdır? Burada karşılaştırılan popülasyonların hepsinin ortak bir özelliğinde bir farklanma vardır ve bu farklanan özelliğe genellikle faktör, bazen de uygulama denir. Örneğin; volumetrik yöntemle Ca tayininde, ilgilenilen faktör analizcidir. İlgilenilen faktörün farklı değerleri ise seviye olarak adlandırılır. Ca örneği için 5 analizciye karşılık gelen 5 seviye vardır. Farklı popülasyonlar arasındaki karşılaştırma, her örnekleme ait bir cevap ölçülerek yapılır. Kalsiyum tayini durumunda, cevap değeri, her bir analizci tarafından elde edilen mmol Ca değeridir. Yukarıda verilen örnekler için faktörler, seviyeler ve cevaplar aşağıdaki gibidir:

15 Faktör Seviyeler Cevap Analiz Analizci 1, Analizci 2, Analizci 3, Analizci 4, Analizci 5 mmol Ca Çözücü Bileşim 1, Bileşim 2, Bileşim 3, Bileşim 4 Sentez verimi, % Analitik yöntemler Yöntem 1, Yöntem 2, Yöntem 3 Mn derişimi, ppm pH pH 1, pH 2, pH 3, pH 4, pH 5, pH 6 Floresans şiddeti Faktör bağımsız bir değişken, cevap ise bağımlı bir değişkendir. Volumetrik yöntemle Ca tayininde görülen ANOVA tipi, tek faktörlü veya bir yönlü ANOVA’dır. Örnek olarak, bir kimyasal reaksiyonun hızının pH ve sıcaklıktan etkilenip etkilenmediğinin tayininde ANOVA’nın tipi, iki yönlü ANOVA olarak bilinir. ANOVA’da faktör seviyeleri çoğunlukla grup olarak isimlendirilir. ANOVA’nın temel ilkesi, gruplar arası değişimi grup içi değişimle karşılaştırmaktır. Bu örnek için, gruplar (faktör seviyeleri) farklı analizcilerdir ve bu analizciler arasındaki değişimle analizcilerin kendi içindeki değişimlerin karşılaştırılmasıdır.

16 Burada, null hipotezi H0 doğru olduğunda, grup ortalamaları arasındaki değişim, gruplar içi değişime yakın demektir. H0 yanlış ise, grup ortalamaları arasındaki değişim, gruplar içi değişimden büyüktür. ANOVA için kullanılan temel istatistiki test, F testidir. Burada, tablodan elde edilen kritik değer ile karşılaştırıldığında, büyük bir değer olarak karşımıza çıkan F değeri, bize H0’ın reddi ve alternatif hipotezin kabulü gerçeğini verir. Tek faktörlü (yönlü) ANOVA analizi (One way ANOVA): Tek yönlü varyans analizi, tek değişken ile birbirinden ayrılan ikiden çok bağımsız veri grubunu karşılaştırmak için yapılır. Grup içi dağılımın normale uyması veya gruplardaki denek sayılarının eşit olması durumunda ortalamaların karşılaştırılması için yapılır. Parametrik bir testtir ve niteliksel verilere uygulanmaz.

17 İki faktörlü (yönlü) varyans analizi (Friedman varyans analizi): İki yönlü varyans analizi, iki veya daha çok değişken ile birbirinden ayrılan ikiden çok bağımsız veri grubunu karşılaştırmak için yapılır. Bir denekten çok sayıda tekrarlanan ölçümler elde edilmesi söz konusu olduğunda yapılan nonparametrik bir testtir. p<0,05 bulunursa, ikili karşılaştırmalar daha düşük yanılma düzeyinde Wilcoxon testi denilen test ile de yapılabilir. Varyans analizinde kaç grup olursa olsun, tek bir F değeri ve buna karşılık gelen tek bir p değeri vardır. p<0,05 ise, grup ortalamaları eşit değildir. Çoklu karşılaştırma testleri ile hangi grupların birbirinden farklı olduğu araştırılır. p>0,05 ise, grup ortalamaları eşittir ve çoklu karşılaştırma testlerine gerek yoktur. 17

18 Örnek Tekrarlar (n) 1.Yöntem (k=1) 2.Yöntem (k=2) 3.Yöntem (k=3) 1 24 19 26 2 25 21 28 3 23 30 x 75 63 84 xtop= 222 xk-ort xort=24,67 Bir analiz laboratuarında spektrofotometri (1), voltametri (2) ve HPLC (3) gibi üç farklı yöntem ile bir draje içindeki B1 vitamininin analizi yapılıp, 3 tekrarlı olarak analiz sonuçları (mg/tablet olarak) elde ediliyor. Drajelerdeki B1 vitamininin analizi üzerine etki bakımından bu 3 farklı draje analiz yöntemi arasında bir fark var mıdır? (p=0,05 düzeyinde ya da α=0,05) 18

19 Varyans Analiz tablosu
Varyans Kaynağı (VK) Serbestlik Derecesi (SD) Kareler Toplamı (KT) Kareler Ortalaması (KO) Fh değeri Gruplar Arası k-1= 3-1=2 74 74/2=37 Fh=37/3=12,33 Gruplar içi k(n-1)=3(3-1)=6 18 18/6=3 Ft=5,14 Genel varyasyon (GKT) n.k-1=3.3-1=8 92 Fh > Ft k: işlem sayısı : 3 n: tekrar sayısı : 3 Fh: gruplar arası kareler ortalaması (GAKO)/gruplar içi kareler ortalaması(GİKO) Genel Kareler Toplamı (GKT) =  (Xi-Xort)2 = (24-24,67)2 + (25-24,67)2 + (26-24,67)2 + (19-24,67)2 + (21-24,67)2 + (23-24,67)2 + (26-24,67)2 + (28-24,67)2 + (30-24,67)2 = 92,0 Gruplar Arası Kareler Toplamı (GAKT) = 3.(Xk-ort-Xort)2 = 3.[(25-24,67)2 + (21-24,67)2 + (28-24,67)2] = 74,0 Gruplar İçi Kareler Toplamı (GİKT) =  (Xi-Xk-ort)2 = (24-25)2 + (25-25)2 + (26-25)2 + (19-21)2 + (21-21)2 + (23-21)2 + (26-28)2 + (28-28)2 + (30-28)2 = 18,0 GKT = GAKT + GİKT = = 92,0 19

20 3 farklı analitik yöntem ile elde edilen verilerin varyans analizi sonucunda kontrol ve karşıt hipotezlerin oluşturulması gerekir: H0 hipotezi: Drajelerdeki B1 vitamininin analizi üzerine yaptığı etki bakımından bu 3 farklı draje analiz yöntemi arasındaki fark bir tesadüften ileri gelmektedir ve kabul edilebilir. Yani; µ1 = µ2 = µ3 Ha hipotezi: En az iki draje analiz yönteminin drajelerdeki B1 vitamininin analizi üzerine yaptığı etki bakımından aralarındaki fark bir tesadüften ileri gelmemektedir. Hangi hipotezin kabul edileceğine dair karar vermek için F değerinin hesaplanması gerekmektedir. Varyans analiz tablosundan Fh: gruplar arası kareler ortalaması (GAKO)/gruplar içi kareler ortalaması (GİKO) hesaplanır. F değerinin en az 1 olması veya 1’den küçük olan sapmalarının ise tesadüften ileri gelebilecek farklılık kadar olması beklenir. F dağılımı, iki serbestlik derecesine bağlı bir dağılımdır. Burada Ft değeri normal dağılım cetvelinde 2 ve 6 serbestlik derecesine göre bakılır. 20

21 p<0,05 olduğundan, grup ortalamaları eşit değildir.
Ya da Fhesaplanan > Fkritik 21

22 H0 hipotezinin red bölgesi 5,14 değerinde başlar
H0 hipotezinin red bölgesi 5,14 değerinde başlar. Hesaplanan F değeri H0 hipotezinin red bölgesine düşmektedir. Fh > Ft → H0 red Fh < Ft → H0 kabul Yani en az iki draje analizi yönteminde farklılık olduğu zaman H0 reddedilir. Burada B1 vitamininin analizi üzerine etki bakımından aralarındaki farkın tesadüften ileri gelmediği sonucuna varılır. 22

23 Burada yapılabilecek istatistiksel işlemlerden bir diğeri de Varyasyon Katsayısıdır. Yapılan çalışmanın ve uygulanan planın güvenirlik derecesini tahmin etmek için denemeye ait varyasyon katsayısı hesaplanır. VK, varyans analiz tablosundan yararlanılarak bulunur. VK’nin küçük bulunması, ilgili denemenin doğruluk derecesinin yüksek olduğunu gösterir. VK’nin derecesi hakkında kesin bir sınır olmamakla birlikte genellikle %25’den daha küçük olması arzu edilir. Bundan yukarıya çıkıldıkça araştırma planında veya uygulanışında bir yanlışlık yapıldığı şüphesi kuvvetlenir. Bu sebeple VK için araştırma planının bir kontrolüdür diyebiliriz. Buradaki y değeri, xgenelort’ dır ve VK’nın % 7 gibi bir değer çıkması, planın uygulamasının sağlıklı olduğunu gösterir. 23

24 Örnek: Tekrarlar (n) A.Yöntemi (k=1) B.Yöntemi (k=2) C.Yöntemi (k=3) D.Yöntemi (k=4) ∑ 1 6,6 3,2 4,1 2,7 16,6 2 5,4 2,9 4,3 2,1 14,7 3 4,8 5,6 1,8 15,1 4 4,5 5,1 3,4 2,0 15,0 5 5,9 3,0 1,5 15,2 X 27,2 19,8 19,5 10,1 76,6 Xort 5,44 3,96 3,9 2,02 3,83 Dört farklı sulama yöntemi ile yetiştirilen şeker pancarının verim durumu araştırılıyor. Deneme 5 tekrarlı olarak yapılmıştır. Sulama şekillerinin pancar verimine etkilerinin önemli derecede farklı olup olmadığını belirleyiniz. (p=0,01 düzeyinde ya da α=0,01) 24

25 Varyans Analiz tablosu
Varyans Kaynağı (VK) Serbestlik Derecesi (SD) Kareler Toplamı (KT) Kareler Ortalaması (KO) Fh değeri Gruplar Arası k-1= 4-1=3 29,45 29,45/3=9,81 Fh=9,81/0,782= 12,5 Gruplar içi k(n-1)=4(5-1)=16 12,512 12,512/16=0,782 Ft= 5,29 Genel varyasyon (GKT) n.k-1=4.5-1=19 41,962 Fh > Ft (0,01) k: işlem sayısı n: tekrar sayısı Fh: gruplar arası kareler ortalaması (GAKO)/gruplar içi kareler ortalaması(GİKO) Bu sonuca göre, sulama şekillerinin pancar verimine etkileri arasındaki fark önemlidir. Yani sulama şekilleri pancar verimini farklı etkilemiştir. (p < 0,01) Ya da; y = ∑Xtop/∑y = ∑Xtop/k.n= 76,6/4x5 =3,83 VK = (√GIKO/y).100 = (√0,782/3,83).100 = % 23 %23’lük bir varyasyon önemli olmadığından işlemin uygulanması sağlıklıdır da diyebiliriz. 25

26 p<0,01 olduğundan, fark önemlidir.
Ya da Fhesaplanan > Fkritik 26

27 Örnek Beş analizci, volumetrik yöntem kullanarak kalsiyum tayini için aşağıdaki çizelgede görülen sonuçları (mmol Ca) elde etmiştir. Ortalamalar arasında, %95 güven seviyesi için anlamlı bir fark var mıdır?

28 Şüpheli Değerin İncelenmesi
Q Testi: Bazen bir veri geri kalan verilere uymaz. Bu durum olduğunda, şüpheli veriyi bırakmamaya veya güvenilmez olarak kabul ederek atıp atmamaya karar vermek durumunda kalırsınız. Bu karara yardım etmek için istatistiki Q testi kullanılır. Yani Q testi, tüm kötü verileri atmak için kullanılır. Qgözlenen> Qtablo ise şüpheli değer atılabilir. Qgözlenen< Qtablo ise şüpheli nokta tutulmalıdır. Q testi her bir veriye uygulanırken, güven aralığı sadece ortalamaya uygulanır. xş: şüpheli değer xn: şüpheli değere en yakın değer w: en küçük ve en büyük değer arasındaki fark (yayılma) 28

29 Atılma oranı Q için kritik değerler
29

30 Bazen sapan değerler büyük hataların sonucudur
Bazen sapan değerler büyük hataların sonucudur. İşte bu sapan değerler için Q testi yapılır. Şüpheli sonuç ve ona en yakın komşu sonuç arasındaki farkın mutlak değeri, Qgözlenen’i verir. Bu da takımın yayılmasına (w) bölünür. Tablodan bulunan atılma değeri Qkritik(tablo) ile karşılaştırılır. n = 6 ise; w = x6 – x1 d = x6 – x5 = xş - xn Örnek: Bir kalsit numunesi analizinde CaO %’si; 55,95 56,00 56,04 56,08 56,23 olarak bulunmuştur. Son değer, normal gözükmemektedir. Bu değer atılmalı mıdır? (%90 güvenle) W= (56,23-55,95) = %0,28 d= 56,23-56,08 = %0,15’dir. Tablodan Qkritik: 0,64 olarak bulunur. Qgözlenen< Qtablo(kritik) olduğu için son değer atılmaz. 30

31 W= (56,23-55,95) = %0,28 d= 56,23-56,08 = %0,15 için %95 güvenle olsaydı, tablodan Qkritik: 0,71 olarak bulunurdu. Qgözlenen< Qtablo(kritik) olduğundan, beş ölçüm için %95 güven seviyesinde 0,54 < 0,71 olduğundan bu durumda da şüpheli veri hesaba katılmalıdır.