Sunuyu indir
Sunum yükleniyor. Lütfen bekleyiniz
YayınlayanNazar Umut Gökbakar Değiştirilmiş 6 yıl önce
1
Ölçme Araçları Testlerin sınıflandırılması Başarı testi geliştirme
Çoktan seçmeli testler Kısa cevaplı testler Yazılı sınavlar Doğru yanlış testleri Diğer testler
2
Testlerin sınıflandırılması
Başarı testleri Yetenek testleri Kişilik testleri Tutum testleri İlgi testleri Performans testleri Bilişsel Devinimsel Maksimum Performans testleri Ne kadar? Tipik Performans testleri Duyuşsal Nasıl?
3
Testlerin sınıflandırılması (2)
Uygulama zamanının uzunluğuna göre Hız testleri Güç testleri Hazırlanma biçimine göre Öğretmen yapımı testler Standart testler Öğrencilerin cevap verme şekline göre Yazmayı gerektiren testler Seçmeyi gerektiren testler Sözlü ifadeyi gerektiren testler Puanlama biçimine göre Objektif testler Subjektif testler
4
Test geliştirmenin aşamaları
Testin amacının belirlenmesi Ölçülecek davranış evreninin belirlenmesi Ölçülecek davranış örnekleminin belirlenmesi. Soruların yazılması. Uzman görüşünün alınması. Pilotlamanın yapılması Madde istatistiklerinin hesaplanması ve madde seçimi Test istatistiklerinin hesaplanması ve nihai formun oluşturulması. Tanımlama Uygulama İhai formun oluşturulması. Analiz
5
1. Testin amacının belirlenmesi
Testten elde edilecek puanlar hangi amaçla kullanılacak ? Tanılayıcı Değerlendirme Biçimlendirici Değerlendirme Düzey belirleyici Değerlendirme Bu duruma göre testin zorluğu gibi değişkenler değişir.
6
2. Ölçülecek davranış evreninin belirlenmesi
Ölçülmesi amaçlanan davranışların konu (alt öğrenme alanı) temelinde belirlenmesi Davranışların hangi zihinsel süreçi kapsadığının tanımlanması BELİRTKE TABLOSU
7
3. Ölçülecek davranış örnekleminin belirlenmesi
Davranışların tamamının bir test ile yoklanması çoğu zaman mümkün değildir. Ölçmeye konu olan davranışlar arasından bazıları (kritik olanları) seçilip sınavda yoklanır. Ancak seçilen davranışların ölçülecek davranışlar evrenini (bütününü) yeterince temsil etmesine özen gösterilir. BELİRTKE TABLOSU
8
4. Soruların yazılması Sınav türüne ve soru sayısına karar verme
Ölçülecek davranışlar için soru yazma Yönerge yazma
9
5. Uzman görüşünün alınması
Testin bir bütün olarak uzman görüşüne sunulması Soruların niceliği Soruların niteliği Görüşler doğrultusunda yeniden düzenlemenin yapılması Mümkünse ön pilotlamanın yapılması ve testin tekrar gözden geçirilmesi.
10
6. Pilotlamanın yapılması
Uygulama yapılacak grubun tanımlanması Büyüklüğü Özellikleri Testin uygulanması
11
7. Madde istatistiklerinin hesaplanması ve madde seçme
Hangi madde istatistiklerinin hesaplanacağına karar verme Madde güçlüğü Madde varyansı, standart sapması Madde ayırt ediciliği Madde güvenirliği İstatistikleri hesaplama ve yorumlama Madde seçmede ölçütleri belirleme Madde seçme
12
8. Test istatistiklerinin hesaplanması ve nihai formun oluşturulması
Hangi test istatistiklerinin hesaplanacağına karar verme Testin ortalaması Ortalama güçlüğü Ortancası Varyansı, standart sapması Güvenirlik ve geçerlik katsayısı Puanların dağılım şekillerini inceleme Testin nihai formunu oluşturma
13
Geleneksel Ölçme Araçları
14
Hazırlaması en kolay, okuması en zor olan madde tipidir.
Açık Uçlu Sorular Hazırlaması en kolay, okuması en zor olan madde tipidir.
15
Özellikleri Cevaplama esnekliği sağladığından her eğitim kademesinde kullanılır. Hazırlanması oldukça kolaydır. Puanlamak ve objektifliği sağlamak zordur.
16
Özellikleri... Avantajları Dezavantajları
Şans ile doğru cevaplama olasılığı yok. Soru hazırlaması kolay. Üst düzey zihinsel becerileri ölçmede etkilidir. Dezavantajları Objektifliği sağlamak zordur. Puanlama zordur. Az sayıda kişiye uygulanabilir. Çok sayıda soru sorulamaz. Yazı hızı / güzelliği gibi faktörler karışabilir.
17
Soru Türleri 1. Sınırlı yanıt soruları
2. Uzun yanıt gerektiren sorular Ölçme ile değerlendirme arasındaki en önemli ilişkiyi açıklayınız. Ölçme ve değerlendirmenin eğitim sistemindeki yeri ve önemi nelerdir?
18
Açık Uçlu Sorularda Puanlama
Genel izlenimle puanlama Sınıflama ile puanlama Sıralama ile puanlama Anahtarla puanlama * Ayrıntılı bir puanlama anahtarı hazırlanması, hem puanlamaya karışan hatanın azalmasını sağlayacak hem de okumayı kolaylaştıracaktır. * Öğrencinin kağıdı okunurken ismi kapatılabilir.
19
Açık Uçlu Sorularda Puanlama
Bütünleme sınavı gibi bir komisyon tarafından yapılan sınavlarda ve katılan öğrenci sayısının fazla olduğu sınavlarda, cevap kâğıtları jüri üyeleri veya farklı puanlayıcılar tarafından paylaşılarak okunmamalıdır. Cevap kâğıtları bütün puanlayıcılar tarafından ayrı ayrı puanlanmalı, daha sonra bu puanların toplamları veya aritmetik ortalamaları öğrenciye verilecek puan olarak saptanmalıdır.
20
Açık Uçlu Maddelerin Yazımı
Mutlaka hedefe yönelik yazılmalıdır ve hedefin kapsamı da belirlenmelidir. Örneğin: Örnek bir biyografi yazar. “ Hedefine yönelik bir soru, “Örnek bir biyografi yazınız.” olmamalıdır; çünkü öğrenci sınav süresinde bir biyografi oluşturamaz. Bunun yerine “Biyografinin giriş bölümüne örnek olabilecek bir metin yazınız.” denilebilir. «İyi bir hayat hikayesi yazmak, o hayatı yaşamak kadar zordur.»
21
Açık Uçlu Maddelerin Yazımı
Üst düzey sorular sorulması için mutlaka alt bilgilerin öğrenildiğinden emin olunmalıdır. Kazanım: Mizahi anlatımla metin oluşturur. Aşağıdaki atasözlerinden uygun olanını seçerek mizahi anlatıma örnek oluşturan bir paragraf yazınız. Kelin yanında kabaktan söz edilmez. Akıl yaşta değil baştadır. El elden üstündür. Bilmedik aş ya karın ağrıtır ya da baş. Ele verir talkımı, kendi yutar salkımı.
22
Açık Uçlu Maddelerin Yazımı
Sorular kitaptan ya da herhangi bir kaynaktan olduğu gibi alınmamalıdır. Bu durumda öğrencilerin üst düzey becerileri değil, ezber bilgisi yoklanmış olur.
23
1 Parçada açıkça anlatılmış bilgi ve düşünceleri bulma (doğrudan çıkarım yapma 2 Parçada açıkça anlatılmamış düşünceleri bulma (yorumlama) 3 Kişisel bilgi ve deneyimleri kullanma 4 Parçanın öğelerini, içeriğini ve dilini inceleme ve değerlendirme
24
1- Parçada açıkça anlatılmış bilgi ve düşünceleri bulma (doğrudan çıkarım yapma
Okuduğunu anlama becerilerinin ölçülmesinde en basit düzeyde sorular bu aşamada yazılmaktadır. Soruların yanıtları metin içerisinde açıkça belirtilmiştir. Öğrenciler soruları yanıtlarken tamamen metne bağlı kalmaktadır. Öğrencilere metin ile ilgili yorum yapma, ayrıntılı bir düşünme olanağı verilmemektedir.
25
Hikaye ne zaman ve nerede geçmiştir?
Yazar hikayede geçen ………sözcüğünü hangi anlamda kullanmıştır? Yazının ana fikri ne olabilir? Yazar……hakkında neler düşünmüş olabilir? Hikayenin kahramanları kimlerdir?
26
2- Parçada açıkça anlatılmamış düşünceleri bulma (yorumlama)
Bu düzeyde sorular, daha kapsamlı ve ayrıntılı anlamayı gerektirmektedir. Bireylerden metindeki herhangi bir cümleden anlam çıkarma yerine metnin tamamından anlam çıkarmaları istenmektedir. Metni okuyan bireyden metinden çıkarılabilecek genel yargıları ve metnin genel temasını belirlemesini, metinde verilen bilgilerden yararlanarak metinle ilgili bütünsel anlamlar çıkarması vb. beklenmektedir.
27
Hikayede geçen olayın başından sonuna doğru nasıl bir değişim göstermektedir?
Metnin yazarı metin hakkında ne düşünmektedir? Hikayenin ulaştığı genel sonuçların olası nedenleri neler olabilir? Hikayedeki sorunun çözümü öncelikle nelere bağlıdır?
28
3- Kişisel bilgi ve deneyimleri kullanma
Bu aşamada öğrenciden, metin içerisindeki bilgileri, ayrıntılı tüm açıklamaları kullanması, fikirleri birleştirerek metnin dışına çıkması ve kendi yaşamıyla bağlantı kurarak yorumlar yapması beklenmektedir. Bir diğer ifadeyle metindeki bilgi ve fikirleri yorumlayarak yaşamı arasında bağ kurmaya çalışır. Bu yorumlar ve çıkarımlar kişiden kişiye farklılıklar göstereceği için sorunun yanıtları farklılık göstermek durumundadır.
29
Bu olay size yaşantınızda hangi olayı hatırlatmıştır?
Hikayenin karakteri sizin ……………..konusundaki görüşlerinizi nasıl değiştirdi? Hikayedeki kahramanın yerine siz olsaydınız neler yapardınız? Neden?
30
4- Parçanın öğelerini, içeriğini ve dilini inceleme ve değerlendirme
Öğrenci bu aşamada/düzeyde metinle ilgili herhangi doğrudan veya dolaylı yorum yapmaz. Metnin dışına çıkarak, dışarıdan bakan bir gözle eleştirmesi kritik etmesi istenir. Birey, yazarın metinde kullandığı dili eleştirebilir, metni kendi bakış açısıyla tekrar yazabilir veya belirli bir yerini değiştirebilir.
31
Metnin yazarı siz olsaydınız, hikayenin sonunu nasıl bitirirdiniz
Metnin yazarı siz olsaydınız, hikayenin sonunu nasıl bitirirdiniz? Nedenlerini açıklayınız. Yazarın savunduğunu desteklemek için hikayeye neler eklenmelidir? Eğer yazıda…………..değiştirilseydi, hikayenin sonu nasıl olurdu? Neler değişirdi?
32
OKUMA BECERİLERİNİN ÖLÇÜLMESİ
SORU: Olimpiyat oyunları nerede düzenlenecek? SORU: Pekin’deki havada nasıl bir sorun var? Atletin olimpiyatlara katılmaması, Pekin’le ilgili ne düşündüğünü gösteriyor olabilir?
33
Açık Uçlu Soru Örnekleri
34
Açık Uçlu Soru Örnekleri
35
Açık Uçlu Soru Örnekleri
36
PISA 2009
37
PISA 2009
38
PISA 2009
39
AÇIK UÇLU SORU ÖRNEKLERİ
İstanbul, yerleşim tarihi 300 bin, kentsel tarihi yaklaşık 3 bin, başkentlik tarihi 1600 yıla kadar uzanan Avrupa ile Asya kıtalarının kesiştiği noktada bulunan bir dünya kentidir. Şehir çağlar boyunca farklı uygarlık ve kültürlere ev sahipliği yapmış, yüzyıllar boyu çeşitli din, dil ve ırktan insanların bir arada yaşadığı kozmopolit ve metropolit yapısını korumuş ve tarihsel süreçte eşsiz bir mozaik halini almıştır. İstanbul'u dinliyorum, gözlerim kapalı Önce hafiften bir rüzgar esiyor Yavaş yavaş sallanıyor Yapraklar, ağaçlarda; Uzaklarda, çok uzaklarda, Sucuların hiç durmayan çıngırakları Yukarıda yer alan metinleri konu, amaç, anlatım türü, dili ve anlatımı bakımından karşılaştırınız. Karşılaştırma sonucunuzu yorumlayınız.
40
AÇIK UÇLU SORU ÖRNEKLERİ
41
Çoktan Seçmeli Testler
Hazırlaması en zor; okuması en kolay olan madde tipidir.
42
Özellikleri Cevap seçenekleri 3 veya daha fazladır.
Madde istatistikleri hesaplanmış bir soru bankası oluşturulabilir. Yazımı uzmanlık, tecrübe ve uzun süre gerektirir.
43
Özellikleri... Avantajları Dezavantajları Çok sayıda soru sorma
Puanlamada objektif Uygulama ve okumada kolaylık Çok sayıda kişiye uygulama Dezavantajları Üst düzey zihinsel becerileri ölçmede yetersiz Şans ile doğru cevaplama olasılığı Soru hazırlaması zor Diğer sınav türlerine göre puanların geçerliği ve güvenirliği daha yüksektir.
44
Özellikleri... Şans ile doğru cevaplama olasılığını azaltmak için düzeltme formülü uygulanır. Düzeltme formülü: Seçenek sayısı-1 yanlış 1 doğru cevabı eler.
45
Soru Türleri 1. Doğru cevaba göre Doğru cevabı kesin ve tek
Anahtarlanmış cevabı en doğru Birleşik cevap gerektiren Doğru cevabı gizli 2. Madde köküne göre Soru kipinde Eksik cümle Olumsuz 3. Maddelerin gruplanmasına göre Ortak köklü Ortak seçenekli
46
Hazırlaması Neden Zor???
47
Çoktan Seçmeli Maddeler Tanımı ve Yapısı
48
Çoktan Seçmeli Maddelerin Özellikleri
Her bir soru bir kazanımı /davranışı ölçmek için yazılır. Bu nedenle öncelikle ölçülmek istenen davranışın belirlenmesi gerekir. ÖRNEK Fıkra yazarının özelliklerini belirler. Masallarda mekanın özelliklerini belirler. Panelin özelliklerini açıklar.
49
Çoktan Seçmeli Maddelerin Yazımı
Maddelerin kökü mümkün olduğunca açık, yalın ve anlaşılır bir dille yazılmalı, “çoğunlukla”, “bazen”, “nadiren” gibi kelimeler kullanılmamalıdır. Çünkü, verilen belirsiz kelimeler görecelidir ve bu nedenle kişiden kişiye farklılık gösterir. Madde kökünde, yoruma açık olan sözcükler ve doğru cevabı bilen bir cevaplayıcı bile madde yazarının aklından geçeni keşfe zorlayan belirsizlik bulunmamalıdır.Bilmece gibi, ne sorulduğu açık olmayan madde yazılmamalıdır.
50
Çoktan Seçmeli Maddelerin Yazımı
Uygulama zamanının çoğu okumaya ayrıldığı için, her madde mümkün olduğunca az kelime ile yazılmalıdır. Maddelerin kökünde gereksiz ifade ve açıklamalardan kaçınılmalıdır. Testin birçok özelliği vardır. Geçerlik ve güvenirlik bu özelliklerden ikisidir. Testin kapsam geçerliğini sağlamak için aşağıdakilerden hangisine öncelikle dikkat etmek gerekir? A) Öğrencilerin yeteneklerine B) Testin güvenirliğine C) Madde sayısına D) Öğretimin kalitesine E) Ölçülecek davranışlara* Soru kökündeki ilk cümle çıkarılabilir, oldukça gereksizdir.
51
Çoktan Seçmeli Maddelerin Yazımı
Madde kökünde cevaplayıcıyı seçeneklerden herhangi birine yönlendiren ipuçları bulunmamalıdır. Eşit aralıklı ölçekte...tir. Yukarıda verilen cümledeki boşluğa aşağıdaki ifadelerden hangisi getirilmelidir? A) Gerçek başlangıç noktası var B) Birimleri eşit* C) Her işlemi yapmak mümkün D) Duyarlık yüksek E) Güvenirlik düşük
52
Çoktan Seçmeli Maddelerin Yazımı
Madde kökünde cevaplayıcıyı seçeneklerden herhangi birine yönlendiren ipuçları bulunmamalıdır. 6. Aşağıdakilerden hangisi bir korelasyon katsayısı olamaz? A) 1.09* B) C) D) E) -0.25 9. Korelasyon -1, +1 arasında değer alır. Asagidaki korelasyon degerlerinden hangisi en kuvvetli iliskiyi gosterir? A) 0.71* B) C) D) E) -0.65
53
Çoktan Seçmeli Maddelerin Yazımı
Olumsuz köklü maddeler, okuyucunun dikkatini dağıtabileceğinden olumsuzluk bildiren ifadelerin altı çizilmelidir. Soruların birbirine karışmaması için de madde köklerinin koyu yazılması gerekir. Seçenek Sıralamasi aynı olmalı: Maddelerin seçenekleri mümkünse alt alta gelecek sıralarda verilmelidir. Eğer, yerden tasarruf yapıp kısa olan seçenekleri yan yana yazmak gerekiyorsa, bütün seçenekler aynı sıralamaya göre verilmelidir.
54
Çoktan Seçmeli Maddelerin Yazımı
Maddeler yazılırken seçenek bulma zorlukları yaşandığında, birbirinin zıddı olan seçenekler kullanılmamalıdır. Çoktan seçmeli maddelerin seçenekleri yazılırken aşağıda verilen kurallardan hangisine uyulması gerekmez? A) Seçenekler akla uygun ve mantıklı olmalıdır. B) İfadeler açık, kısa ve kesin olmalıdır. C) Az bilinen kelimelere yer verilmemelidir. D) Çelişkili kelimeler kullanılmamalıdır.* E) Çelişkili kelimeler kullanılmalıdır. A ve D seçeneği birbirinin tam tersi olduğu için ikisinden birinin Doğru seçenek olduğu kesindir. Ayrıca E seçeneği B seçeneğini içinde barındırmaktadır.
55
Çoktan Seçmeli Maddelerin Yazımı
Maddelerin seçenekleri kısalık-uzunluk bakımından olabildiğince birbirine yakın olmalıdır. Seçeneklerin, yapı olarak, uzunluk olarak, dil bilgisi bakimindan kullanılan kavramlar bakımından birbirlerine benzer olması, gerekir. Aşağıdakilerden hangisi kısa yanıtlı testlerin özelliklerindendir? A) Kapsam geçerliği yüksektir.* B) Puanlama güvenirliği düşüktür. C) Puanlayıcı güvenirliği düşüktür. D) Öğrencinin giyimi, konuşması veya tavırları öğretmeni etkiler. E) Hazırlaması bakımından kullanışlı, uygulama bakımından kullanışsızdır.
56
Çoktan Seçmeli Maddelerin Yazımı
Maddelerin seçenekleri kısalık-uzunluk bakımından olabildiğince birbirine yakın olmalıdır. Seçeneklerin, yapı olarak, uzunluk olarak, dil bilgisi bakimindan kullanılan kavramlar bakımından birbirlerine benzer olması, gerekir. T puanı 60 olan bir öğrenci ile ilgili olarak aşağıdaki yorumlardan hangisi yapılabilir? A) 100 sorudan 60 soruyu doğru yapması. B) Soruların %60´ını doğru yapmıştır. C) Ortalamanın üstünde puan almıştır. D) Sınıfta 60 kişiyi geride bırakmıştır. E) Z puanı negatif değerdedir.
57
Çoktan Seçmeli Maddelerin Yazımı
Aşağıdakilerden hangisi çoktan seçmeli testler için geçerli değildir? A) Güvenirlik düşüktür.* B) Puanlardaki hata azdır. C) Puanlanması objektiftir. D) Şans başarısı vardır. E) Yansız puanlanabilir.
58
Çoktan Seçmeli Maddelerin Yazımı
Seçenekler birbirinden bağımsız olmalı, biri diğerini içermemeli, birbirlerine ipucu vermemelidir. Böyle bir durumdan kaçılamıyorsa, çoktan seçmeli madde türü değiştirilmelidir. Örneğin, bileşik cevap gerektiren madde türü kullanılabilir.
59
Çoktan Seçmeli Maddelerin Yazımı
15-Anlamlı bir sıraya koyulabilecek seçenekler, bu sıraya göre yerleştirilmelidir. Örneğin, seçenekler arasında büyüklük sırası varsa, seçenekler küçükten büyüğe veya büyükten küçüğe sıralı olarak verilmelidir. Örneğin tek kelimeli seçeneklerde, seçenekler alfabetik olarak sıralanabilir. 2, 5, 7, 12, 18, 18, 20, 23, 31 dağılımında ranj değeri kaçtır? A) B) 29* C) D) E) 45 23, 19, 17, 12, 8, 7, 5, 4, 3 dağılımında aşağıdaki istatistiklerden hangisi hesaplanamaz? A) Korelasyon* B) Medyan C) Ortalama D) Ranj E) Varyans
60
Çoktan Seçmeli Maddelerin Yazımı
Yukarıdakilerin hepsi “ seçeneği kullanılmamalıdır. Seçeneklerden herhangi birinin yanlış ( bu durumda yukarıdakilerden hepsi seçeneği elenir) veya ikisinin doğru (bu durumda geride kalan seçeneklere bakılmaz) olduğu açıkça görüldüğünden soru amacına ulaşamayacaktır. Aşağıdakilerden hangisi yapı bakımından dil sınıflandırmasının içinde yer alır? A) Tek heceli B) Çekimli C) Eklemeli D) Hepsi Sadece iki seçeneğin doğru olduğunu bilen öğrenci hepsini İşaretler ya da yalnızca birinin yanlış olduğunu bildiğinde Hepsi seçeneğini de eler.
61
Çoktan Seçmeli Maddelerin Yazımı
Yukarıdakilerin hiçbiri” seçeneği de kullanılmamalıdır. Seçeneklerden herhangi birinin doğru ( bu durumda yukarıdakilerden hiçbiri seçeneği elenir) veya ikisinin yanlış (bu durumda geride kalan seçeneklere bakılmaz) olduğu açıkça görülebilir. Aşağıdakilerden hangisi Ural-Altay dil grubu içinde yer almaz? A) Japonca B) Moğolca C) Türkçe D) Hiçbiri Sadece bir seçeneğin doğru olduğunu bilen öğrenci hiçbiri seçeneğini eleyecektir.
62
Çoktan Seçmeli Maddelerin Genel Düzeni
Çoktan seçmeli maddelerden oluşan bir test hazırlanırken, doğru cevapların belli bir şekil, desen, vb. çağrıştıracak bir biçimde yerleştirilmemelidir. Eğer cevaplayan ilk yapmış olduğu sorularda bu düzeni yakalarsa, diğer soruları okumadan doğru cevabı bulabilir. Aynı seçeneğe art arda çok sayıda doğru yanıt getirilmemelidir. Doğru cevapların aynı seçeneğe ardı ardına 2 veya 3 kez getirilmesi uygun olabilir ancak bu sayı arttığında doğru cevabı bilen bireyleri şaşırtabilmektedir.
63
Çoktan Seçmeli Maddelerin Genel Düzeni
Bir testteki bütün maddeler, aynı düzen içerisinde verilmelidir. Özellikle maddeler arasındaki boşluklar iyice fark edilebilecek düzeyde bırakılmalıdır. Madde kökü ile seçenekler arasında her maddede aynı ayarda boşluk bırakılmalıdır. Seçenekler arasında bırakılan boşluklar da bütün maddelerde benzer olmalıdır. Doğru cevaplar seçeneklere yaklaşık olarak eşit dağıtılmalıdır. 10 tane A cevabı; 2 tane B cevabı olmamalıdır.
64
Dikkat Edilmesi Gereken Noktalar
Sorular önemli ve sınırlandırılmış davranışları ölçmelidir. Soru kökünde seçenekleri okumadan fark edilebilen temel bir fikir olmalıdır. Maddeyi güçleştirmek gerektiğinde kökü belirsizleştirmek yerine çeldiriciler üzerinde çalışılmalıdır. Madde kökünde ve seçeneklerde gereksiz sözcüklerden kaçımılmalıdır. Testteki bir madde başka bir madde için ipucu vermemelidir. Maddeler özgün, bağımsız ve anlaşılır olmalıdır. Yönerge (süre, puanlama, cevaplama vb.) açık olmalıdır. Seçenekler yaklaşık eşit uzunlukta, aynı zaman kipinde, mantıksal sırada olmalıdır.
65
Kısa Cevaplı Testler
66
Özellikleri Cevap yalnızca bir ya da birkaç cümle ya da rakamdan oluşur. Hazırlanması çoktan seçmeli testlere göre daha kolaydır. Puanlama kolaylığı ve objektifliği bakımından çoktan seçmeli testlere benzer.
67
Özellikleri... Avantajları Dezavantajları Puanlamada objektif
Uygulama ve okumada kolaylık Çok sayıda kişiye uygulama Şans ile doğru cevaplama olasılığı yok Soru hazırlaması kolay Dezavantajları Üst düzey zihinsel becerileri ölçmede yetersiz Kısmen de olsa öznellik karışabilir
68
Soru Türleri 2. Eksik Cümle Tipinde Sorular Soru Kipinde Sorular Tanımlamayı gerektiren sorular Tanımayı gerektiren sorular Bir çoktan seçmeli sorudaki yanlış cevaplara ……………… adı verilir. Bir çoktan seçmeli sorudaki yanlış cevaplara ne ad verilir? ……………………..
69
Kısa Yanıtlı Maddelerin Yazılmasında Dikkat Edilmesi Gereken Noktalar
Kısa yanıtlı maddelerde soru tartışma yaratmayacak bir biçimde yapılandırılmalı, açık ve kolay anlaşılır bir ifadeyle sunulmalıdır.Sorular bireyler tarafından farklı algılanmamalıdır. Kısa yanıtlı maddelerde bir kazanım yoklanmalı, sorunun yalnızca bir yanıtı olmalıdır. ………. ………. ………. yazılı sınavlara göre kapsam geçerliği daha yüksektir. (çoktan seçmeli testlerin, kısa yanıtlı sınavların) Not: “Bu maddede sorunun birden fazla yanıtı vardır. Yanıtlama için ayrılan kısımda iki ayrı yanıt mı verilecek yoksa tek bir yanıt mı verileceği belirsizdir. Bu belirsizlik boşluklar arasına virgül koyularak giderilebilir. Ayrıca birden fazla yanıt bekleniyorsa her bir yanıt ayrı puanlanmalıdır.
70
Kısa yanıtlı maddelerde yoklanmak istenen davranış, önemli bir davranış olmalıdır. Kıyıda köşede kalmış bilgiler yoklanmamalıdır. Maddeyi kolayca yanıtlamayı sağlayacak gereksiz bilgilerden ve cevaplayanın yanıtı bulmasını kolaylaştıracak ipuçlarından kaçınılmalıdır. Çoktan seçmeli testlerin kapsam geçerliği yazılı sınavlara göre daha ……….tir. (yüksek) Not: Bu maddede cümlenin sonundaki “tir” eki cevabın yüksek olarak verilme olasılığını güçlendirmektedir.
71
Testte yer alan bir maddenin cevabı diğer bir maddenin cevabını etkilememelidir.
4. Yarıya bölme tekniği bir ölçme aracının hangi özelliği hakkında bilgi verir? ___________ 9. Test-tekrar test, paralel testler, yarıya bölme, KR-20, KR-21 ve Cronbach alfa gibi tekniklerle hesaplanan korelasyon testin hangi niteliğini belirlemede kullanılır? Not: Bu iki maddenin cevaplanması birbirine bağlıdır. 9. madde 4. maddenin cevaplanmasını kolaylaştırmaktadır.
72
Kısa cevaplı maddeler;
Sorunun ifadesi belirsiz olmamalıdır. Her soru, ölçülmesi planlanan bir kazanımı yoklamalıdır. Sorunun cevabı kesin olmalıdır. Sınavdaki sorular başka sorulara ipucu olmamalıdır. Soru cümlesi, cevaplayıcının tanıdığı bir kaynaktan aynen alınmamalıdır. Bir sorunun ifadesinde, sorunun cevabının bulunmasında işe yarayacak ipuçları verilmemelidir.
73
Doğru Yanlış Testleri
74
Özellikleri Genellikle hatırlama düzeyindeki davranışlar için uygundur.
75
Özellikleri... Avantajları Dezavantajları Puanlamada objektif
Uygulama ve okumada kolaylık Çok sayıda kişiye uygulama Çok sayıda soru sorulabilme Dezavantajları Üst düzey zihinsel becerileri ölçmede yetersiz Hatırlama düzeyindeki davranışları ölçmek için uygundur. Şans başarısı çok yüksektir. Bu nedenle düzeltme formülü kullanılır.
76
Açıklama Aşağıdaki cümlelerde verilen bilginin doğru olması durumunda, cümlenin başında verilen ( _ ) bölüme D, yanlış olması durumunda ise Y harfi koyunuz. Önerme ( _ ) Geçerlik ölçme araçlarının tesadüfi hatalardan arınıklık derecesi olarak tanımlanır. (Y)
77
Kesin ifadeler kullanilmali: Doğru-yanlış maddelerinde kesin ifadeler kullanılmalı, “çoğu zaman”, “bazen”, “birkaç” gibi belirsiz ifadeler kullanılmamalıdır. Çünkü, bu ifadeler görecelidir ve bu nedenle kişiden kişiye farklı anlaşılabilir. ( _ ) Doğru–yanlış maddelerinde birkaç seçenek bulunur. (D/Y) Not: “birkaç” ifadesi maddeye belirsizlik katmaktadır. Bu kelime bir birey için 2 anlamına gelebilirken başka bir birey için 3 veya diğer bir birey için 5 veya daha çok anlamına gelebilir ve algılanan anlam cevabın doğru veya yanlış olmasını etkiler.“birkaç” kelimesinin “iki” kelimesi ile değiştirilmesi maddeye kesinlik kazandırır ve madde kesinlikle doğru olarak cevaplanabilir.
78
Kismi dogru ifadelerden olusmamalidir: Her madde kesinlikle doğru ya da kesinlikle yanlış olmalıdır. Kısmen doğru ya da kısmen yanlış veya durumdan duruma doğru veya yanlış olabilen ifadeler kullanılmamalıdır. ( _ ) Ölçme araç ve yöntemlerinin nitelikleri geçerlik ve güvenirliktir. (D/Y) Not: Hem geçerlik hem de güvenirlik ölçme araç ve yöntemlerinin nitelikleri arasında yer almaktadır. Bu bakımdan madde doğrudur. Ancak ölçme araç ve yöntemlerinin nitelikleri sadece geçerlik ve güvenirlikle snırlı değildir. Bunlara kullanışlılık da eklenebilir. Bu bakımdan da madde yanlış olarak düşünülebilir
79
Tek bir fikir/boyut olculmelidir: Her maddede sadece bir fikrin verilmesi ve ölçülmesi gereklidir. Bir madde içinde özellikle biri yanlış, diğeri doğru birden çok fikrin verilmesinden kaçınılmalıdır. ( _ ) Doğru-yanlış tipindeki maddelerin hazırlanması kolay ve şans başarısı düşüktür. (D/Y) Not: Bu maddede iki fikir bulunmaktadır, biri doğru-yanlış tipi maddelerin hazırlanmasının kolay olmasıdır ki bu ifade doğrudur, diğeri ise doğru-yanlış tipi maddelerin şans başarısının düşük olmasıdır ki bu ifade yanlıştır.
80
Bir doğru-yanlış maddesinin yanlışlığı, önemsiz bir ayrıntıda, aldatıcı, dikkatten kaçan, algılanması zor olan bir noktada olmamalıdır. Madde kısa, açık ve anlaşılır olmalıdır. Madde gereksiz ayrıntı ve açıklamalarla uzatılmamalıdır. ( _ ) KR-22 güvenirlik katsayısı bir testin maddeleri arasındaki korelasyona dayalıdır. (Y) Not: Bu maddede yanlış ifade “KR-22”dedir. Bu ifade bireyin dikkatinden kaçabilir. ( _ ) Yazılı yoklamaların puanlamasında kullanılan farklı puanlama türlerinden olan anahtarla puanlama yapılan puanlamaların daha doğru olabilmesini sağlayan bir puanlama yöntemidir. (D) Not: Bu madde “Anahtarla puanlama yöntemi yazılı yoklamalarn puanlama hatalarını azaltır” şeklinde ifade edilirse daha anlaşılır olur.
81
Maddenin doğru ya da yanlış olduğunu açıkça belirtecek ipuçları maddede verilmemelidir.
( _ ) Bir testin aynı koşullarda aynı gruba tekrar uygulanması ile hesaplanan güvenirliğe test-tekrar test güvenirliği denir. (D) Not: Bu maddede “cümlenin başındaki açıklamada kullanılan “ tekrar” kelimesi, cümlenin sonunda yer alan test-tekrar test güvenirliği tanımına ipucu vermek.tedir.
82
D/Y belli bir duzen icinde olmamali: Doğru -yanlış maddelerinden oluşan bir test hazırlanırken, doğru ve yanlış önermeler test içerisine belli bir düzende yerleştirilmemelidir. Eğer cevaplayan ilk yapmış olduğu sorularda bu düzeni yakalarsa, diğer soruları okumadan doğru cevabı bulabilir. D/Y esit dagilmali: Doğru önermeler ve yanlış önermeler test içerisine yaklaşık olarak eşit dağıtılmalıdır.
83
Eşleştirme Maddeleri
84
Özellikleri Genellikle hatırlama düzeyindeki davranışlar için uygundur. İki kavram/cümle setinin birbiriyle eşleştirilmesini sağlayan madde tipidir.
85
Özellikleri... Avantajları Dezavantajları Puanlamada objektif
Uygulama ve okumada kolaylık Çok sayıda kişiye uygulama Çok sayıda soru sorulabilir Dezavantajları Üst düzey zihinsel becerileri ölçmede yetersiz Hatırlama düzeyindeki davranışları ölçmek için uygundur. Eleme yoluyla cevaplandırma gerçekleşebilir. Bu nedenle bir eşleştirme seti daha fazla verilir.
86
Eşleştirme maddeleri;
Bir eşleme takımında verilen seçeneklerle eşleştirilmesi istenilenler eşit sayıda olmamalıdır. Cevap listesi, bir kelime listesi ise alfabetik; rakam, sayı, tarihten oluşuyorsa büyüklük sırasına göre düzenlenmelidir. Eşleştirme için iyi bir yönerge yazılmalıdır.
87
Aşağıdaki eserleri yazıldıkları edebî dönemlerle eşleştiriniz.
Çalıkuşu Divan Edebiyatı Su Kasidesi Geçiş Dönemi Tutunamayanlar Fecr-i Ati Dönemi Köroğlu Destanı Cumhuriyet Dönemi Tanzimat Dönemi Halk Edebiyatı
88
Tanılayıcı Dallanmış Ağaç
Doğru/yanlış tipinde ve farklı seviyelerdeki sorulardan oluşur. Sorular birbiriyle bağlantılıdır. Her bir soruya verilen karar bir sonraki soruyu etkiler. Öğrencilerin yanlış öğrenmelerini belirlemede etkilidir. Alt düzey zihinsel beceriler için uygundur.
89
Tanılayıcı Dallanmış Ağaç Örneği
90
Yapılandırılmış Grid Öğrencilerin bilgileri nasıl ilişkilendirdiğine, anlamlı öğrenmelerine odaklıdır Kavram yanılgılarını ortaya koymada uygundur Seviye ve yaşa uygun gözenekler-kutucuklar kullanılır Soruların cevapları kutucuklara yerleştirilir Öğrencilerin yöneltilen soruların cevaplarını kutucuklardan bulması istenir Bir sorunun cevabı verildikten sonra sonrakine geçilir Cevaplanan kutucuklar mantıklsa bir sıraya konulması istenebilir
93
Vee Diyagramı Kavramlar arası ilişkileri kurmayı kolaylaştırır
Problemin tanımlanmasına, verilerin toplanmasına ve çözümüne yardımcı olur Yol göstericidir Kavramsal kısım ile yöntemsel kısım arasındaki ilşki odak soru ile sorgulanır Odak soru kuram-uygulama ilişkisini tanımlar, bir ya da fazla olabilir Vee diyagramda “V”nin solu kavramsal, sağı yöntemsel kısmı tanımlar. İkisini odak sorusu bağlar.
95
Kavram Haritası Bilgiyi görsel zenginlik içinde organize bir şekilde sunan grafiksel bir araçtır. Anahtar kavramlar arası ilişkileri detaylandırarak ortaya koyar, Kavramlar arası ilişkiler oklar ile gösterilir ve oklar üzerinde bağlantı ifadeleri bulunur
97
Poster İki boyutlu görsel zenginliği olan grafiklerdir.
Konu ya da kapsamın ana hatlarıyla sistematik bir şekilde sunumu esastır. Performans görevi ya da proje çalışmalarının sonuçlarının sunulmasında kullanılır
99
Kontrol Listesi Psiko-motor becerilerin ölçülmesinde sık kullanılır.
Performansı oluşturan her bir davranışın yapıldı/yapılmadı, evet/hayır gibi işaretlenerek betimlenmesine olanak sağlayan formdur. Davranışın niteliği hakkında kanıt sunmaz.
100
ÇETELEME ÖLÇEĞİ Uygulayanın Öğrencinin Adı Soyadı: Uygulama tarihi: Önemli (kritik) davranışlar: Adı Soyadı: Sınıfı: Değer Ölçeği: 1. başlangıçta kesinlik a. ilk sesin başlangıcında belirginlik b. ilk seslerde netlik c. ilk seslerde düzenlilik Var Yok 3. ses sürelerinde oranlılık a. iki dörtlük değerler arasında süre eşitliği b. bir dörtlük değerler arasında süre eşitliği c. iki dörtlük ile bir dörtlük değerler arasında karşılıklı oranlılık
101
Dereceleme Ölçekleri Psiko-motor becerilerin ölçülmesinde de kullanılır. Gözlenecek davranışların her birinin niteliğine ilişkin betimleme yapmada kullanılır. Davranışlar bir dereceleme ölçeği üzerinde betimlenir.
102
DERECELEME ÖLÇEĞİ Ölçmecinin Öğrencinin Adı Soyadı: Ölçme tarihi: Adı Soyadı: Sınıfı: Gözlenecek Davranışlar Yok Var Mükemmellik Derecesi 1 2 3 4 5 1. keman çalma için hazır oluş durumuna geçme a. yayı doğru olarak tutma b. kemanı doğru olarak tutma c. sol eli tuşeye ve tele göre hazırlama 2. yayı kullanmaya başlama a. yayı işarete göre hareket ettirme b. teldeki doğru yerine sürtme c. köprüye paralel kullanma
103
İş-Performans Testleri
Psiko-motor becerilerin ölçülmesinde sık kullanılır İşin yapılmasında izlenen aşamalar İşin yapılma hızı Ürünün niteliği
105
Dikkat Edilmesi Gerekenler
Piskomotor testlerde genellikle bireylerin görevleri gerçekleştirirken gözlenmesi ön plana çıkmaktadır. Bu doğrultuda bireyleri hızlı bir şekilde gözlemlemek ve onu doğru değerlendirmek zorlaşabilmektedir. Bu nedenle de hazırlanan kontrol listesi, dereceli puanlama anahtarı, iş-performans testleri önem kazanmaktadır. A.Sayın
106
Dikkat Edilmesi Gerekenler
Hazırlanan formlar sayesinde değerlendirici hem neyi izlemesi gerektiğini önceden kendisi de bilecek hem de gözlem esnasında daha objektif bir puanlama yapması sağlanacaktır. A.Sayın
107
Dikkat Edilmesi Gerekenler
Bu amaçla değerlendiricinin öncelikle form ve görev hakkında bilgilendirilmesi gerekmektedir. Ölçütlerin içerisinde anlamadığı bir durumun olup olmadığı; görevin yaklaşık gerçekleşme süresi değerlendiriciye belirtilmelidir. A.Sayın
108
Dikkat Edilmesi Gerekenler
Bireylerin konuşma şekli, giyinme tarzı gibi faktörler de değerlendirmeye etki edebilmektedir. Değerlendiricilerin ölçüt listeleri net bir şekilde anlamış olmalarına rağmen «farklı yorumlamaları» durumu söz konusu olabilmektedir. A.Sayın
109
Dikkat Edilmesi Gerekenler
Değerlendirme sürecinde aynı ölçüt listesine sahip ancak birbirlerinden farklı değerlendirmeler yapan puanlayıcılar olabilmektedir. Bu doğrultuda en az 30 kişilik bir grup üzerinde ön deneme uygulamasının yapılması gerekmektedir. A.Sayın
110
Dikkat Edilmesi Gerekenler
Ön deneme uygulamasında farklı değerlendiricilerin aynı görevi ölçüt listesine göre puanlaması istenir. Değerlendiricilerin puanları arasındaki uyum korelasyon katsayısı ile hesaplanır. Değerlendiricilerin puanları arasındaki ilişkinin yüksek olması durumunda değerlendiricilerin tekli puanlama yapması önerilebilir. A.Sayın
111
DİĞER TESTLER A.Sayın
112
Diğer Testler Özellikle sürecin başında ve sonunda bireylerin bilgi/becerilerinin yanı sıra duyuşsal özelliklerinin de incelenmesi önemlidir. Bu aşamada sürecin öncesinde ilgisi, ihtiyacı, isteği, özel bir eğitim ya da iş ise kişiliği gibi özelliklerin ölçülmesi gerekmektedir. A.Sayın
113
A.Sayın
114
A.Sayın
115
A.Sayın
116
A.Sayın
117
A.Sayın
118
A.Sayın
119
YENİ DEĞERLENDİRME YÖNTEMLERİ
121
Performans Değerlendirme
Performans Değerlendirme: Bireylerin bilgi ve becerilerini ortaya koyarak oluşturdukları çalışma, ürün veya etkinliklerin değerlendirilmesi süreci performans değerlendirme olarak ifade edilebilir. Öğrenme Değerlendirme
122
Performans Değerlendirmenin Aşamaları
Performans görevi oluşturma Amaç belirleme Bilgiyi toplama, örgütleme, analiz etme Ürünü ortaya koyma Paylaşma, sunu UYGULAMA ÖNCESİ Değerlendirme ve kaydetme UYGULAMA UYGULAMA SONRASI
123
Performans Görevi Örneği
Konu: İletişim Kazanımlar: İletişimin önemini ve değerini tartışır. İletişimde en etkili aracın dil olduğunu fark eder. İletişimde bulunması gereken ögeleri belirler.
124
Durum: Bir sabah uyandınız, kendinizi her zamankinden farklı hissediyorsunuz; çünkü konuşamıyor, duyamıyor ve yazamıyorsunuz. Hemen kendinizi evden dışarıya atıyorsunuz ve tüm insanların sizin gibi bir sabaha uyandığını anlıyorsunuz. Sorular: Dışarıda nasıl bir manzara var, betimleyiniz. İnsanlara iletmek istediği ilk şey nedir? Anlatmak istediğiniz şeyleri nasıl ifade ediyorsunuz? En çok neyi ifade etmekte zorlanıyorsunuz? Peki daha önce bunları ifade ederken zorlanıyor muydunuz? İletişim kurmada sizce en etkili araç nedir, bunu nereden anlıyorsunuz?
125
Performans Görevi Örneği
Konu: Betimleyici Anlatım Kazanımlar: Betimleyici anlatımda sıfat kelime türlerini kullanır. Örnek bir betimleyici anlatım oluşturur.
126
Durum: Bahçede gezerken takım elbise giymiş bir tavşan gördünüz; önce gözlerinize inanamadınız ama sonra tavşanı takip edince bir çukurdan içeriye düştünüz. İksiri içip de küçülünce tamamıyla Harikalar Diyarındaki Alice oldunuz. Sorular: İksiri içip küçüldünüz. Kapıdan geçince ne görüyorsunuz, Harikalar Diyarını anlatınız. Yanınıza tavşan, aslan ve at geldiler. Harikalar Diyarındaki hayvanların özellikleri neler, tarif ediniz. Sizden “beyaz saray” için savaşmanız isteniyor ve siz beyaz sarayı görünce büyülendiniz. Neden? Harikalar Diyarı dünyada en çok nereye benziyor, anlatınız.
127
Performans Değerlendirme Puanlama
Dereceli Puanlama Anahtarı (Rubrik): Gözlemlere ait puanları tanımlanmış kategorilerden (ölçüt ya da ölçütler) uygun düşen boyuta kaydetmemizi sağlayan bir değerlendirme aracıdır. Hazırlanan dereceli puanlama anahtarı ödevlerle birlikte öğrencilere verilmelidir. Öğrenci çalışmasının hangi ölçütlere göre değerlendirileceğini önceden bilmelidir.
128
Performans Değerlendirme Puanlama
Değerlendirme ölçütleri Ölçütlerin Tanımı Puanlama yöntemi olmak üzere 3 bölümden oluşur.
129
Öğretmenin Adı ve Soyadı: ………………
4- puan Konu iyi organize edilmiş. Akıcı bir anlatım ve konular arasında bağlantılar iyi kurulmuş. Cümle yapıları iyi kullanılmış. İlgi çekici bir anlatım sağlanmış. 3 puan Hemen hemen ilgi çekici bir anlatım sağlanmış. Akıcı bir anlatım var ama konular arası bağlantılar çok iyi kurulamamış. Konu İyi organize edilmiş fakat bazı eksikler mevcut. Az sayıda mekanik hata mevcut. 2 puan Konudan sapma olduğu için ilgi çekiciliği düşük. Konular arası bağlantılar güçlü kurulmadığı için akıcı anlatım yok. Organizasyon zayıf ve konudan sapmalar var. Ciddi mekanik hatalar mevcut. 1 puan Net bir odak noktası yok. Hiç akıcı değil ve konu dağınık. Konu kötü organize edilmiş. Çok fazla mekanik hata ve cümle yapıları çok zayıf.
130
1 2 3 4 Sorulara cevap verilmiş. Düşüncelerinin gerekçeleri açık bir şekilde anlatılmış. Düşünceler organize edilmiş. İlgi çekici örnekler ve anlatım sergilenmiş. Konunun dışına çıkılmadan düşünceler aktarılmış. Cümleler açık, anlaşılır ve kurallara uygundur.
131
Ölçütler Başlangıç Düzeyinde (1) Kabul Edilebilir (2) Oldukça Başarılı (3) Başarı Puanı Görüşler ve Öneriler Anlatım Öykü, giriş kısmı ile anlamsal ve dilsel açıdan çok az bağlantılı bir şekilde tamamlanmış. Öykü, giriş kısmı ile anlamsal ve dilsel açıdan kısmen bağlantılı bir şekilde tamamlanmış. Öykü, giriş kısmı ile anlamsal ve dilsel açıdan bağlantılı, ilgi çekici bir şekilde tamamlanmış. Özgünlük Hikâye, sıradan ve benzerlerinin aynısıdır. Hikâye kısmen özgün ve benzerlerinden esinlenerek yazılmıştır. Yazılan öykü özgün, yaratıcı ve benzerlerinden faklıdır. Yazım ve Dilbilgisi Çalışmada fazlaca yazım ve dilbilgisi hatası var. Çalışmada biraz yazım ve dilbilgisi hatası var. Çalışmada hemen hemen hiç yazım ve dilbilgisi hatası yok. Düzen Çalışmanın çok azı okunaklı olmuş. Kağıdın çok azı temiz ve düzenli kullanılmıştır. Çalışma genel olarak okunaklı yazılmış, kağıt genel olarak temiz ve düzenli kullanılmıştır. Çalışma okunaklı yazılmış, kağıt temiz ve düzenli kullanılmış. Tamlamaları Bulma İsim ve sıfat tamlamalarının çok azı doğru olarak bulunmuştur. İsim ve sıfat tamlamalarının bir kısmı doğru olarak bulunmuştur. İsim ve sıfat tamlamalarının tamamı doğru olarak bulunmuştur. Zamanı Etkin Kullanma Ödev 10 dakika geç teslim edildi. Ödev 5 dakika geç teslim edildi. Ödev zamanında teslim edildi.
132
Puanlama anahtarının kullanılmasının yararları;
Daha objektif ve tutarlı ölçme sağlar. Öğretmenler kriterlerini açıklayabilir. Öğrenci ne beklendiğini açıkça görür. Öğrenci kriterleri bildiğinden rahat ilerleyebilir. Eğitimin etkisine ilişkin dönüt vermede yardımcı olur. Gelişmeyi ölçmek ve belgelemek için ölçütler sağlar. Öğretmen ve öğrenci için açık bir kalite tanımı içerir. Öğrenciler ürün sorumluluğunu daha fazla duyarlar.
133
Kaynaklar Atılgan, H., Kan, A. ve Doğan, N. (2007). Eğitimde ölçme ve değerlendirme. Ankara: Anı yayıncılık. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme. Ankara: ÖSYM Yayınları Gronlund, N. E. & Waugh, C. K. (2006), Assessment of Student Achievement (9th Edition). USA: Pearson Education. Tekin, H. (1996). Eğitimde ölçme ve değerlendirme (9.baskı). Ankara: Yargı Yayınları
Benzer bir sunumlar
© 2024 SlidePlayer.biz.tr Inc.
All rights reserved.