“Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Türkçe Arama Motorlarında Performans Değerlendirme Yaşar Tonta Hacettepe Üniversitesi

... konulu sunumlar: "“Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Türkçe Arama Motorlarında Performans Değerlendirme Yaşar Tonta Hacettepe Üniversitesi"— Sunum transkripti:

1 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Türkçe Arama Motorlarında Performans Değerlendirme Yaşar Tonta Hacettepe Üniversitesi (tonta@hacettepe.edu.tr) Yıltan Bitirim Doğu Akdeniz Üniversitesi (yiltan.bitirim@emu.edu.tr) Hayri Sever Massachusetts Üniversitesi (sever@cs.umass.edu)

2 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Plan F Giriş F Araştırmanın amacı F Bilgi erişim sistemleri F Arama motorları F Yöntem ve tasarım F Bulgular ve yorum F Öneriler

3 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Giriş F Internet: yarım milyar kullanıcı, 120M sunucu bilgisayar F Web: 3TB yer tutan en az 1 milyar belge   F Arama motorları:Yüzey web’in %16’sını, derin web’in onbinde üçünü kapsıyor

4 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Yüzey web – 1,5 milyar belge Derin Web – 550 milyar belge Kaynak: BrightPlanet, 2001..

5 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Amaç Türkçe arama motorlarının bilgi erişim performanslarını ölçmek

6 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Bilgi Erişim Sistemleri

7 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Arama Motorları F Klasik bilgi erişim sistemlerinden farklı F Veri tabanları büyük ve dinamik F Dizinleme örümcekler aracılığıyla F Belge kalitesi düşük F Belgelerin %30’u ikileniyor F Kullanıcılar çok çeşitli F Sorular çoğunlukla tek sözcükten oluşuyor

8 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Araştırma Soruları F Türkçe arama motorlarının duyarlık, normalize sıralama, kapsama, yenilik ve ölü bağlantı oranlarının birbirinden farklı olup olmadığı F Arama motorları hangi tür sorularda daha başarılı F Arama motorları üst veri alanlarından yararlanıyor mu F Türkçe karakter sorunu F Gövdeleme sorunu

9 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Arama Motorları F Arabul F Arama F Netbul F Superonline

10 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Sorular F Çeşitli türde 17 soru   F En sık aranan sorular –“mp3” –“oyun” –“sex” –“erotik” –“porno” F Üst verilerle ilgili iki deney  

11 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. 17 Soru 1.internet ve etik 2.barok müzik 3.prozac 4.arama motorları 5.baris manco'nun mp3'leri 6.barış manço'nun mp3'leri 7.dpt 8.uzaylı 9.uzaylılar 10. demirel ve sezer 11. demirel veya sezer 12. demirel veya sezer ve tema 13. uzay 14. evren 15. uzay veya evren 16. atatürk ve fikriye hanım 17. ömer izgi  

12 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Ölçümler F Ölü bağlantı oranı –Adreslere erişilebilirlik oranı F Duyarlık oranı –Erişilen ilgili belgelerin erişilen tüm belgelere oranı F Normalize sıralama oranı –İlgili belgelere ilk sıralarda erişilebilme oranı F Kapsama oranı –İlgili belgeleri kapsama oranı F Yenilik oranı –Erişilen tekil ilgili belgelerin oranı

13 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Soruların Formülasyonu

14 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. İlgililik Değerlendirmeleri ilgili ilgisiz ölü bağlantı

15 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Veri Analizi F Arama motorlarının duyarlık, normalize sıralama, kapsama, yenilik, ölü bağlantı oranları arasında fark var mı? F İstatistik testler –Kruskal-Wallis (H) testi –Mann-Whitney (U) testi –Korelasyon (r) testi

16 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Ölü Bağlantı Oranları Soru başına ortalama ölü bağlantı sayısı 1,45,10,72,8 Ort. her 6 adresten 1’i ölü

17 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Erişilen İlgili Belge Sayıları Erişilen toplam belge sayısı 971 Ortalama her 6 belgeden 5’i ilgisiz

18 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Ort. Duyarlık Değerleri %28 %11 %15 %20 %40 %27 %24 %21 %25 %21 %19 %16 %14 %16 %15 %13 %12 %10 %9

19 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Ort. Normalize Sıralama Değerleri %54 %30 %20 %37 %50 %58 %52 %54 %33 %37 %39 %21 %32 %31 %34 %16 %22 %19 %21

20 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Sorulara Göre Arama Motorlarının Ort. Duyarlık ve Ort. Normalize Sıralama Değerleri

21 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Türkçe Karakter Sorunu

22 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. En Sık Aranan Beş Soru İçin Kapsama Oranları

23 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Arama Motorlarının Türkiye Adresli Belgeleri Kapsama Oranları (“oyun”)

24 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. En Sık Aranan Beş Soru İçin Yenilik Oranları

25 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. En Sık Aranan Beş Soru İçin Türkiye Adresli Yeni Belge Bulma Oranları

26 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Arama Motorlarının Üst Veri Alanlarından Yararlanması I

27 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Arama Motorlarının Üst Veri Alanlarından Yararlanması II

28 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Öneriler F Dizinler daha sık güncelleştirilmeli F İlgili belgelere erişememe nedenleri araştırılmalı F İlgili belgeler daha üst sıralarda gösterilmeli F Türkçe karakter sorunu çözülmeli F Gövdeleme algoritması kullanılmalı F Daha fazla Türkiye adresli belge dizinlenmeli F Üst veri alanlarından yararlanılmalı

29 “Akademik Bilişim ’02” 6-8 Şubat 2002, Konya Y.T. Türkçe Arama Motorlarında Performans Değerlendirme Yaşar Tonta Hacettepe Üniversitesi (tonta@hacettepe.edu.tr) Yıltan Bitirim Doğu Akdeniz Üniversitesi (yiltan.bitirim@emu.edu.tr) Hayri Sever Massachusetts Üniversitesi (sever@cs.umass.edu)