Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Sistemleri Yaşar Tonta Hacettepe Üniversitesi yunus.hacettepe.edu.tr/~tonta/

... konulu sunumlar: "Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Sistemleri Yaşar Tonta Hacettepe Üniversitesi yunus.hacettepe.edu.tr/~tonta/"— Sunum transkripti:

1 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Sistemleri Yaşar Tonta Hacettepe Üniversitesi tonta@hacettepe.edu.tr yunus.hacettepe.edu.tr/~tonta/ Hayri Sever Başkent Üniversitesi sever@baskent.edu.tr www.baskent.edu.tr/~sever/

2 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Plan F Bilgi artışı F Bilgi erişim sorunu F Tanım F Bilgi erişim sistemlerinin mantıksal yapısı F Erişim kuralları F Performans ölçümleri F Bilgi erişim ve Internet

3 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi... F Bilgi depolama ortamları –beyin, kültürel birikim, “dış” ortamlar   F Bilgi iletim ortamı –dağıtık ağlar: 14 saniyede Kongre Kütüphanesi’nin içeriğini bir yerden bir yere iletmek mümkün   F Bilgi işleme ortamları –beyin, bilgisayarlar, insanlardan daha “akıllı” makineler, “yapay beyin”  

4 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Depolama Maliyetleri Kaynak: Lyman and Varian (2000). Available: http://www.sims.berkeley.edu/research/projects/how-much-info/charts/charts.htmlhttp://www.sims.berkeley.edu/research/projects/how-much-info/charts/charts.html 

5 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. İletim maliyetleri Kaynak: Berkhout (2001). Available: http://www.dante.net/geant/presentations/vb-geant-tnc-may01/sld012.htmhttp://www.dante.net/geant/presentations/vb-geant-tnc-may01/sld012.htm 

6 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Artış Hızı F Kütüphane dermeleri her 14 yılda bir ikiye katlanıyor F “Yüzeysel” Web’de 4-5 milyar belge var F Her gün 7,3 milyon yeni belge ekleniyor F “Derin” Web’de 550 milyar belge var (web’e bağlı veri tabanları, intranetler üzerindeki belgeler ve dinamik sayfalar) F %95’i kamuya açık!!!

7 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Artışı

8 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Dünyada Bilgi Üretimi 1999-2002 Depola ma ortamı 2002 TB Tahmini üst sınır 2002 TB Tahmini alt sınır 1999- 2000 Tahmini üst sınır 1999- 2000 Tahmini alt sınır % Değişim Tahmini üst sınır Kağıt 1,6343271,2240%36 Film 420,25476,69431,6958,209%-3 Manye tik 4,999,2303,416,2302,779,7602,073,760%80 Optik 103518129%28 T OPLAM 5,421,2213,416,2813,212,7312,132,238%69 Kaynak: How much information 2003, Tablo 1.2

9 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Miktarı F 5,4 Exabyte (milyar x milyar byte: 54 milyar Economist dergisinin içeriğine eşit) F ABD’de her yıl 80 milyar fotoğraf çekiliyor F 2 milyar röntgen filmi çekiliyor F Günde 610 milyar e-posta mesajı gönderiliyor F Her yıl 15 trilyon sayfa yazıcılardan çıktı alınıyor

10 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bir Exabyte (EB) ne kadar büyük? Kilobyte (KB) 1,000 bytes OR 10 3 bytes 2 Kilobytes: A Typewritten page. 100 Kilobytes: A low-resolution photograph. Megabyte (MB) 1,000,000 bytes OR 10 6 bytes 1 Megabyte: A small novel OR a 3.5 inch floppy disk. 2 Megabytes: A high-resolution photograph. 5 Megabytes: The complete works of Shakespeare. 10 Megabytes: A minute of high-fidelity sound. 100 Megabytes: 1 meter of shelved books. 500 Megabytes: A CD-ROM. Gigabyte (GB) 1,000,000,000 bytes OR 10 9 bytes 1 Gigabyte: a pickup truck filled with books. 20 Gigabytes: A good collection of the works of Beethoven. 100 Gigabytes: A library floor of academic journals. Terabyte (TB) 1,000,000,000,000 bytes OR 10 12 bytes 1 Terabyte: 50000 trees made into paper and printed. 2 Terabytes: An academic research library. 10 Terabytes: The print collections of the U.S. Library of Congress. 400 Terabytes: National Climactic Data Center (NOAA) database. Petabyte (PB) 1,000,000,000,000,000 bytes OR 10 15 bytes 1 Petabyte: 3 years of EOS data (2001). 2 Petabytes: All U.S. academic research libraries. 20 Petabytes: Production of hard-disk drives in 1995. 200 Petabytes: All printed material. Exabyte (EB) 1,000,000,000,000,000,000 bytes OR 10 18 bytes 2 Exabytes: Total volume of information generated in 1999. 5 Exabytes: All words ever spoken by human beings. Kaynak: How much information 2003, Tablo 1.1

11 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Sorunu F Wells, “World Encyclopedia” (1936) F Bush, “As we may think,” Atlantic Monthly, (1945) –Memex (memory expansion)   F “bilgi erişim” (IR) teriminin ilk kez kullanımı (Calvin Mooers, 1952) F Otomatik dizinleme – KWIC/KWOC (Luhn, 1958) F Boole modeli (Lockheed, 1960’lar) F Mantıksal model (Mooers, Cooper & Maron, Van Rijsbergen, 1960- ) F Olasılık modeli (Maron-Kuhns, 1960; Robertson-Jones, 1976; Robertson-Maron-Cooper, 1982; Croft, 1979 ) F Vektör uzayı modeli (Gerard Salton, 1961) F İstatistiksel ağırlıklandırma (tf*idf, 1970’ler) F Dil modelleri (Ponte-Croft, 1998) F Performans ölçümleri –Cranfield, Medlars, SMART, STAIRS, TREC, 1960- (Cleverdon, Lancaster, Salton, Blair-Maron, Harman)

12 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. “Memex ve Türkler” “The owner of the memex, let us say, is interested in the origin and properties of the bow and arrow. Specifically he is studying why the short Turkish bow was apparently superior to the English long bow in the skirmishes of the Crusades. He has dozens of possibly pertinent books and articles in his memex. First he runs through an encyclopedia,... Thus he goes, building a trail of many items... Thus he builds a trail of his interest through the maze of materials available to him. And his trails do not fade. Several years later, his talk with a friend turns to the queer ways in which a people resist innovations, even of vital interest. He has an example, in the fact that the outraged Europeans still failed to adopt the Turkish bow. In fact he has a trail on it. A touch brings up the code book.... It is an interesting trail, pertinent to the discussion. So he sets a reproducer in action, photographs the whole trail out, and passes it to his friend for insertion in his own memex, there to be linked into the more general trail.” 

13 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim F “bilgi toplama, sınıflama, kataloglama, depolama, büyük miktardaki verilerden arama yapma ve bu verilerden istenen bilgiyi üretme (veya gösterme) tekniği ve süreci”

14 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişimin Entellektüel Temelleri F Sistem felsefesi F Bilim felsefesi F Dil felsefesi

15 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Dil Felsefesi ve Bilgi Erişim F Bilgi düzenleme ve bilgi erişim de dil kullanımının özel bir türü F Sistematik dizinleme (J. Otto Kaiser) F Dilbilimsel yapılar –Sözdağarı –Anlambilim –Sözdizimi F Kataloglama, sınıflama, dizinleme

16 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Sınıflama Kuramı F Sınıflama dile dayanıyor F Dil belirsizlikler içeriyor F Kavramlar üzerinde anlaşma sağlamak zor F Domates “meyve” mi “sebze” mi? F George Lakoff, “Women, Fire and Dangerous Things” F “Alternatif tıp” hangi konuya girer? –Felsefe? –Din? –Sağlık ve tıp?

17 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. “Well, it all started with an unsuccessful subject search”

18 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişimin Temel İkilemi F “Hakkında bilgi bulmak için bilmediğin bir şeyi tanımlama gereği” (Hjerrpe)

19 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Keşfetme, Tanımlama, Düzenleme ve Erişim Erişim Düzenleme Tanımlama Keşfetme Tanımlama Düzenleme Erişim

20 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Belge Erişim Sisteminin Mantıksal Düzenlemesi Dizin tutanakları Gömü - Sözlük Dizinleme Belgeler Kullanıcılar Sorgu formülasyonu Formel sorgu cümlesi Erişim kuralı Kaynak: Maron, 1984

21 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. İdeal Bilgi Erişim Sistemi F İlgili belgelerin tümüne ve salt ilgili belgelere erişim sağlamalı F “İlgililik” kavramı – Nesnel ilgililik – Öznel ilgililik F Birbirine benzeyen bilgileri bir araya getirmek, benzemeyenleri ayırmak

22 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Erişim Kuralları Boole mantığı Vektör uzayı modeli Olasılık modeli  (D,Q) =  (t k xq k ) /  (t k ) 2 x  (q k ) 2 P (ilgili) = n / N P(  ilgili) = 1 – P(ilgili) = N – n / N t k = k teriminin belgedeki değeri q k = k teriminin sorgudaki değeri n = ilgili belge sayısı N = toplam belge sayısı Set kuramına dayanıyor. Boole işleçleri –VE, VEYA, DEĞİL- kullanılıyor  

23 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Benzerlik Skorunun Hesaplanması Slide 38 of 79 Zile Pekmez http://www.sims.berkeley.edu/courses/is296a-3/f98/lectures/ir-background/sld038.htm 

24 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Sistemleri Mükemmel Değil! İLGİLİ ERİŞİLEN vux y N u tipi hatalarv tipi hatalar

25 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Performansı vux y N İLGİLİİLGİSİZ ERİŞİLEN xun1n1 ERİŞİLE- MEYEN vy n2n2 Duyarlık = x / n 1 İLGİLİ ERİŞİLEN Anma = x / n 2 Posa = u / u + yGenellik = n 2 / N E = 1 – ((b 2 DA + DA) / (b 2 D+ A))

26 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Yetersizlik Aksiyomları I F Bir bilgi ihtiyacı bağlamdan bağımsız olarak ifade edilemez. F Bir makineye bir soruyu uygun arama terimlerine çevirmesini öğretmek olanaksızdır. F Bir belgenin ilgili olup olmaması görülen diğer belgelere bağlıdır. F Bütün ilgili belgelerin bulunup bulunmadığını doğrulamak asla mümkün değildir. F Makineler anlamı tanıyamaz -> entellektüel dizinleme kadar başarılı değildir, vs.

27 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Yetersizlik Aksiyomları II F Sözcük sıklığı istatistikleri ne anlamı temsil edebilir, ne de anlam yerine geçebilir. F Bir bilgi erişim sisteminin bir tekrarlı süreci destekleme yeteneği insanlar tarafından sadece bir kez yapılan ilgililik değerlendirmesiyle değerlendirilimez. F Ya sağlam ilgililik değerlendirmesi ya da çok etkili mekanik süreçlere sahip olabilirsiniz, ama ikisine birden asla. F Yani, tutarlı bir şekilde etkin olan tamamen otomatik dizinleme ve erişim mümkün değildir. Kaynak: Swanson, 1988

28 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim ve Internet... F “Yangın hortumundan su içmek” F “Dijital belgeler”: devingen, sınırları belirsiz, kendi kendini değiştirebilen belge F Dizinleme ve bilgi erişim teknikleri yetersiz F Erişim doğrusal ve hantal F İnsan beyninde ise dizinleme ve erişim “bağıntılı” F Acaba yakın gelecekte taklit edilebilir mi? F Ses, koku, vs. bilgisine erişim? F Beyin dışında kayıtlı bilgiler insanın düşünme ve sorun çözme gücünün bir parçası haline getirilebilir mi?

29 Internet ’03 11-13 Aralık 2003, İstanbul Y.T. Bilgi Erişim Sistemleri Yaşar Tonta Hacettepe Üniversitesi tonta@hacettepe.edu.tr yunus.hacettepe.edu.tr/~tonta/ Hayri Sever Başkent Üniversitesi sever@baskent.edu.tr www.baskent.edu.tr/~sever/