İrem Soydal ~ Yurdagül Ünal
Pulluk insan yeteneklerini ve üretimi 10 kat artırıyor Kimyasal gübre tarımda üretimi 10 kat artırıyor Pulluk * Kimyasal gübre=100 kat artış Tarım devrimi Buharlı makine 1000 kat artırıyor Sanayi devrimi Bilgi ve iletişim teknolojileri bilgi toplama-işleme-iletimde milyonlarca kat artış sağladı. Yani BİT’ler insan yeteneklerini trilyonlarca kat artırdı Bilgi devrimi?
Tarım Toplumunda bilgi ? ◦ sorun çözmede yardımcı olan kritik bir “girdi” idi Sanayi Toplumunda bilgi ? ◦ ticari bir ürün, en temel ekonomik kaynak, “kalkınmanın can damarı” haline gelen bilgi “çözümün” kendisi oldu. Bilgi Toplumunda bilgi ? ◦ yaratılabilecek, iletilebilecek, depolanabilecek sınırsız bilgi giderek bir “sorun” haline gelmeye başladı.
Aygıttan aygıta ağ bağlantısı Her aygıt ve uygulamada kesin yerel mekan bilgisi de gömülü Sıcaklık, hareket, basınç, hızlanma, akış, elektrik kullanımı, ışınım, kimyasal kompozisyonu ölçen algılama aygıtlarının bütünleştirilmesi YANİ?...
Gittiğimiz her yerde, yazdığımız her şeyle, bilgi ve iletişim teknolojilerini kullanarak yaptığımız her işlemle “iz” bırakıyoruz… iz = bilgi = pazarlama, satış, strateji, politika, güç, manipülasyon/yönetim, zenginlik, iktidar, buluş, … Bu durumda “bilgi”yi kaybetme lüksü var mı?!
Bilgi depolama ortamları ◦ beyin, kültürel birikim, “dış” ortamlar Bilgi iletim ortamı ◦ dağıtık ağlar: 14 saniyede Kongre Kütüphanesi’nin içeriğini bir yerden bir yere iletmek mümkün Bilgi işleme ortamları ◦ beyin, bilgisayarlar, insanlardan daha “akıllı” makineler, “yapay beyin” 'İnsanlar yazıyı öğrenirlerse akıllarına unutkanlık aşılanır; bellek alıştırması yapmayı bırakırlar. Çünkü yazılı olana güvenirler; şeyleri ezbere değil, dışsal işaretler aracılığıyla hatırlamaya çalışırlar. Keşfettiğiniz şey bellek için değil, hatırlama için bir reçetedir. Ve size inananlara sunduğunuz şey gerçek bir hikmet değil, sadece onun görüntüsüdür. Çünkü size inananlara birçok şey söyleyerek, ama öğretmeden, onları çok biliyorlarmış gibi gösterebilirsiniz. Oysa çoğunlukla hiçbir şey bilmezler. Ve insanlar gerçek hikmetle donatılmazlarsa diğer insanlara yük olurlar.' ‘Dünya uygarlığı bir savaşla yok olup, geriye kütüphanelerde saklanan nesnel bilgi içeriği kalırsa, uygarlığı yeniden kurmak mümkündür. Halbuki bu nesnel bilgi içeriği, yani kütüphaneler yok olup, yalnızca öznelerin öğrenme yeteneği kalsa, çağdaş uygarlığı yeniden inşa etmek hemen hemen imkânsızdır.’ “...tüm insanlığın belleği herkes tarafından erişilebilir hale getirilebilir, ve muhtemelen yakın bir gelecekte getirilecektir.... Bu beyin insan kafası ya da kalbi gibi kolayca tahrip edilemez. Kesin ve tam olarak Peru’da, Çin’de, İzlanda’da, Merkezi Afrika’da ya da tehlikeye ve engellemeye karşı garanti altına alınabilecek herhangi bir yerde bu beynin röprodüksiyonu yapılabilir. Bu beyin aynı zamanda hem kafataslı bir hayvanınki gibi tek bir yerde toplanabilir hem de bir amipinki gibi dağıtık ama canlı olabilir.” ~tarihsel bakış
Ekonomi: Kıt kaynakların tahsisi “... Bilginin yeni rolü tam olarak değerlendirilmeden, zenginliğin rolü konusundaki hiçbir tahmin tutarlı olmayacaktır.” “... İşleri hızlandırarak zamanla ilişkimizi değiştirdiğimizde, bilginin bir bölümünü kaçınılmaz bir şekilde eskitiyoruz. Dolayısıyla, etrafımızda sürüklediğimiz eski bilgi miktarını artırıyoruz.”
ABD’de her yıl 80 milyar fotoğraf çekiliyor 2 milyar röntgen filmi çekiliyor Günde 610 milyar e-posta mesajı gönderiliyor Her yıl 15 trilyon sayfa yazıcılardan çıktı alınıyor 2002’de dünyada üretilen yeni bilgi miktarı ◦ 5 Exabyte (5 x 1018 byte) ◦ 5 Exabyte’lık bilgi = 37,000 yeni Kongre Kütüphanesi! ◦ = 50 milyardan fazla The Economist dergisinin içeriği
Kilobyte (KB) 1,000 bytes OR 10 3 bytes 2 Kilobytes: A Typewritten page. 100 Kilobytes: A low-resolution photograph. Megabyte (MB) 1,000,000 bytes OR 10 6 bytes 1 Megabyte: A small novel OR a 3.5 inch floppy disk. 2 Megabytes: A high-resolution photograph. 5 Megabytes: The complete works of Shakespeare. 10 Megabytes: A minute of high-fidelity sound. 100 Megabytes: 1 meter of shelved books. 500 Megabytes: A CD-ROM. Gigabyte (GB) 1,000,000,000 bytes OR 10 9 bytes 1 Gigabyte: a pickup truck filled with books. 20 Gigabytes: A good collection of the works of Beethoven. 100 Gigabytes: A library floor of academic journals. Terabyte (TB) 1,000,000,000,000 bytes OR bytes 1 Terabyte: trees made into paper and printed. 2 Terabytes: An academic research library. 10 Terabytes: The print collections of the U.S. Library of Congress. 400 Terabytes: National Climactic Data Center (NOAA) database. Petabyte (PB) 1,000,000,000,000,000 bytes OR bytes 1 Petabyte: 3 years of EOS data (2001). 2 Petabytes: All U.S. academic research libraries. 20 Petabytes: Production of hard-disk drives in Petabytes: All printed material. Exabyte (EB) 1,000,000,000,000,000,000 bytes OR bytes 2 Exabytes: Total volume of information generated in Exabytes: All words ever spoken by human beings.
161 Exabayt ne kadar eder? Dünyadan Güneşe kadar uzanan 12 raf kitap ! Kişi başına 6 ton kitap !
“Yüzey web”de yaklaşık 100 milyar belge var (dı) (1670 Terabyte) “Derin web”de 550 milyar belge var(dı) ( Terabyte)
Surface Web
Kaynak:
“Yangın hortumundan su içmeye çalışmak”!… Erişilemeyen bilgi, kullanılamaz, kullanılamayan bilginin varlığı anlamsız Bilgi erişim sorunu günümüzde zirve yapmış gibi görünse de tarihsel kökeni 1940’lara dayanıyor. ◦ Wells, “World Encyclopedia” (1936) ◦ Bush, “As we may think,” Atlantic Monthly, (1945) ◦ Memex (memory expansion) ◦ “bilgi erişim” (IR) teriminin ilk kez kullanımı (Calvin Mooers, 1952) ◦ Otomatik dizinleme – KWIC/KWOC (Luhn, 1958) ◦ Boole modeli (Lockheed, 1960’lar) ◦ Mantıksal model (Mooers, Cooper & Maron, Van Rijsbergen, ) ◦ Olasılık modeli (Maron-Kuhns, 1960; Robertson-Jones, 1976; Robertson- Maron-Cooper, 1982; Croft, 1979 ) ◦ Vektör uzayı modeli (Gerard Salton, 1961) ◦ İstatistiksel ağırlıklandırma (tf*idf, 1970’ler) ◦ Dil modelleri (Ponte-Croft, 1998) ◦ Performans ölçümleri ◦ Cranfield, Medlars, SMART, STAIRS, TREC, (Cleverdon, Lancaster, Salton, Blair-Maron, Harman)
Sistem felsefesi Bilim felsefesi Dil felsefesi
Bilgi düzenleme ve bilgi erişim de dil kullanımının özel bir türü Dilbilimsel yapılar ◦ Sözdağarı ◦ Anlambilim ◦ Sözdizimi Kataloglama, sınıflama, dizinleme
Sınıflama dile dayanıyor Dil belirsizlikler içeriyor Kavramlar üzerinde anlaşma sağlamak zor ◦ Domates “meyve” mi “sebze” mi? ◦ “Alternatif tıp” hangi konuya girer? Felsefe? Din? Sağlık ve tıp?
4000 yıldan fazla bir zamandır insanoğlu bilgiyi düzenleme derdinde. ◦ Neden? Daha sonradan erişmek ve kullanabilmek için En tipik örnek? Bir kitabın içindekiler sayfası Zaman içinde üretilen bilgi miktarı üç-beş kitabın çok ötesine geçecek kadar arttığı için depolanan/biriktirilen/yığılan bilgiye daha hızlı ulaşmak için daha özel veri yapıları inşa etme zorunluluğu ortaya çıktı. Bu yapıların en eski ve bilinen örneklerinden biri de indeks/dizinler.
Dizin; depolanan bilgi ya da belgelerle ilgili olacak, onları en hızlı erişim için tanımlayabilecek biçimde seçilmiş sözcük ya da kavramlar listesi. Temel amaç bilgiye daha hızlı ulaşmak. Hangi türde olursa olsun dizinler tüm modern bilgi erişim sistemlerinin temelini oluşturur. “Sorgu işleme” (query processing) sürecinin hızlandırılmasını ve veriye daha hızlı erişmeyi sağlarlar.
Yüzyıllar boyunca dizinler otomatik sistemler yerine insan eliyle üretildi. (Hala insan eliyle dizinlenen dermeler var) ◦ Nasıl? Metin/kaynak içindeki önemli sözcük ve kavramların belirlenmesi Hiyerarşik kategorizasyon/düzenleme Kavramsal hiyerarşiye nasıl karar verilecek?: “Domates meyve mi sebze mi?” Sınıflama sistemleri Thesaurus’lar
Günümüzde modern bilgisayar sistemleri çok geniş çaplı dizinleri otomatik olarak üretmeye imkan tanıyor. Otomatik dizinler “bilgi erişim” sorununa yeni bir bakış açısı getiriyor: ◦ Bilgisayar odaklı bilgi erişim sorunları ◦ İnsan odaklı bilgi erişim sorunları
Otomatik üretilen dizinlerin etkinliği (kelimelerin geçiş sıklığı, kullanıcı geri bildiriminin dizin terimlerinin ağırlıklandırılmasına etkisi, bu bilgilerin nasıl elde edilip derleneceği, sistem tasarımı..) Kullanıcı sorgularını (user queries) en doğru şekilde “anlama” ve işleme (processing) Sıralama algoritmaları (ranking algorithms) geliştirerek en etkin sonuç listesini getirme ◦ Etkin sıralama algoritmalarının yararı? Sonuç listesinin niteliğini artırıyor.
Kullanıcıların bilgi arama davranışlarındaki çeşitlilik Farklı tür kullanıcıların bilgi ihtiyaçlarını anlamadaki zorluklar Mümkün olduğunca “doğal dil” e yakın ve kullanıcı algısına uygun, “öğrenebilen” sistemler geliştirebilme
“Sözlük” kelimesinin anlamını bilmeyen bir kişinin içinde bulunduğu durum…? “Hakkında bilgi bulmak için bilmediğin bir şeyi tanımlama gereği” (Hjerrpe)
Erişim Düzenleme Tanımlama Keşfetme
Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval. (Tam metin)Tam metin Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme. (Tam metin)Tam metin Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval. (Tam metin)Tam metin