 Pulluk insan yeteneklerini ve üretimi 10 kat artırıyor  Kimyasal gübre tarımda üretimi 10 kat artırıyor  Pulluk * Kimyasal gübre=100 kat artış  Tarım devrimi  Buharlı makine 1000 kat artırıyor  Sanayi devrimi  Bilgi ve iletişim teknolojileri bilgi toplama-işleme-iletimde milyonlarca kat artış sağladı. Yani BİT’ler insan yeteneklerini trilyonlarca kat artırdı  Bilgi devrimi? «Belki atalarımız da bir enformasyon çağında yaşadılar – farkında olmadan.» (Headrick, 2002)

 Tarım Toplumunda bilgi ? ◦ sorun çözmede yardımcı olan kritik bir “girdi” idi  Sanayi Toplumunda bilgi ? ◦ ticari bir ürün, en temel ekonomik kaynak, “kalkınmanın can damarı” haline gelen bilgi “çözümün” kendisi oldu.  Bilgi Toplumunda bilgi ? ◦ yaratılabilecek, iletilebilecek, depolanabilecek sınırsız bilgi giderek bir “sorun” haline gelmeye başladı.

 Aygıttan aygıta ağ bağlantısı  Her aygıt ve uygulamada kesin yerel mekan bilgisi de gömülü  Sıcaklık, hareket, basınç, hızlanma, akış, elektrik kullanımı, ışınım, kimyasal kompozisyonu ölçen algılama aygıtlarının bütünleştirilmesi YANİ?...

Gittiğimiz her yerde, yazdığımız her şeyle, bilgi ve iletişim teknolojilerini kullanarak yaptığımız her işlemle “iz” bırakıyoruz… iz = bilgi = pazarlama, satış, strateji, politika, güç, manipülasyon/yönetim, zenginlik, iktidar, buluş, … Bu durumda “bilgi”yi kaybetme lüksü var mı?!

‘...tüm insanlığın belleği herkes tarafından erişilebilir hale getirilebilir, ve muhtemelen yakın bir gelecekte getirilecektir... Bu beyin insan kafası ya da kalbi gibi kolayca tahrip edilemez. Kesin ve tam olarak Peru’da, Çin’de, İzlanda’da, Merkezi Afrika’da ya da tehlikeye ve engellemeye karşı garanti altına alınabilecek herhangi bir yerde bu beynin röprodüksiyonu yapılabilir. Bu beyin aynı zamanda hem kafataslı bir hayvanınki gibi tek bir yerde toplanabilir hem de bir amipinki gibi dağıtık ama canlı olabilir.’ Wells ‘Dünya uygarlığı bir savaşla yok olup, geriye kütüphanelerde saklanan nesnel bilgi içeriği kalırsa, uygarlığı yeniden kurmak mümkündür. Halbuki bu nesnel bilgi içeriği, yani kütüphaneler yok olup, yalnızca öznelerin öğrenme yeteneği kalsa, çağdaş uygarlığı yeniden inşa etmek hemen hemen imkânsızdır.’ Popper ‘İnsanlar yazıyı öğrenirlerse akıllarına unutkanlık aşılanır; bellek alıştırması yapmayı bırakırlar. Çünkü yazılı olana güvenirler; şeyleri ezbere değil, dışsal işaretler aracılığıyla hatırlamaya çalışırlar. Keşfettiğiniz şey bellek için değil, hatırlama için bir reçetedir. Ve size inananlara sunduğunuz şey gerçek bir hikmet değil, sadece onun görüntüsüdür. Çünkü size inananlara birçok şey söyleyerek, ama öğretmeden, onları çok biliyorlarmış gibi gösterebilirsiniz. Oysa çoğunlukla hiçbir şey bilmezler. Ve insanlar gerçek hikmetle donatılmazlarsa diğer insanlara yük olurlar.’ Plato  Bilgi depolama ortamları ◦ beyin, kültürel birikim, “dış” ortamlar  Bilgi iletim ortamı ◦ dağıtık ağlar: 14 saniyede Kongre Kütüphanesi’nin içeriğini bir yerden bir yere iletmek mümkün  Bilgi işleme ortamları ◦ beyin, bilgisayarlar, insanlardan daha “akıllı” makineler, “yapay beyin” ~tarihsel bakış

 Ekonomi: Kıt kaynakların tahsisi  “... Bilginin yeni rolü tam olarak değerlendirilmeden, zenginliğin rolü konusundaki hiçbir tahmin tutarlı olmayacaktır.”  “... İşleri hızlandırarak zamanla ilişkimizi değiştirdiğimizde, bilginin bir bölümünü kaçınılmaz bir şekilde eskitiyoruz. Dolayısıyla, etrafımızda sürüklediğimiz eski bilgi miktarını artırıyoruz.”

 ABD’de her yıl 80 milyar fotoğraf çekiliyor  2 milyar röntgen filmi çekiliyor  Günde 610 milyar e-posta mesajı gönderiliyor  Yazıcılardan yılda 15 trilyon sayfa çıktı alınıyor  2002’de dünyada üretilen yeni bilgi miktarı ◦ 5 Exabyte (5 x 1018 byte) ◦ 5 Exabyte’lık bilgi = 37,000 yeni Kongre Kütüphanesi! ◦ = 50 milyardan fazla The Economist dergisinin içeriği

Kilobyte (KB) 1,000 bytes OR 10 3 bytes 2 Kilobytes: A Typewritten page. 100 Kilobytes: A low-resolution photograph. Megabyte (MB) 1,000,000 bytes OR 10 6 bytes 1 Megabyte: A small novel OR a 3.5 inch floppy disk. 2 Megabytes: A high-resolution photograph. 5 Megabytes: The complete works of Shakespeare. 10 Megabytes: A minute of high-fidelity sound. 100 Megabytes: 1 meter of shelved books. 500 Megabytes: A CD-ROM. Gigabyte (GB) 1,000,000,000 bytes OR 10 9 bytes 1 Gigabyte: a pickup truck filled with books. 20 Gigabytes: A good collection of the works of Beethoven. 100 Gigabytes: A library floor of academic journals. Terabyte (TB) 1,000,000,000,000 bytes OR bytes 1 Terabyte: trees made into paper and printed. 2 Terabytes: An academic research library. 10 Terabytes: The print collections of the U.S. Library of Congress. 400 Terabytes: National Climactic Data Center (NOAA) database. Petabyte (PB) 1,000,000,000,000,000 bytes OR bytes 1 Petabyte: 3 years of EOS data (2001). 2 Petabytes: All U.S. academic research libraries. 20 Petabytes: Production of hard-disk drives in Petabytes: All printed material. Exabyte (EB) 1,000,000,000,000,000,000 bytes OR bytes 2 Exabytes: Total volume of information generated in Exabytes: All words ever spoken by human beings.

161 Exabayt ne kadar eder? Dünyadan Güneşe kadar uzanan 12 raf kitap ! Kişi başına 6 ton kitap ! THE UNSTRUCTURED DATA PROBLEM Over 95% of the digital universe is "unstructured data" – meaning its content can't be truly represented by its location in a computer record, such as name, address, or date of last transaction. Digital images, voice packets, and the musical notes in an MP3 file would be considered unstructured data. In organizations, unstructured data accounts for more than 80% of all information. There may be information about the content, such as when it was captured – e.g., the time stamp on a camcorder clip – or its compression scheme, address from which it was sent or received if indeed it was, or file size. But that information, or "metadata," is generally not enough to determine what is actually contained in a unit of information without some human or automated intervention. « «»«»

 “Yüzey web”de yaklaşık 100 milyar belge var (1670 Terabyte)  “Derin web”de 550 milyar belge var ( Terabyte)

Surface Web

2005’te Google’ın 5 milyon terabytelık belge içinden 170 terabaytını dizinlediği söyleniyor. “Google 7 yıldır dizinleme yapıyor ve 5 milyon tb.lık belgenin tamamını dizinlemesi için 300 yıla ihtiyacı var. Ve bu ancak kimse webde hiçbir yeni içerik yaratmazsa mümkün olabilir…”

Kaynak:

 “Yangın hortumundan su içmeye çalışmak”!…  Erişilemeyen bilgi, kullanılamaz, kullanılamayan bilginin varlığı anlamsız.  Bilgi erişim sorunu günümüzde zirve yapmış gibi görünse de tarihsel kökeni 1940’lara dayanıyor. ◦ Wells, “World Encyclopedia” (1936) ◦ Bush, “As we may think,” Atlantic Monthly, (1945) ◦ Memex (memory expansion) ◦ “bilgi erişim” (IR) teriminin ilk kez kullanımı (Calvin Mooers, 1952) ◦ Otomatik dizinleme – KWIC/KWOC (Luhn, 1958) ◦ Boole modeli (Lockheed, 1960’lar) ◦ Mantıksal model (Mooers, Cooper & Maron, Van Rijsbergen, ) ◦ Olasılık modeli (Maron-Kuhns, 1960; Robertson-Jones, 1976; Robertson- Maron-Cooper, 1982; Croft, 1979 ) ◦ Vektör uzayı modeli (Gerard Salton, 1961) ◦ İstatistiksel ağırlıklandırma (tf*idf, 1970’ler) ◦ Dil modelleri (Ponte-Croft, 1998) ◦ Performans ölçümleri ◦ Cranfield, Medlars, SMART, STAIRS, TREC, (Cleverdon, Lancaster, Salton, Blair-Maron, Harman)

 Sistem felsefesi  Bilim felsefesi  Dil felsefesi

 Bilgi düzenleme ve bilgi erişim de dil kullanımının özel bir türü  Dilbilimsel yapılar ◦ Sözdağarı (vocabulary) ◦ Anlambilim (semantics) ◦ Söz dizimi (syntax)  Kataloglama, sınıflama, dizinleme

 Sınıflama dile dayanıyor  Dil belirsizlikler içeriyor  Kavramlar üzerinde anlaşma sağlamak zor ◦ Domates “meyve” mi “sebze” mi? ◦ “Alternatif tıp” hangi konuya girer?  Felsefe?  Din?  Sağlık ve tıp? ** Webster’da “domates” şöyle tanımlanıyor: “kırmızı ya da sarımtırak sulu bir meyve, sebze olarak kullanılır, bitki olarak yumuşak, kabuksuz meyvedir.” Aslında teknik olarak domates bir meyve (berry), ama 1893’de ABD Anayasa Mahkemesi domatesin sebze olduğuna karar veriyor. West Indies’ten domates ithal eden John Nix, sebze ithaline konulan %10’luk gümrük vergisini ödememek için dava açıyor. Nix domatesin meyve olduğunu savunuyor. Mahkeme ise domatesin meyve gibi tatlı olarak değil de sebze olarak tüketildiğini göz önünde bulundurarak domatesin sebze olduğuna hükmediyor. (Kaynak: Denise Grady, “Best Bite of Summer”, Self 19(7): , July 1997’den aktaran: Louis Rosenfeld and Peter Norville, Information architecture for the World Wide Web. Sebastopol, CA: O’Reilly, 1998.) ** ABD Anayasa Mahkemesi’nin yorumu: “Bir sözcüğün anlamını kullanım belirler.”

 4000 yıldan fazla bir zamandır insanoğlu bilgiyi düzenleme derdinde. ◦ Neden?  Daha sonradan erişmek ve kullanabilmek için  En tipik örnek?  Bir kitabın içindekiler sayfası  Zaman içinde üretilen bilgi miktarı üç-beş kitabın çok ötesine geçecek kadar arttığı için depolanan/biriktirilen/yığılan bilgiye daha hızlı ulaşmak için daha özel veri yapıları inşa etme zorunluluğu ortaya çıktı.  Bu yapıların en eski ve bilinen örneklerinden biri de indeks/dizinler.

 Dizin; depolanan bilgi ya da belgelerle ilgili olacak, onları en hızlı erişim için tanımlayabilecek biçimde seçilmiş sözcük ya da kavramlar listesi.  Temel amaç bilgiye daha hızlı ulaşmak.  Hangi türde olursa olsun dizinler tüm modern bilgi erişim sistemlerinin temelini oluşturur.  Sistemdeki “sorgu işleme” (query processing) sürecinin hızlandırılmasını ve veriye daha hızlı erişmeyi sağlarlar.

 Yüzyıllar boyunca dizinler otomatik sistemler yerine insan eliyle üretildi. (Hala insan eliyle dizinlenen dermeler de var.) ◦ Nasıl?  Metin/kaynak içindeki önemli sözcük ve kavramların belirlenmesi  Hiyerarşik kategorizasyon/düzenleme  Kavramsal hiyerarşiye nasıl karar verilecek?: “Domates meyve mi sebze mi?”  Sınıflama sistemleri  Thesaurus’lar

 Günümüzde modern bilgisayar sistemleri çok geniş çaplı dizinleri otomatik olarak üretmeye imkan tanıyor.  Otomatik dizinler “bilgi erişim sorunu”na yeni bir bakış açısı getiriyor: ◦ Bilgisayar odaklı bilgi erişim sorunları ◦ İnsan odaklı bilgi erişim sorunları

 Otomatik üretilen dizinlerin etkinliği (kelimelerin geçiş sıklığı, kullanıcı geri bildiriminin dizin terimlerinin ağırlıklandırılmasına etkisi, bu bilgilerin nasıl elde edilip derleneceği, sistem tasarımı..)  Kullanıcı sorgularını (user queries) en doğru şekilde “anlama” ve işleme (processing) Kullanıcı sorgularını (user queries) en doğru şekilde “anlama” ve işleme (processing) ◦ “Eylül meselesi” => aşk filmi mi? 12 Eylül olayları mı? Başka bir şey?  Sıralama algoritmaları (ranking algorithms) geliştirerek en etkin sonuç listesini getirme ◦ Etkin sıralama algoritmalarının yararı?  Sonuç listesinin niteliğini artırıyor.

 Kullanıcıların bilgi arama davranışlarındaki çeşitlilik  Farklı tür kullanıcıların bilgi ihtiyaçlarını anlamadaki zorluklar ◦ “bunu mu demek istediniz?”  Mümkün olduğunca “doğal dil”e yakın ve kullanıcı algısına uygun, “öğrenebilen” sistemler geliştirebilme

 “Sözlük” kelimesinin anlamını bilmeyen bir kişinin içinde bulunduğu durum…?  “Hakkında bilgi bulmak için bilmediğin bir şeyi tanımlama gereği” (Hjerrpe)

Erişim Düzenleme Tanımlama Keşfetme

Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval. (Tam metin)Tam metin Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme. (Tam metin)Tam metin Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval. (Tam metin)Tam metin