Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Normalleştirme Etkeninin Önemi Özlem KARAGEDİK Ata Önal.

Benzer bir sunumlar


... konulu sunumlar: "Normalleştirme Etkeninin Önemi Özlem KARAGEDİK Ata Önal."— Sunum transkripti:

1 Normalleştirme Etkeninin Önemi Özlem KARAGEDİK Ata Önal

2 Amaç Çalışmada, kullanıcının ihtiyacı olan ilgili belgelere en iyi oranda erişerek arama kalitesinin arttırılması amaçlanmıştır. Bu amaçla, vektör uzay modeli ve eksenli benzersiz normalleştirme modeli karşılaştırılarak bu modellerin sonuçları gözlemlenmiştir. 2

3 Bilgiye Erişim Nedir? DdDdd Bilgiye erişim denince akla genelde internet arama motorları gelir. Ticari olarak başarılı çalışmalar 30 yıldan fazla akademik araştırma konusu Bilgiye erişim herhangi bir ilgili belgeyi bulmayı kapsar. 3

4 Bilgiye Erişim Sistemleri Bilgiye erişim sistemleri, belge arşivlerinde kullanıcıların isteklerine uygun belgelere, kullanıcıların kolay bir şekilde erişimlerini sağlayan sistemlerdir. 4

5 Bilgiye Erişim Sistemleri 5

6 Bilgiye erişim sistemleri belge arşivlerindeki ilgili (relevant) belgelere erişmeyi, ilgisiz (non-relevant) belgeleri ise çıkartmayı amaçlar. Bilgiye erişim sistemlerinin kalitesinin arttırılması Elde edilen ilgili belge sayısının arttırılması, İlgili belgelerin sıralamada daha yüksek sıralarda yer alması ile olur. 6

7 Bilgiye Erişim Sistemleri 7

8 Değerlendirme Ölçütleri İlgililik Sorguların kullanıcının ihtiyacını ne kadar iyi karşıladığının ölçüsüdür. Hassasiyet Erişilen ilgili belgelerin, erişilen belgelere oranıdır. Hassasiyet=İlgili erişilen belgeler/Erişilen belgeler Anma Erişilen ilgili belgelerin, bütün ilgili belgelere oranıdır. Anma=İlgili erişilen belgeler/ilgili belgeler 8

9 Sıralandırılmış Bir Listeyi Değerlendirme Derecelendirilmiş Erişim Her derece için hassasiyet ve anma hesaplanır. Hassasiyet ve anma grafiği çizilir. Ortalama Hassasiyet İlgili belgelere erişilen sıralardaki ortalama hassasiyet 9

10 Hassasiyetlerin Aritmetik Ortalaması(MAP) Her bir sorgu için hesaplanan ortalama hassasiyet değerlerinin aritmetik ortalamasına denir. 10

11 Ön İşlemler Sorguyu ve belgeleri bilgiye erişime hazır ve verimli hale getirmek için, yapılan işlemlerdir. Bu işlemler: Tek harfli veya iki harfli gibi çok kısa kelimeler silinir. 11

12 Ön İşlemler Çıkartılacak kelimeler listesindeki (stop word list) kelimelerin atılır (stop word elimination). Kelimelerin türetilmiş veya ek almış hallerinden kurtularak köklerine inmek için birkaç farklı yöntem vardır. 12

13 Kullanılan Yöntemler Vektör Uzay Modeli(Vector Space Model) Terim Sıklığı- Devrik Belge Sıklığı(Term Frequency- Inverse Document Frequency (Tf-Idf)) Kosinüs Benzerliği Eksenli Benzersiz Normalleştirme (Pivoted Unique Normalization) 13

14 Vektör Uzay Modeli Belgeler ve sorgular birer vektör ile ifade edilir. Her bir belge, anlamlı kelimelerden oluşan ve kelimelerin her birinin ağırlığı olan birer terim vektörü şekline getirilir. Belge vektörleri bir araya getirilerek bütün belgeleri içeren bir matris oluşturulur 14

15 Vektör Uzay Modeli Belge terim matrisi ( D matrisi) Her bir satırı bir belgeyi vektör olarak gösterirken, Sütunları da terim vektörleri olarak adlandırılır. 15

16 Vektör Uzay Modeli Terim Ağırlığı her bir terimin o belge için önemini belirtir. Terim ağırlığı farklı yollarla bulunabilir. Terim Sayısı Terim Sıklığı- Devrik Belge Sıklığı 16

17 Terim Sıklığı- Devrik Belge Sıklığı Terimin ağırlığı, belge içerisinde o terimin geçme sayısıyla doğru orantılıyken; bütün belge havuzu içerisinde o terimin geçme sıklığıyla ters orantılıdır 17

18 Kosinüs Benzerliği Kosinüs benzerliği iki vektör arasındaki açının kosinüsünü bularak bu vektörlerin birbirleriyle benzerliklerini ölçmek için kullanılmaktadır. Kosinüs benzerliğinde belge ve sorgular kendi vektör uzunluklarına bölünerek birim vektör haline getirilir. Kosinüs değeri sıfır ile bir arasında olur. Bir değerine ne kadar yakınsa benzerlik o kadar fazladır. 18

19 Kosinüs Benzerliği 19

20 Kosinüs Benzerliği Belge ve sorgular kendi vektör uzunluklarına bölünerek birim vektör haline getirilir. Vektör uzunluklarına bölünmesiyle belgeler normalleştirilir. 20

21 Erişim kalitesini etkileyen faktörler Belge uzunluklarının normalleştirilme gereksinimleri şunlardır: Yüksek terim frekansları : Uzun belgeler, genelde aynı terimi çokça kez tekrar eder. Fazla sayıda terim: Uzun belgeler fazla sayıda farklı terim içerir. 21

22 Kosinüs Benzerliği Kosinüs benzerliğinde normalleştirme ağırlıklı belge vektörü uzunluğuna bölünerek yapılır. Normalleştirme belgelerin uzunluklarından bağımsızdır. Bu durumda büyük belgeler için vektör uzunlukları çok büyük olur. Belgeler büyüdükçe kosinüs normalleştirmesinin başarısı düşer. 22

23 Eksenli Benzersiz Normalleştirme Modeli Klasik vektör uzay modelinin değiştirilmiş bir versiyonudur. Terim ağırlığı hesaplanırken, terim ve belge frekanslarından farklı olarak bir normalleştirme etkeni de denkleme eklenir. 23

24 Eksenli Benzersiz Normalleştirme Modeli dtf:terimin belgede geçme sayısı sumdtf: belge içerisindeki tüm terimler için ifadesinin toplamı N koleksiyondaki toplam belge sayısını nf j. terimi içeren belge sayısını U’da belgedeki benzersiz terim sayısını gösterir 24

25 Eksenli Benzersiz Normalleştirme Modeli Denklemin ilk kısmında sumdtf değerine bölünmesiyle, uzun belgelerde aynı sayıda terimin çokça geçmesi problemine çözüm getirir Normalleştirme etkeni uzun belgelerin fazla sayıda farklı terim içermesi ve bunun uzun belgelerin ağırlıklarını yükseltmesi problemine çözüm getirir 25

26 Veri Kümesi WikipediaMM, görsel bigiye erişim için Wikipedia resimlerinin koleksiyonundan oluşan bir test ortamı sunar. Veri kümesi olarak wikipedia’nın kullanılmasının amacı, kullanıcının arama yapabileceği, web’e benzer nitelikte daha büyük ölçekli ve heterojen içerikli bir koleksiyonu araştırmaktır. Çalışmada WikipediaMM 2008 veri kümesi kullanılmıştır. 26

27 Veri Kümesi Veri kümesi, çeşitli konularda 151,519 resim içerir. Bu resimlerin her biri yapısal olmayan gürültülü metinsel açıklamalar içerir. Bu veri kümesinde resimler üzerinde aranabilecek 75 metinsel sorgu bulunur. Sorgularla ilgili olan toplam belge sayısı ise 5593’tür. 27

28 Veri Kümesi Belge Örnek 1959ModelPiperPA24 Comanche.jpg 1959ModelPiperPA-24Comanche.jpg A 1959 model Piper PA-24 Comanche, Valleyfield, Quebec

29 Veri Kümesi Sorgu Örnek 76 Shopping in a market 29

30 Deneysel Sonuçlar Eksenli benzersiz normalleştirme modelinin daha başarılı olduğu gözlemlenmiştir. Bu model belgelerin uzunluklarını dikkate alan bir normalleştirme etkeni kullanarak, çok büyük boyuttaki belgelerin ağırlıklarını azaltılmış, küçük boyuttaki belgelerin ağırlıklarını arttırmış ve bütün belgelerdeki ağırlıkları ortalama boyuttaki belgelerle ile aynı seviyeye getirmiştir. 30

31 Deneysel Sonuçlar NoYöntem Ort. Hassasiyet İlk 5’de hassasiyet İlk 10’da hassasiyetErişilenİlgili Erişilenİlgili 1Vektör Uzay Modeli-Kosinüs Norm Eksenli Benzersiz Normalleştirme

32 Gelecek Çalışmalar Çalışmanın bundan sonraki ilerleyişi: kullanıcının sorgularını sistemin otomatik olarak genişletmesi ile arama kalitesinin arttırılması üzerine olacaktır. Genişletme ile, sorgudaki kelimeler ile benzer anlamlı yeni kelimeler, sorguya eklenecektir. Böylelikle sorgunun içeriği zenginleştirilerek, sorgunun ilk halindeki kelimeyi içermeyen ama sorgu genişletilince bulunabilen ilgili belgelere de erişimi sağlamak amaçlanacaktır. 32

33 TEŞEKKÜRLER 33


"Normalleştirme Etkeninin Önemi Özlem KARAGEDİK Ata Önal." indir ppt

Benzer bir sunumlar


Google Reklamları