BİLEŞİK CÜMLELERDE YAN CÜMLECİKLERİN OTOMATİK ETİKETLENMESİ METİN BİLGİN-M.FATİH AMASYALI.

... konulu sunumlar: "BİLEŞİK CÜMLELERDE YAN CÜMLECİKLERİN OTOMATİK ETİKETLENMESİ METİN BİLGİN-M.FATİH AMASYALI."— Sunum transkripti:

1 BİLEŞİK CÜMLELERDE YAN CÜMLECİKLERİN OTOMATİK ETİKETLENMESİ METİN BİLGİN-M.FATİH AMASYALI

2 SUNUŞ 1. Sekans Etiketleme 1.1Tanım 1.2 Uygulama Alanları 2. Hipotezimiz 2.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi 3. Sekans Etiketleme için Kullanılan Yöntemler 3.1.Saklı Markov Model 3.2.Maksimum Entropi Markov Model 3.3.Şartlı Rastgele Alanlar 4. Yapılan Çalışma 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi 5. Sonuç

3 1.Sekans Etiketleme  Sekans Etiketleme, giriş I(i 1,i 2,…,i n ) sekansına karşılık çıkış için O(o 1,o 2,…,o n ) sekansının üretilmesidir.  I ve O kümesine göre birçok uygulama alanı vardır.

4 1.Sekans Etiketleme  Uygulama Alanları  Varlık İsmi Tanımlama (Name Entity Recognition) (I-input O-Output) ORGEPEREELOCE UN official John heads forIraq. I O

5 1.Sekans Etiketleme  POS (Part Of Speech) Tagging  Shallow Parsing AdjNVDetN Fruit flies like a banana I O NP VP The hungry rabbiteats quickly I O

6 1.Sekans Etiketleme  Cümleyi Öğelerine Ayırma (Role Labeling) ZTÖ Yük. Nokt. Bugün hava çok sıcak. I O

7 1.Sekans Etiketleme  Yan Cümleciklere Ayırma Ali yarala n mış ol I1I1 O i al ıp kasaba yı I2I2 an. Elif Öİ fiil Fiil_n Fiil_dön Başla Devam terk et er fiil Fiil_n Öİib fiil fi-ipisimi.be isim fiil Fiil-er Nokta …Devam… Bitti Başla … Bitti Başla

8 1.Sekans Etiketleme  Bağlılık Ayrıştırma (Dependency Parsing) Özne Nesne Nit. NesneNit. O kalemini tek silahı olarak I O2O2 6 6 4 5 6 O1O1 görür 0 ROOT

9 1.Sekans Etiketleme  Diğer uygulama alanları  Otomatik Çeviri  Fikir Madenciliği  Konuşma Tanıma  …  Ortak özellik: şu anki çıkışın geçmişe de bağlı olması

10 2. Hipotezimiz  2.1. Hipotezimiz  İçerisinde birden fazla yargı bildiren bir bileşik cümleyi yan cümleciklerine ayırmak için Şartlı Rastgele Alanlar yöntemi kullanılabilir.

11 3.SE için Kullanılan Yöntemler  HMM (Hidden Markov Model-Saklı Markov Model)  MEMM (Maximum Entropy Markov Model)  CRF (Condition Random Fields-Şartlı Rastgele Alanlar)

12 3.1. HMM  Markov modeli, mevcut durumlar verildiğinde gelecek durumların geçmiş durumlara bağlı olması anlamına gelir. Durumlar gözlemci için görünebilirdir ve tek parametre durum geçiş olasılıklarıdır [1].  a=2 için;  t=a anında S 2 değeri, sadece t=a-1 anındaki S 1 durumuna bağlıdır. S1S1 S2S2 S3S3 SnSn

13 3.1. HMM S1S1 S2S2 S3S3 SnSn O1O1 O2O2 O3O3 OnOn [2]

14 3.2. MEMM S1S1 S2S2 S3S3 SnSn O1O1 O2O2 O3O3 On [3]

15 3.3. CRF  CRF’de ise; S1S1 S2S2 S3S3 SnSn O1O1 O2O2 O3O3 SnSn [4]

16 Yöntemlerin Karşılaştırılması HızYöntemNormalizasyon HMMHızlıBirleşik OlasılıkYerel MEMMOrtaKoşullu OlasılıkYerel CRFYavaşKoşullu OlasılıkGenel

17 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi  Öncelikle dilbilimciler tarafından elde edilen 1278 cümle el ile temel ve yan cümleciklerine ayrıldı.  Ardından Fatih Parser programı ile her cümlenin tek tek kelime analizi gerçekleştirilir.

18  Sistemin 1.girişi kelime analizi yapılmış kelimeler ve ekleri, 2.girişleri ise bu kelimeler ve eklere karşılık Fatih Parser’ın ürettiği kelime türleridir. 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi

19  Çıkışları etiketlemek için; EtiketAnlamı BaşlaYan/Temel cümlenin başladığını belirtir DevamYan/Temel cümlenin devam ettiğini belirtir BittiYan/Temel cümlenin bittiğini belirtir bos Cümle içindeki boşlukları belirtir NoktalamaNoktalama işareti olduğunu belirtir 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi

20  CRF’ye verilmeye hazır önişlemden geçmiş örnek cümle; Giriş 1Giriş 2Çıkış AliÖzel İsimBaşla yaralaFiilDevam nFiil_edilgen_sesli_nDevam mışFiil_dönüşüm_mişDevam olFiilDevam anFiil_dönüşüm_enBitti ElifÖzel isimBaşla iİsim_belirtmeDevam alFiilDevam ıpFiil_imsi_ipBitti kasabaİsimBaşla yıİsim_belirtmeDevam terkFiilDevam ederisimDevam.NoktaNoktalama 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi

21 Etiket 1026 Cümle 500 Cümle 250 Cümle 100 Cümle Basla2353967250239 Devam17423798637781536 Bitti2354967466239 bos791037011725697 Noktalama1500698336133 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi Eğitim Seti Etiket Frekansları

22  1278 cümlenin 1028 Eğitim, 250’si test seti olarak ayrılmıştır. Pencere boyutu 3[-1,1] olarak alınmıştır.  Yapılan çalışma sonuçları; 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi

23 Etiketlerin başarı oranları

24  250 cümlelik test seti içerisinde bulunan 569 yan cümleci ğ in 543 adeti do ğ ru olarak işaretlenmiş ve 95.43'lük bir başarı oranı yakalanmıştır. 4.1. Bileşik Cümlelerde Yan Cümleciklerin Otomatik Etiketlenmesi

25 5. Sonuç  Yapılan çalışma sonucunda, sekans etiketleme işlemlerinde sıklıkla tercih edilen CRF algoritması bileşik cümlelerdeki yan cümlecikleri otomatik etiketlemede kullanılabilir olduğu görülmüştür.

26  Elle etiketlenmiş verilerle eğitilen CRF sisteminin cümleyi temel ve yan cümleciklere ayırmada yüksek bir başarı gösterdiği görülmüştür. Burada eğitim setinin büyüklüğünün başarının artışı arasında doğru bir orantı olduğu görülmüştür. 5. Sonuç

27  Sistemin veri seti elde etme bölümü geliştirilmeye açık kısmıdır. Sistemin güvenliğinin artırılması ve daha kesin sonuçlara ulaşılabilmesi için eğitim ve test seti boyutu artırılmalıdır. 5. Sonuç

28 Kaynakça  Türkçe Kaynak Sitesi, Yapılarına Göre Cümleler http://www.turkcesinifi.com/yapilarina-gore-cumleler-t781.html [Erişim Tarihi:10.6.2015].  Lafferty, J., McCallum, A. ve Pereira, F., (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data", International Conference on Machine Learning (ICML), 28 June-1 July 2001, Massachusetts.  Wallach, H.M., Conditional random fields: An introduction, http://www.inference.phy.cam.ac.uk/hmw26/papers/crf_intro.pdf [Erişim Tarihi: 15 Ekim 2014].  Cornell University Department of Computer Science, Sequence Tagging with HMMs-MEMMs, http://www.cs.cornell.edu/courses/cs4740/2011sp/lectures/memms-4pp.pdf [Erişim Tarihi: 11 Ekim 2015].  Kazkılınç,S., (2012). Türkçe Metinlerin Etiketlenmesi, Yüksek Lisans Tezi, İ stanbul Teknik Üniversitesi Fen Bilimleri Enstitüsü, İ stanbul.  Rau, L.F., (1991). "Extracting Companu Names from Text", Artificial Intelligence Applications of IEEE, 24-28 February 1991, Miami.  MacQueen, J. B., (1965). "Some Methods for Classification and Analysis of Mutivariate Observations", Berkeley Symposium on Mathematical Statistics and Probability, University of California Press, 1:281-297.  Ekbal, A., Bandyopadhyay, S. ve Haque, R., (2009). "A Conditional Random Field Approach for Named Entity Recognition in Bengali and Hindi", Linguistic Issues in Language Technology (LiLT), 2(1):1-44.  [9] Bilgin, M., (2015). Ardışık Şartlı Rastgele Alanlarla Sekans Etiketleme, Doktora Tezi, Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü, İ stanbul.  [10]Fatih Parser - Türkçe Çözümleyici http://www.hrzafer.com/turkce-cumle-cozumleyici -fatih-parser [Erişim Tarihi :10.06.2015].  CRF Program, CRFSharp, https://crfsharp.codeplex.com [Erişim Tarihi: 20 Ekim 2015].

29 …TEŞEKKÜRLER…