Bilgisayar ile Çeviri Sistemleri

... konulu sunumlar: "Bilgisayar ile Çeviri Sistemleri"— Sunum transkripti:

1 Bilgisayar ile Çeviri Sistemleri
İlyas Çiçekli Bilgisayar Mühendisliği Bölümü Bilkent Üniversitesi Bilkent 06800, Ankara

2 Bilgisayar ile Çeviri Sistemleri
Tercüme: Kaynak dilde verilen bir metinin anlamının korunarak hedef dildeki bir metine çevrilmesidir. Çeviri sistemleri bu tercüme işlemini otomatik olarak yapmaya çalışırlar. Bilgisayar ile çeviri zordur. Doğal dildeki bir cümlede her seviyede belirsizlik olabilir: morfolojik, sözdizimsel, anlamsal, ... Doğru çeviri için bu belirsizliklerin giderilmesi gerekir. Çeviri sistemleri değişik yöntemler kullanır. Bilgisayar ile Çeviri Sistemleri

3 Bilgisayar ile Çeviri Sistemleri
Tercüme Piramidi Cümlenin Dil Bağımsız Anlamsal Yapısı (Interlingua) Kaynak Dildeki Cümlenin Anlamsal Yapısı Hedef Dildeki Cümlenin Anlamsal Yapısı Anlamsal Yapı Transferi Analiz Sentez Kaynak Dildeki Cümlenin SözdizimYapısı Hedef Dildeki Cümlenin Sözdizim Yapısı Sözdizim Yapı Transferi Kaynak Dildeki Cümle Hedef Dildeki Cümle Doğrudan Transfer Bilgisayar ile Çeviri Sistemleri

4 Bilgisayar ile Çeviri Sistemleri
Doğrudan Transfer Doğrudan transferde sadece sınırlı sayıda analiz ve sentez adımları kullanılır. Kaynak cümlenin morfolojik analizi Kaynak cümle için morfolojik belirsizlik gidericinin uygulanması Kaynak cümlenin morfolojik seviyedeki kelimelerinin hedef dildeki morfolojik seviyedeki kelimelere transferi. Hedef dildeki kelimelerin sıralanın tekrardan belirlenmesi. Hedef cümledeki morfolojik seviyedeki kelimelerin üretilmesi. Bilgisayar ile Çeviri Sistemleri

5 Sözdizim Yapı Transferi
Kaynak cümlenin sözdizim analizinin yapılarak sözdizim yapısının bulunması. kaynak dil için morfolojik analizci, kaynak dil için morfolojik belirsizlik giderici, kaynak dil için sözdizim analizcisi. Kaynak cümlenin sözdizim yapısının hedef dildeki sözdizim yapısına transferi. yapıların transferi, çift-taraflı sözlük. Hedef dildeki sözdizim yapısından hedef cümlenin üretilmesi. sözdizim yapısından kelime sıraların bulunması, morfolojik üretici. Bilgisayar ile Çeviri Sistemleri

6 Anlamsal Yapı Transferi
Bu tür tercüme yönteminde çok fazla kaynak gerekir ve bunları elde etmek pahalı ve kolay değildir. Kaynak cümlenin dil bağımsız anlam yapısının bulunması. kaynak dil için morfolojik analizci, kaynak dil için morfolojik belirsizlik giderici, kaynak dil için sözdizim analizcisi, kaynak dil için anlamsal analizci, anlamsal yapının dil bağımsız yapıya çevrilmesi (ontoloji denilen dünya bilgisini saklayan bir kaynak gerekli) Dil bağımsız anlam yapısından hedef cümlenin üretilmesi. Dil bağımsız anlam yapısından hedef cümlenin söz dizim yapısının bulunması, ve hedef cümledeki kelimelerin seçimi, sözdizim yapısından kelime sıraların bulunması, morfolojik üretici. Bilgisayar ile Çeviri Sistemleri

7 Yakın Diller Arasında Tercüme
Yapıları birbirlerine benzeyen diller arasında tercüme benzemeyenlere göre daha kolaydır. Birbirlerine benzemeyen diller arasındaki tercüme sistemleri daha fazla kaynak bilgiye ihtiyaç duyarlar. Sözlük, gramer kuralları, aktarma kuralları, ontoloji Gerekli kaynakları hazırlamak pahalı olabilir. Birbirlerine benzeyen diller arasındaki tercüme sistemleri daha az kaynak bilgiye ihtiyaç duyarlar. Morfolojik Analizciler, Morfolojik Belirsizlik Gidericiler, Tercüme Sözlükleri ve Basit Tercüme Kuralları Anlamsal Analizciye gerek olmayabilir. Bilgisayar ile Çeviri Sistemleri

8 Türkçe ve Tatarca Arasında Tercüme
Türkçe ve Tatarca arasında sonlu durum yöntemleri kullanıldı. Türkçe ve Tatarca Gramerleri Birbirlerine Çok Benzerler Türkçe ile Tatarca arasındaki bir tercüme sisteminde kelime sırası problemiyle ilgilenmemize gerek yoktur. Ama Türkçe ve İngilizce arasındaki bir tercüme sisteminde kelime sırası problemiyle ilgilenmemiz gerekir. Basit Tercüme Kuralları (Sonlu Durum Kuralları) Bazı belirsizlikler aynen korunduğundan, daha az belirsizlik problemi. Bilgisayar ile Çeviri Sistemleri

9 Türkçe ve Tatarca Arasında Tercüme
Türkçe Morfolojik Analizci Türkçe Morfolojik Belirsizlik Giderici Tercüme 1. Gramer Kuralların Tercümesi 2. Duruma Bağlı Yapıların Tercümesi 3. Köklerin Tercümesi Tatarca Morfolojik Analizci Türkçe Metin Tatarca Metin Bilgisayar ile Çeviri Sistemleri

10 Örneğe Dayalı Bilgisayar ile Tercüme
Verilen kaynak dildeki cümle kaynak-hedef diller arasında verilmiş olan tercüme örnek kümesi yardımıyla hedef dildeki cümleye çevrilir. Bazı çeviri sistemleri kaynak-hedef diller arasındaki tercüme örnek kümesini doğrudan tercüme sırasında kullanır. Kaynak cümleye en çok benzeyen cümleler örnek kümesinden bulunarak, kaynak cümlenin parçaları tercüme edilir. Parçalar birleştirilerek tercüme sonucu bulunur. Bazı çeviri sistemleri ise örnek kümesinden tercüme kalıpları öğrenir ve bu tercüme kalıplarını kullanarak kaynak dildeki cümleyi tercüme ederler. Bilgisayar ile Çeviri Sistemleri

11 İstatiksel Tercüme Yöntemleri
Kaynak-Hedef Diller Arasındaki Tercüme Örnek Kümesi Hedef Dildeki Örnek Kümesi İstatiksel Analiz İstatiksel Analiz Tercüme Modeli Dil Modeli Tercüme Sistemi Kaynak dildeki cümle Hedef dildeki cümle Bilgisayar ile Çeviri Sistemleri

12 İstatiksel Tercüme Yöntemleri
Dil Modeli cümle h için, kullanılma olasalığı P(h) değerini bulur. h doğru bir cümle yapısındaysa ve çok kullanılan bir yapı ise P(h) değeri yüksek olacaktır, aksi halde düşük olacaktır. Tercüme Modeli Cümleler h ve k için, tercümesi olma olasalığı P(h|k) değerini bulur. h cümlesi k cümlesinin tercümesi olmaya uygun ise, P(h|k) değeri yüksek olacaktır, aksi halde düşük olacaktır. Ayrıştırma Algoritması Verilen bir k cümlesi için P(h)*P(h|k) formülünü en yüksek değeri verecek olan h cümlesini bulmaya çalışır. Bilgisayar ile Çeviri Sistemleri

13 Tercüme Kalıplarının Öğrenilmesi
Tercüme kalıplarını verilen tercüme örneklerinden öğrenen, bir örneğe dayalı bilgisayar ile çeviri sistemi geliştirdik. Sistem Türkçe ile İngilizce arasında geliştirildi Diğer dilller içinde uygalanabilinir. Öğrenilen tercüme kalıpları cümlelerin tercümesinde iki yönlü olarak kullanılabilinir. Bilgisayar ile Çeviri Sistemleri

14 Bilgisayar ile Çeviri Sistemleri
Tercüme Örnekleri - 1 Şehriye Çorbası  Noodle Soup Mercimek Çorbası  Lentil Soup Bu örneklerden aşağıdaki tercüme kalıpları öğrenilebilir. Şehriye  Noodle Mecimek  Lentil XTR Çorbası  XEN Soup Bilgisayar ile Çeviri Sistemleri

15 Bilgisayar ile Çeviri Sistemleri
Tercüme Örnekleri - 2 Piliç Izgara  Grilled Chicken Balık Izgara  Grilled Fish Bu örneklerden aşağıdaki tercüme kalıpları öğrenilebilir. Piliç  Chicken Balık  Fish XTR Izgara  Grilled XEN Bilgisayar ile Çeviri Sistemleri

16 Öğrenilen Kalıpların Kullanılması
XTR Çorbası  XEN Soup Balık  Fish tercüme kalıpları kullanılarak Balık Çorbası  Fish Soup tercümesi gerçekleştirilebilinir. Bilgisayar ile Çeviri Sistemleri

17 Bilgisayar ile Çeviri Sistemleri
Sonuçlar Kullanacağımız yönteme göre ihtiyaç duyacağımız kaynaklar değişir. Örneğe dayalı bilgisayar ile tercüme için: Büyük tercüme örnek kümeleri. Türkçe için örneklerin morfolojik seviyede işaretlenmiş olması gerekir. Kaynak ve hedef diller için morfolojik analizciler. Kaynak ve hedef diller için morfolojik belirsizlik gidericiler. Bilgisayar ile Çeviri Sistemleri

18 Bilgisayar ile Çeviri Sistemleri
Sonuçlar Yapıları benzer olan diller arasındaki bir tercüme sistemi daha az bir çabayla geliştirilebilinir. Yapıları benzer olan diller arasındaki tercüme sistemlerinde çoğu zaman sonlu durum yöntemleri yeterli olabilir. Türkçe ve Tatarca arasında kullanılan yöntemler, diğer Türk diller içinde uygulanabilir. Bilgisayar ile Çeviri Sistemleri