Machine Translation

Makine çevirisi (MT), metin veya konuşmanın bir dilden başka bir dile otomatik olarak çevrilmesidir. Doğal dil işleme (NLP) alanındaki en eski görevlerden biri ve en yaygın kullanılanlardan biridir: Google Translate, DeepL ve Microsoft Translator; web sayfalarını, belgeleri, sohbet mesajlarını, ürün listelerini ve konuşmaları hiçbir insan çevirmen ekibinin yetişemeyeceği ölçekte çevirir. Günümüz sistemleri sinir ağlarını kullanır; büyük dil modelleri (LLM'ler) de genel yeteneklerinden biri olarak çeviri yapar.

Kurallardan İstatistiğe, İstatistikten Sinir Ağlarına#

1954'teki Georgetown-IBM deneyi, altmıştan fazla Rusça cümleyi 250 kelimelik bir sözlük ve altı dilbilgisi kuralı kullanarak İngilizceye çevirdi; deneyi düzenleyenler MT'nin birkaç yıl içinde çözüleceğini öngördü. 1966'da ALPAC raporu, makine çevirisinin insan çevirisinden daha yavaş ve daha az doğru olduğu sonucuna vardı ve ABD'de MT araştırmalarına ayrılan fonlar büyük ölçüde kesildi. 1968'de kurulan SYSTRAN gibi kural tabanlı sistemlerde, her dil çifti için sözlükler ve dilbilgisi kuralları elle kodlanıyordu.

İstatistiksel MT, bunun yerine çeviriyi verilerden öğrendi. Peter Brown liderliğindeki IBM araştırmacıları, 1993'te Kanada Parlamentosunun iki dilli kayıtlarından hangi Fransızca kelimelerin hangi İngilizce kelimelere karşılık geldiğini öğrenen kelime hizalama modellerini yayımladı; 2003'te geliştirilen ifade tabanlı MT ise çok kelimeli öbekleri çevirdi ve Google Translate 2006'da kullanıma sunulduğunda bu yaklaşımı benimsedi. Sinirsel MT, istatistiksel işlem hattının yerini uçtan uca eğitilen tek bir ağla aldı: Ilya Sutskever ve çalışma arkadaşlarının diziden diziye modeli (2014), bir cümleyi tek bir vektöre kodlayıp başka bir dilde çözümlemek için uzun kısa süreli bellek (LSTM) ağlarını kullandı; Dzmitry Bahdanau, Kyunghyun Cho ve Yoshua Bengio ise çözücünün kaynak cümledeki her kelimeye geri bakmasını sağlayan bir dikkat mekanizması ekledi. Google'ın sinirsel sistemi, 2016'da basit cümlelerle yapılan insan değerlendirmesinde, yan yana karşılaştırıldığında çeviri hatalarını üretimde kullanılan ifade tabanlı sisteme kıyasla ortalama %60 azalttı. Çeviri için ertesi yıl tanıtılan Transformer, WMT 2014 kıyaslamalarında İngilizceden Almancaya 28,4 BLEU, İngilizceden Fransızcaya ise 41,8 BLEU puanına ulaştı.

Sinirsel Makine Çevirisi Nasıl Çalışır#

Kaynak metin, nadir kelimelerin ve adların bilinen parçalara ayrılmasını sağlayan byte-pair encoding gibi tokenleştirme yöntemleriyle alt sözcük tokenlarına bölünür. Kodlayıcı, kaynak cümlenin tamamını bağlamsal vektörlere dönüştürür; çözücü ise yazdığı tokenlara ve çapraz dikkat yoluyla kodlayıcının vektörlerine dikkat ederek çeviriyi her seferinde bir token yazar:

Kodlayıcı, çözücü herhangi bir şey yazmadan önce cümlenin tamamını okuduğundan, her kelimenin çevirisi bağlamına bağlıdır:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# T5 is an encoder-decoder transformer; a text prefix selects the translation task
tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small")
model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

sentences = ["She went to the bank to open an account.", "They had a picnic on the bank of the river."]
inputs = tokenizer([f"translate English to German: {s}" for s in sentences], return_tensors="pt", padding=True)

# The decoder writes each German sentence one token at a time with beam search
outputs = model.generate(**inputs, num_beams=4, max_new_tokens=40)
for source, translation in zip(sentences, tokenizer.batch_decode(outputs, skip_special_tokens=True)):
    print(f"{source} -> {translation}")

İngilizce-Almanca çeviriyi görevlerinden biri olarak kullanan, Google'ın 60 milyon parametreli T5-small modeli, "Sie ging an die Bank, um ein Konto zu eröffnen." cümlesindeki "bank" kelimesini "Bank" (finans kurumu), "Sie hatten ein Picknick am Ufer des Flusses." cümlesindeki "bank" kelimesini ise "Ufer" (nehir kıyısı) olarak çevirir. Ayrıca Almanca sözcük diziliminin gerektirdiği gibi, "eröffnen" (açmak) kelimesini yan cümlenin sonuna taşır.

Çeviri Değerlendirmesi#

Kishore Papineni ve IBM'deki çalışma arkadaşlarının 2002'de tanıttığı BLEU, çeviriyi bir veya daha fazla insan tarafından hazırlanmış referans çeviriyle ortak kelime dizilimlerine göre puanlar ve çok kısa çıktılara ceza uygular. Hesaplaması ucuzdur ve tekrarlanabilir; ancak referanslardan farklı şekilde ifade edilmiş doğru çevirilere düşük puan verir. COMET (2020) gibi öğrenilmiş ölçütler, insan kalite değerlendirmeleriyle eğitilmiş bir sinir ağı kullanarak çeviriyi puanlar. 2022 WMT ölçütleri ortak görevinde, "BLEU Kullanmayı Bırakın" başlığıyla, sinirsel ölçütlerin uzman insan değerlendirmeleriyle BLEU'dan daha fazla uyuştuğu görüldü.

Güncel Sistemler ve Zorluklar#

Meta'nın NLLB-200 (2022) modeli, çoğunda çok az dijital metin bulunan 200 dil arasında çeviri yapar ve Flores-200 kıyaslamasında önceki en iyi sonuca kıyasla BLEU puanını %44 artırdı. Düşük kaynaklı dillerde paralel eğitim verisi bulunmadığından, sistemler geri çeviriyle sentetik çiftler üretir; geri çeviri, hedef dildeki tek dilli metni kaynak dile çeviren bir veri artırma yöntemidir. Sinir ağı tabanlı sistemler de özellikle gürültülü veya düşük kaynaklı girdilerde kaynakla ilgisi olmayan akıcı çıktılar uydurabilir. Cinsiyet, bilinen bir yanlılık kaynağıdır: Türkçedeki cinsiyet belirtmeyen bir zamir, doktor için "he", hemşire içinse "she" olarak çevrilebilir; bu durum 2018'de Google Translate'in bazı sorgular için hem dişil hem eril çeviriler göstermesine yol açtı. MT başka modalitelerle de birleşir: telefonlardaki kamera uygulamaları, tabelaları ve menüleri çevirmeden önce bunlar üzerinde optik karakter tanıma (OCR) çalıştırır; konuşma çevirisi de konuşmayı metne dönüştürme, MT ve metinden konuşma üretme adımlarını art arda uygular veya üçünü tek bir modelde gerçekleştirir. Ultralytics LLM arayüzü, istemle birlikte image argümanını da kabul eder; böylece bir Python işlem hattı bir tabelanın fotoğrafını görsel-dil modeline gönderip tek bir çağrıda tabeladaki yazıyı İngilizce olarak vermesini isteyebilir.

Makine Çevirisi ve İlgili Terimler#

• NLP: İnsan diliyle hesaplamalı olarak ilgilenen alan; MT bu alanın görevlerinden biridir.
• LLM çevirisi: GPT ve Gemini gibi genel amaçlı modeller, bir istem verildiğinde çeviri yapar ve bağlam olarak tüm bir belgeyi veya sözlüğü kullanabilir. Özel MT modelleri yalnızca çeviri için eğitilir; NLLB-200, 200 dilinin tamamını kapsayan 600 milyon ve 1,3 milyar parametreli damıtılmış sürümlerle sunulur.
• Yerelleştirme: Bir ürünü tarihler, para birimleri, görseller ve kültürel göndermeler dâhil olmak üzere belirli bir pazara uyarlama. MT metni çevirir; yerelleştirme ekipleri metni gözden geçirip uyarlar.