Natural Language Processing (NLP)

Doğal dil işleme (NLP), bilgisayarların insan dilini metin ve konuşma biçiminde analiz etmesini, anlamasını ve üretmesini sağlayan yapay zekâ (AI) dalıdır. Görevleri bir cümledeki isimleri bulmaktan kitap çevirmeye veya sohbet etmeye kadar uzanır ve hesaplamalı dilbilimini makine öğrenimi ve derin öğrenme ile birleştirir. Web araması, spam filtreleri, sesli asistanlar, telefon klavyesi önerileri ve büyük dil modelleri (LLM) üzerine kurulu sohbet botları NLP ile çalışır.

Kurallardan Büyük Dil Modellerine#

1954 Georgetown-IBM deneyi, 250 kelimelik bir sözlük ve altı dilbilgisi kuralıyla altmıştan fazla Rusça cümleyi İngilizceye çevirdi; Joseph Weizenbaum'ın ELIZA'sı (1966) ise anahtar kelimeleri önceden yazılmış yanıtlarla eşleştirerek bir psikoterapisti taklit etti. Elle yazılmış kurallar, gerçek metinlerin belirsizliği ve çeşitliliği karşısında yetersiz kaldığından 1980'lerin sonlarından itibaren istatistiksel NLP, açıklama eklenmiş metinlerden olasılıkları öğrenmeye başladı: gizli Markov modelleri sözcük türlerini etiketledi, istatistiksel makine çevirisi ise milyonlarca çevrilmiş cümle çiftinden öğrendi.

Sinir ağları 2010'larda bu yöntemlerin yerini aldı. Word2vec (2013), ilişkili sözcükleri birbirine yakın yerleştiren gömme vektörleri öğrendi; tekrarlayan sinir ağları (RNN) ise cümleleri sözcük sözcük okudu. Transformer (2017), tekrarlama yapısını her sözcüğü diğer tüm sözcüklerle paralel olarak ilişkilendiren öz dikkate dönüştürdü. BERT ve GPT gibi önceden eğitilmiş transformer modelleri dili etiketsiz metinlerden öğrendi ve her görev için yalnızca küçük etiketli veri kümelerine ihtiyaç duydu; ChatGPT'nin Kasım 2022'de yayımlanmasından bu yana LLM'ler, birçok NLP görevini yalnızca yazılı bir yönergeyle yerine getiriyor.

NLP Sistemleri Metni Nasıl Temsil Eder?#

Modern bir NLP sistemi önce metni, tokenlaştırma ile elde edilen tam sözcüklere veya alt sözcük parçalarına böler ve her tokenı bir gömme vektörüne eşler. Genellikle transformer olan bir sinir ağı, bu diziyi her tokenın vektörünün komşularını yansıttığı bağlamsal vektörlere dönüştürür; göreve özgü bir çıktı da bunları kullanır: tüm metin için tek bir etiket, her token için bir etiket, yanıt bölümünün başlangıç ve bitişi ya da yeni üretilen tokenlar. Anlam vektörlerde bulunduğundan, farklı sözcükler içeren cümleler birbirine yakın konumlanabilir; all-MiniLM-L6-v2 cümle kodlayıcısı bunu gösteriyor:

from sentence_transformers import SentenceTransformer

# A small sentence encoder maps each text to a 384-dimensional vector
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

query = "How do I reset my password?"
candidates = ["I forgot my login credentials", "How do I reset my router?"]

# Encode all texts, then compare the query with each candidate by cosine similarity
embeddings = model.encode([query, *candidates])
scores = model.similarity(embeddings[0], embeddings[1:])[0]

for text, score in zip(candidates, scores):
    print(f"{score:.2f}  {text}")

"Giriş bilgilerimi unuttum" şeklindeki başka sözcüklerle ifade edilmiş cümle, soruyla 0,68 puan alırken sorudaki altı sözcüğün beşini yineleyen "Yönlendiricimi nasıl sıfırlarım?" 0,53 puan alıyor. Anlamsal arama ve getirme destekli üretimin (RAG) getirme aşaması, belgeleri aynı karşılaştırmayla sıralar.

Yaygın NLP Görevleri#

• Duygu analizi: Bir yorum, gönderi veya anket yanıtındaki görüşü olumlu, olumsuz ya da nötr olarak sınıflandırır.
• Adlandırılmış varlık tanıma (NER): Kişi, kuruluş, yer veya tarihle ilgili her ifadeyi etiketler.
• Soru yanıtlama: Bir belge listesi yerine sorunun yanıtını döndürür.
• Metin özetleme: Bir belgeyi, ana noktalarını koruyan daha kısa bir metne indirger.
• Metin üretimi: Sohbet botlarının ve kodlama asistanlarının temelindeki görev olarak, her seferinde bir token üreterek yeni metin yazar.

Bilgisayarlı Görüde NLP#

İnsanların bilgisayarlı görü modellerine ne arayacaklarını söyleme yolu da dildir; NLP'yi görüyle birleştirmek, görüntüler hakkında okuyup yazabilen modeller ortaya çıkardı. Görsel-dil modelleri (VLM) fotoğraflarla ilgili soruları yanıtlar ve görüntü açıklamaları yazar; CLIP ise 400 milyon görüntü-açıklama çiftinden görüntüler ve metin için ortak bir gömme uzayı öğrendi. Açık söz dağarcıklı algılayıcılar sınıf listesini metin olarak alır: bir Ultralytics YOLOE-26 modeli üzerinde set_classes(["double-decker bus", "person"]) çağrıldığında her ad CLIP tokenizer'ıyla tokenlaştırılır ve Apple'ın MobileCLIP2 metin kodlayıcısıyla kodlanır; ardından algılayıcı, hiç eğitim almadığı kategorileri bulup bölütlemek için bu metin gömmelerini görüntü bölgeleriyle eşleştirir.

NLP ve İlgili Terimler#

• Doğal dil anlama (NLU): Kullanıcının amacı veya bir zamirin neye gönderme yaptığı gibi anlamla ilgilenen NLP bölümüdür. Metin üreten doğal dil üretimi (NLG), diğer temel bölümdür.
• Büyük dil modelleri: İstemlerle birçok NLP görevini yerine getiren, milyarlarca parametreli transformer dil modelleri; istek başına maliyetleri, tek bir görev için eğitilmiş küçük modellere kıyasla daha yüksektir.
• Konuşma tanıma: Konuşma sesini metne dönüştürür; NLP modelleri de bu metni yorumlar.
• Optik karakter tanıma (OCR): Basılı veya el yazısı metin görüntülerini karakterlere dönüştürür; taranmış bir belgeyi NLP ile okumadan önceki ilk adımdır.