Görsel yapay zekada görüntü eşleştirme nedir? Hızlı bir giriş

Aynı nesnenin iki resmine, örneğin bir resim tablosuna ve bir arabanın fotoğrafına baktığında, ortak noktalarını fark etmen kolaydır. Ancak makineler için bu durum o kadar basit değildir.

To make such comparisons, machines rely on computer vision, a branch of artificial intelligence (AI) that helps them interpret and understand visual information. Computer vision enables systems to detect objects, understand scenes, and extract patterns from images or videos.

Özellikle bazı görsel görevler tek bir görüntüyü analiz etmenin ötesine geçer. Bu görevler, benzerlikleri bulmak, farkları tespit etmek veya zaman içindeki değişimleri takip etmek için görüntülerin karşılaştırılmasını içerir.

Vision AI geniş bir teknik yelpazesini kapsar ve görüntü eşleştirme olarak bilinen temel bir yetenek, aydınlatma, açılar veya arka planlar değiştiğinde bile görüntüler arasındaki benzerlikleri belirlemeye odaklanır. Bu teknik; robotik, artırılmış gerçeklik ve coğrafi haritalama dahil olmak üzere çeşitli uygulamalarda kullanılabilir.

Bu makalede görüntü eşleştirmenin ne olduğunu, temel tekniklerini ve gerçek dünyadaki bazı uygulamalarını inceleyeceğiz. Hadi başlayalım!

Link to this sectionGörüntü eşleştirme nedir?#

Görüntü eşleştirme, bir bilgisayar sisteminin iki görüntünün benzer içerik taşıyıp taşımadığını anlamasını mümkün kılar. İnsanlar bunu şekilleri, renkleri ve desenleri fark ederek sezgisel olarak yapabilirler.

Bilgisayarlar ise sayısal verilere güvenirler. Görüntüleri, dijital bir görüntünün en küçük birimi olan her bir pikseli inceleyerek analiz ederler.

Her görüntü bir piksel ızgarası olarak saklanır ve her piksel tipik olarak kırmızı, yeşil ve mavi (RGB) için değerler tutar. Bu değerler görüntü döndürüldüğünde, yeniden boyutlandırıldığında, farklı bir açıdan görüntülendiğinde veya farklı ışık koşullarında çekildiğinde değişebilir. Bu değişkenlikler nedeniyle, görüntüleri piksel piksel karşılaştırmak genellikle güvenilmezdir.

Karşılaştırmaları daha tutarlı hale getirmek için görüntü eşleştirme, görüntü hafifçe değiştiğinde bile sabit kalma eğiliminde olan yerel özelliklere veya köşelere, kenarlara ve dokulu bölgelere odaklanır. Birden fazla görüntüdeki bu özellikleri veya anahtar noktaları (keypoints) tespit ederek bir sistem bunları çok daha yüksek doğrulukla karşılaştırabilir.

Bu süreç; navigasyon, konum belirleme, artırılmış gerçeklik, haritalama, 3D rekonstrüksiyon ve görsel arama gibi kullanım durumlarında yaygın olarak kullanılır. Sistemler, farklı görüntüler veya birden fazla kare boyunca aynı noktaları tanımladıklarında hareketi izleyebilir, sahne yapısını anlayabilir ve dinamik ortamlarda güvenilir kararlar alabilirler.

Şekil 1. Benzer anahtar noktaların tanımlandığı bir araba görüntüsü eşleştirme örneği. (Kaynak)

Link to this sectionGörüntü eşleştirmenin nasıl çalıştığını anlamak#

Görüntü eşleştirme, sistemlerin görüntüler içindeki benzer bölgeleri tanımlamasına ve karşılaştırmasına yardımcı olan birkaç temel adımı içerir. Her adım, farklı koşullar altında doğruluğu, tutarlılığı ve dayanıklılığı artırır.

İşte görüntü eşleştirmenin nasıl çalıştığına dair adım adım bir bakış:

• Özellik tespiti (Feature detection): Sistem önce görüntüde aydınlatma, ölçek veya bakış açısı değiştiğinde bile sabit kalan belirgin anahtar noktaları tanımlar. Görsel olarak öne çıkan köşeler, kenarlar veya dokulu bölgeler gibi alanları vurgularlar.
• Özellik tanımlama (Feature description): Her anahtar nokta daha sonra, o nokta etrafındaki görsel deseni yakalayan kompakt bir sayısal vektör olan bir tanımlayıcıya (descriptor) dönüştürülür. Bu tanımlayıcılar, farklı görüntülerdeki özellikleri karşılaştırmak için güvenilir bir yol sağlar.
• Özellik eşleştirme (Feature matching): İki görüntüden gelen tanımlayıcılar, ne kadar benzer olduklarını hesaplayan eşleştirme algoritmaları kullanılarak karşılaştırılır. Bu adım, birbirine karşılık gelen anahtar noktalarını eşleştirir ve daha zayıf veya güvenilmez eşleşmeleri filtreler.
• Geometrik doğrulama: Son olarak sistem, eşleşen anahtar noktaların gerçekçi bir geometrik ilişki oluşturup oluşturmadığını kontrol eder. Sadece güvenilir nokta çiftlerinin tutulmasını sağlayan RANSAC (Random Sample Consensus) adlı bir yöntem kullanarak hatalı eşleşmeleri (aykırı değerler veya outliers olarak adlandırılır) kaldırır. İyi eşleşmeler tanımlandıktan sonra sistem, iki görüntüyü en iyi şekilde ilişkilendiren dönüşümü tahmin eder. Bu genellikle ölçekleme, döndürme ve kaydırma gibi değişimleri ayarlayan bir afin dönüşümü veya perspektif değişikliklerini de ele alabilen bir homografidir. Bu dönüşümleri kullanmak, sistemin görüntüleri biraz farklı bakış açılarından çekilmiş olsalar bile doğru bir şekilde hizalamasını sağlar.

Şekil 2. (a) Özellik noktası çıkarma ve (b) özellik eşleştirme. (Kaynak)

Link to this sectionGörüntü eşleştirmede yer alan temel teknikler#

Görüntü eşleştirmenin gerçek dünyadaki uygulamalarını keşfetmeden önce, bilgisayarlı görü sistemlerinde kullanılan görüntü eşleştirme tekniklerine daha yakından bakalım.

Link to this sectionŞablon eşleştirme (Template matching) tabanlı görüntü eşleştirme#

Şablon eşleştirme, en basit görüntü eşleştirme yöntemlerinden biridir. Doğrudan piksel karşılaştırmalarına dayandığı ve daha derin görsel özellikler çıkarmadığı için genellikle modern bir bilgisayarlı görü yöntemi yerine bir görüntü işleme tekniği olarak kabul edilir.

Daha büyük bir sahne içinde daha küçük bir referans görüntüsünü veya şablonu bulmak için kullanılır. Bir şablonu ana görüntü üzerinde kaydıran ve iki bölgenin ne kadar yakından eşleştiğini ölçmek için her konumda bir benzerlik puanı hesaplayan bir algoritma kullanarak çalışır. En yüksek puana sahip alan, nesnenin sahnede görünme olasılığının en yüksek olduğu yerdir ve en iyi eşleşme olarak kabul edilir.

Şekil 3. Şablon eşleştirmenin kullanımına bir bakış. (Kaynak)

Bu teknik, nesnenin ölçeği, dönüşü ve aydınlatması tutarlı kaldığında iyi çalışır, bu da onu kontrollü ortamlar veya temel karşılaştırmalar için iyi bir seçenek haline getirir. Ancak, nesne şablondan farklı göründüğünde (örneğin boyutu değiştiğinde, döndürüldüğünde, kısmen gizlendiğinde veya gürültülü ya da karmaşık bir arka plan üzerinde göründüğünde) performansı düşer.

Link to this sectionGörüntü eşleştirme için klasik özellik tabanlı teknikler#

Derin öğrenme yaygın olarak benimsenmeden önce, görüntü eşleştirme çoğunlukla görüntüdeki belirgin anahtar noktaları tespit eden klasik bilgisayarlı görü algoritmalarına dayanıyordu. Bu yöntemler her pikseli karşılaştırmak yerine, köşeleri, kenarları ve öne çıkan dokulu bölgeleri vurgulamak için görüntü gradyanlarını veya yoğunluk değişimlerini analiz eder.

Tespit edilen her anahtar nokta daha sonra tanımlayıcı (descriptor) adı verilen kompakt bir sayısal özet kullanılarak temsil edilir. İki görüntü karşılaştırılırken bir eşleştirici (matcher), en benzer çiftleri bulmak için bu tanımlayıcıları değerlendirir.

Güçlü bir benzerlik puanı genellikle aynı fiziksel noktanın her iki görüntüde de göründüğünü gösterir. Eşleştiriciler ayrıca özelliklerin ne kadar iyi hizalandığını değerlendirmek için belirli mesafe ölçümleri veya puanlama kuralları kullanır, bu da genel güvenilirliği artırır.

İşte görüntü eşleştirme için kullanılan temel klasik bilgisayarlı görü algoritmalarından bazıları:

• SIFT (Scale-Invariant Feature Transform): Görüntü yoğunluğu gradyanlarını analiz ederek anahtar noktaları tanımlar, böylece bir görüntü büyütüldüğünde, küçültüldüğünde veya döndürüldüğünde tanınabilir kalmalarını sağlar.

• SURF (Speeded-Up Robust Features): Bu algoritma SIFT'e benzer ancak hız için optimize edilmiştir. Gradyan tabanlı işlemlerin hızlı yaklaşımlarını kullanır, bu da onu hızlı yanıt süreleri gerektiren uygulamalar için uygun hale getirir.

• ORB (Oriented FAST and Rotated BRIEF): FAST ve BRIEF adlı iki algoritmayı bir araya getirir. FAST, bir görüntüdeki köşe benzeri noktaları hızla bulurken, BRIEF her noktanın kompakt bir tanımını oluşturur, böylece bunlar görüntüler arasında eşleştirilebilir. ORB ayrıca her iki adımı da döndürme yönetimi ekleyerek geliştirir, bu da onu hızlı ve güvenilir kılar.

Şekil 4. SURF özellik noktaları çıkarılmış ve iki görüntü arasında eşleştirilmiş. (Kaynak)

Link to this sectionDerin öğrenme tabanlı görüntü eşleştirme teknikleri#

Belirli kurallara dayanan klasik yöntemlerin aksine derin öğrenme, yapay zeka modellerinin desenleri öğrendiği büyük veri kümelerinden (görsel veri koleksiyonları) özellikleri otomatik olarak öğrenir. Bu modeller genellikle, büyük görüntü yığınlarını işlemek ve karmaşık sinir ağlarını verimli bir şekilde eğitmek için gereken yüksek hesaplama gücünü sağlayan GPU'larda (Grafik İşleme Birimleri) çalışır.

Bu, yapay zeka modellerine aydınlatma, kamera açıları ve gizlenmeler (occlusions) gibi gerçek dünya değişikliklerini ele alma yeteneği verir. Bazı modeller ayrıca tüm adımları tek bir iş akışında birleştirerek zorlu koşullarda sağlam performans sağlar.

İşte görüntü özelliği çıkarma ve eşleştirme için bazı derin öğrenme tabanlı yaklaşımlar:

• CNN tabanlı özellik çıkarma: Bu modeller büyük veri kümelerinden temel görsel desenleri otomatik olarak öğrenir. Değişmesi muhtemel olmayan özellikleri tanırlar, bu da onları farklı sahnelerdeki nesneleri eşleştirmek için güvenilir kılar.

• Gömme (Embedding) tabanlı eşleştirme: Bu yöntem, pikselleri doğrudan karşılaştırmak yerine görüntüleri gömmeler (embeddings) olarak bilinen kompakt sayısal temsiller haline getirir. Eşleştirici daha sonra benzer görselleri bulmak için bu gömmeleri karşılaştırır. Yüzleri tanımak ve karşılaştırmak için gömmeler üreten FaceNet gibi modeller ve görüntü arama ve anlamsal eşleştirme gibi görevler için görüntüleri ve metni ortak bir alana eşleyen CLIP, bu yaklaşımı takip eder.

• Uçtan uca eşleştirme hatları (End-to-end matching pipelines): En son derin öğrenme sistemleri genellikle anahtar nokta tespiti, tanımlama ve eşleştirmeyi birleşik bir iş akışında birleştirir. SuperPoint ve D2-Net gibi modeller, hem anahtar noktaları hem de tanımlayıcıları doğrudan CNN özellik haritalarından öğrenirken, SuperGlue bu tanımlayıcıları geleneksel yöntemlerden daha güvenilir bir şekilde eşleştiren öğrenilmiş bir eşleştirici görevi görür. Bu bileşenler birlikte, klasik özellik tabanlı yaklaşımlara göre zorlu koşullarda daha yüksek doğruluk ve daha fazla dayanıklılık sağlayan uçtan uca bir hat oluşturur.

• Transformer tabanlı eşleştirme: Bu yöntem, karşılık gelen bölgeleri iki görüntü arasında bağlamak için dikkat mekanizmaları (attention mechanisms) kullanır ve bakış açısı, aydınlatma veya doku değişiklikleri altında bile yamaları hizalamasını sağlar. LoFTR (Local Feature Transformer) gibi modeller, Transformer'ın küresel alıcı alanı sayesinde geleneksel dedektörlerin başarısız olduğu düşük dokulu, bulanık veya tekrarlayan alanlarda güvenilir eşleştirme sağladığı için çok daha yüksek doğruluk elde eder. LoFTR, yarı yoğun ve yüksek güvenli eşleşmeler üretir ve hem iç hem de dış mekan kıyaslamalarında önceki son teknoloji yöntemlerden çok daha iyi performans gösterir.

• Verimlilik odaklı modeller: Yeni görüntü eşleştirme modelleri, çalışırken yüksek doğruluk sağlamayı hedefler. LightGlue gibi modeller, sınırlı bilgi işlem gücüne sahip cihazlarda verimli bir şekilde çalışacak ve yine de iyi eşleştirme kalitesini koruyacak şekilde tasarlanmıştır.

Link to this sectionGörüntü eşleştirmenin gerçek dünyadaki uygulamaları#

Artık görüntü eşleştirmenin nasıl çalıştığına dair daha iyi bir anlayışa sahip olduğumuza göre, önemli bir rol oynadığı gerçek dünyadaki bazı uygulamalara bakalım.

Link to this sectionGörüntü eşleştirme ile desteklenen daha akıllı robotik#

Robotlar genellikle hangi nesnelerin mevcut olduğunu ve nasıl yerleştirildiklerini anlamaları gereken yoğun ve değişken ortamlarda çalışırlar. Görüntü eşleştirme, robotların nesneleri saklanan veya referans görüntülerle karşılaştırarak görmelerini sağlar. Bu, robotların nesneleri tanımasını, hareketlerini izlemesini ve aydınlatma veya kamera açıları değiştiğinde bile uyum sağlamasını kolaylaştırır.

Örneğin, bir depoda robotik bir topla-yerleştir sistemi (pick-and-place system) farklı öğeleri tanımlamak ve işlemek için görüntü eşleştirmeyi kullanabilir. Robot önce bir nesneyi alır, ardından onu tanımlamak için görüntüsünü referans örneklerle karşılaştırır.

Şekil 5. Bir robot, referans görüntüleri eşleştirerek nesneleri tanır ve alır. (Kaynak)

Eşleşme bulunduğunda, robot onu nasıl sıralayacağını veya doğru şekilde yerleştireceğini bilir. Bu yaklaşım, robotların tüm sistemi yeniden eğitmeden hem tanıdık hem de yeni nesneleri tanımasını sağlar. Ayrıca rafları düzenlemek, parçaları birleştirmek veya öğeleri yeniden düzenlemek gibi daha iyi gerçek zamanlı kararlar almalarına da yardımcı olur.

Link to this sectionDaha iyi görüntü eşleştirme ile 3D rekonstrüksiyonu iyileştirme#

İnsansız hava aracı haritalama, sanal gerçeklik ve bina denetimi gibi alanlarda sistemlerin genellikle birden fazla 2D görüntüden bir 3D model oluşturması gerekir. Bunu yapmak için, birkaç görüntüde görünen köşeler veya dokulu bölgeler gibi ortak anahtar noktaları tanımlamak için görüntü eşleştirmeye güvenirler.

Bu paylaşılan noktalar, sistemin görüntülerin 3D uzayda birbiriyle nasıl ilişkili olduğunu anlamasına yardımcı olur. Bu fikir, farklı açılardan çekilmiş görüntülerdeki anahtar noktaları tanımlayarak ve eşleştirerek 3D yapılar oluşturan bir teknik olan Structure from Motion (SfM) ile yakından ilişkilidir.

Eğer eşleştirme doğru değilse, elde edilen 3D model bozuk veya eksik görünebilir. Bu nedenle araştırmacılar, 3D rekonstrüksiyon için görüntü eşleştirmenin güvenilirliğini artırmak üzerinde çalışıyorlar ve son gelişmeler umut verici sonuçlar gösterdi.

İlginç bir örnek, daha hızlı ve daha dayanıklı bir görüntü eşleştirme algoritması olan HashMatch tir. HashMatch, görüntü ayrıntılarını hash kodları adı verilen kompakt desenlere dönüştürür, bu da aydınlatma veya bakış açıları değiştiğinde bile doğru eşleşmeleri tanımlamayı ve aykırı değerleri kaldırmayı kolaylaştırır.

Büyük ölçekli veri kümelerinde test edildiğinde HashMatch, daha az hizalama hatasıyla daha temiz ve daha gerçekçi 3D rekonstrüksiyon modelleri üretti. Bu, hassasiyetin kritik olduğu drone haritalama, AR sistemleri ve kültürel miras koruma gibi uygulamalar için onu özellikle yararlı kılar.

Link to this sectionGörüntü eşleştirmenin artırılmış gerçeklikteki rolü#

Konu artırılmış gerçeklik (AR) olduğunda, sanal nesneleri gerçek dünyayla hizalı tutmak genellikle bir zorluktur. Dış mekan ortamları, güneş ışığı ve hava durumu gibi çevresel koşullara bağlı olarak sürekli değişebilir. Gerçek dünyadaki küçük farklılıklar, sanal öğelerin kararsız veya biraz yanlış yerde görünmesine neden olabilir.

Bu sorunu çözmek için AR sistemleri çevrelerini yorumlamak için görüntü eşleştirmeyi kullanır. Canlı kamera karelerini saklanan referans görüntülerle karşılaştırarak kullanıcının nerede olduğunu ve sahnenin nasıl değiştiğini anlayabilirler.

Şekil 6. İki görüntü arasında eşleşen özellik noktaları. (Kaynak: theijes.com)

Örneğin, XR (Genişletilmiş Gerçeklik) gözlükleriyle yapılan askeri tarzda dış mekan AR eğitimi içeren bir çalışmada araştırmacılar, gerçek ve referans görüntüler arasındaki görsel ayrıntıları eşleştirmek için SIFT ve diğer özellik tabanlı yöntemleri kullandılar. Doğru eşleşmeler, kullanıcı hızla hareket etse veya aydınlatma değişse bile sanal öğeleri gerçek dünyayla doğru bir şekilde hizalı tuttu.

Link to this sectionÖne çıkanlar#

Görüntü eşleştirme, sistemlerin farklı görüntülerin birbiriyle nasıl ilişkili olduğunu veya bir sahnenin zaman içinde nasıl değiştiğini anlamasını sağlayan bilgisayarlı görünün temel bir bileşenidir. Robotik, artırılmış gerçeklik, 3D rekonstrüksiyon, otonom navigasyon ve hassasiyet ile kararlılığın şart olduğu diğer birçok gerçek dünya uygulamasında kritik bir rol oynar.

SuperPoint ve LoFTR gibi gelişmiş yapay zeka modelleriyle günümüz sistemleri, önceki yöntemlerden çok daha dayanıklı hale geliyor. Makine öğrenimi teknikleri, özel görme modülleri, sinir ağları ve veri kümeleri gelişmeye devam ettikçe, görüntü eşleştirmenin muhtemelen daha hızlı, daha doğru ve daha uyarlanabilir hale gelmesi bekleniyor.

Büyüyen topluluğumuza katıl ve uygulamalı yapay zeka kaynakları için GitHub depomuzu keşfet. Vision AI ile bugün geliştirme yapmak için lisanslama seçeneklerimizi incele. Tarımda yapay zekanın çiftçiliği nasıl dönüştürdüğünü ve sağlık hizmetlerinde Vision AI'ın geleceği nasıl şekillendirdiğini öğrenmek için çözüm sayfalarımızı ziyaret et.