Görsel yapay zekada görüntü eşleştirme nedir? Hızlı bir giriş

Aynı nesnenin iki resmine, örneğin bir resim tablosuna ve bir arabanın fotoğrafına baktığında, ortak noktalarını fark etmen kolaydır. Ancak makineler için bu durum o kadar basit değildir.

Bu tür karşılaştırmaları yapmak için makineler, görsel bilgileri yorumlamalarına ve anlamalarına yardımcı olan computer vision'a, yani artificial intelligence (AI) dalına güvenir. Computer vision; sistemlerin nesneleri tespit etmesini, sahneleri anlamasını ve görüntülerden veya videolardan kalıplar çıkarmasını sağlar.

Özellikle bazı görsel görevler tek bir görüntüyü analiz etmenin ötesine geçer. Bu görevler, benzerlikleri bulmak, farkları tespit etmek veya zaman içindeki değişimleri takip etmek için görüntülerin karşılaştırılmasını içerir.

Vision AI geniş bir teknik yelpazesini kapsar ve görüntü eşleştirme olarak bilinen temel bir yetenek, aydınlatma, açılar veya arka planlar değiştiğinde bile görüntüler arasındaki benzerlikleri belirlemeye odaklanır. Bu teknik; robotik, artırılmış gerçeklik ve coğrafi haritalama dahil olmak üzere çeşitli uygulamalarda kullanılabilir.

Bu makalede görüntü eşleştirmenin ne olduğunu, temel tekniklerini ve gerçek dünyadaki bazı uygulamalarını inceleyeceğiz. Hadi başlayalım!

Görüntü eşleştirme nedir?#

Görüntü eşleştirme, bir bilgisayar sisteminin iki görüntünün benzer içerik taşıyıp taşımadığını anlamasını mümkün kılar. İnsanlar bunu şekilleri, renkleri ve desenleri fark ederek sezgisel olarak yapabilirler.

Bilgisayarlar ise sayısal verilere güvenirler. Görüntüleri, dijital bir görüntünün en küçük birimi olan her bir pikseli inceleyerek analiz ederler.

Her görüntü bir piksel ızgarası olarak saklanır ve her piksel tipik olarak kırmızı, yeşil ve mavi (RGB) için değerler tutar. Bu değerler görüntü döndürüldüğünde, yeniden boyutlandırıldığında, farklı bir açıdan görüntülendiğinde veya farklı ışık koşullarında çekildiğinde değişebilir. Bu değişkenlikler nedeniyle, görüntüleri piksel piksel karşılaştırmak genellikle güvenilmezdir.

Karşılaştırmaları daha tutarlı hale getirmek için görüntü eşleştirme, görüntü hafifçe değiştiğinde bile sabit kalma eğiliminde olan yerel özelliklere veya köşelere, kenarlara ve dokulu bölgelere odaklanır. Birden fazla görüntüdeki bu özellikleri veya anahtar noktaları (keypoints) tespit ederek bir sistem bunları çok daha yüksek doğrulukla karşılaştırabilir.

Bu süreç; navigasyon, konum belirleme, artırılmış gerçeklik, haritalama, 3D rekonstrüksiyon ve görsel arama gibi kullanım durumlarında yaygın olarak kullanılır. Sistemler, farklı görüntüler veya birden fazla kare boyunca aynı noktaları tanımladıklarında hareketi izleyebilir, sahne yapısını anlayabilir ve dinamik ortamlarda güvenilir kararlar alabilirler.

Şekil 1. Benzer anahtar noktaların tespit edildiği araç görseli eşleştirmesi örneği. (Kaynak)

Görüntü eşleştirmenin nasıl çalıştığını anlamak#

Görüntü eşleştirme, sistemlerin görüntüler içindeki benzer bölgeleri tanımlamasına ve karşılaştırmasına yardımcı olan birkaç temel adımı içerir. Her adım, farklı koşullar altında doğruluğu, tutarlılığı ve dayanıklılığı artırır.

İşte görüntü eşleştirmenin nasıl çalıştığına dair adım adım bir bakış:

• Özellik tespiti (Feature detection): Sistem önce görüntüde aydınlatma, ölçek veya bakış açısı değiştiğinde bile sabit kalan belirgin anahtar noktaları tanımlar. Görsel olarak öne çıkan köşeler, kenarlar veya dokulu bölgeler gibi alanları vurgularlar.
• Özellik tanımlama (Feature description): Her anahtar nokta daha sonra, o nokta etrafındaki görsel deseni yakalayan kompakt bir sayısal vektör olan bir tanımlayıcıya (descriptor) dönüştürülür. Bu tanımlayıcılar, farklı görüntülerdeki özellikleri karşılaştırmak için güvenilir bir yol sağlar.
• Özellik eşleştirme (Feature matching): İki görüntüden gelen tanımlayıcılar, ne kadar benzer olduklarını hesaplayan eşleştirme algoritmaları kullanılarak karşılaştırılır. Bu adım, birbirine karşılık gelen anahtar noktalarını eşleştirir ve daha zayıf veya güvenilmez eşleşmeleri filtreler.
• Geometrik doğrulama: Son olarak sistem, eşleşen anahtar noktaların gerçekçi bir geometrik ilişki oluşturup oluşturmadığını kontrol eder. Sadece güvenilir nokta çiftlerinin tutulmasını sağlayan RANSAC (Random Sample Consensus) adlı bir yöntem kullanarak hatalı eşleşmeleri (aykırı değerler veya outliers olarak adlandırılır) kaldırır. İyi eşleşmeler tanımlandıktan sonra sistem, iki görüntüyü en iyi şekilde ilişkilendiren dönüşümü tahmin eder. Bu genellikle ölçekleme, döndürme ve kaydırma gibi değişimleri ayarlayan bir afin dönüşümü veya perspektif değişikliklerini de ele alabilen bir homografidir. Bu dönüşümleri kullanmak, sistemin görüntüleri biraz farklı bakış açılarından çekilmiş olsalar bile doğru bir şekilde hizalamasını sağlar.

Şekil 2. (a) Öznitelik noktası çıkarma ve (b) öznitelik eşleştirme. (Kaynak)

Görüntü eşleştirmede yer alan temel teknikler#

Görüntü eşleştirmenin gerçek dünyadaki uygulamalarını keşfetmeden önce, bilgisayarlı görü sistemlerinde kullanılan görüntü eşleştirme tekniklerine daha yakından bakalım.

Şablon eşleştirme (Template matching) tabanlı görüntü eşleştirme#

Şablon eşleştirme, en basit görsel eşleştirme yöntemlerinden biridir. Doğrudan piksel karşılaştırmalarına dayandığı ve daha derin görsel öznitelikler çıkaramadığı için modern bir computer vision yönteminden ziyade genellikle bir image-processing tekniği olarak kabul edilir.

Daha büyük bir sahne içinde daha küçük bir referans görüntüsünü veya şablonu bulmak için kullanılır. Bir şablonu ana görüntü üzerinde kaydıran ve iki bölgenin ne kadar yakından eşleştiğini ölçmek için her konumda bir benzerlik puanı hesaplayan bir algoritma kullanarak çalışır. En yüksek puana sahip alan, nesnenin sahnede görünme olasılığının en yüksek olduğu yerdir ve en iyi eşleşme olarak kabul edilir.

Şekil 3. Şablon eşleştirmenin kullanımına bir bakış. (Kaynak)

Bu teknik, nesnenin ölçeği, dönüşü ve aydınlatması tutarlı kaldığında iyi çalışır, bu da onu kontrollü ortamlar veya temel karşılaştırmalar için iyi bir seçenek haline getirir. Ancak, nesne şablondan farklı göründüğünde (örneğin boyutu değiştiğinde, döndürüldüğünde, kısmen gizlendiğinde veya gürültülü ya da karmaşık bir arka plan üzerinde göründüğünde) performansı düşer.

Görüntü eşleştirme için klasik özellik tabanlı teknikler#

deep learning yaygın olarak benimsenmeden önce görsel eşleştirme çoğunlukla bir görseldeki belirgin anahtar noktaları tespit eden klasik computer vision algoritmalarına dayanıyordu. Her bir pikseli karşılaştırmak yerine bu yöntemler; öne çıkan köşeleri, kenarları ve dokulu bölgeleri vurgulamak için görsel gradyanlarını veya yoğunluk değişikliklerini analiz eder.

Tespit edilen her anahtar nokta daha sonra tanımlayıcı (descriptor) adı verilen kompakt bir sayısal özet kullanılarak temsil edilir. İki görüntü karşılaştırılırken bir eşleştirici (matcher), en benzer çiftleri bulmak için bu tanımlayıcıları değerlendirir.

Güçlü bir benzerlik puanı genellikle aynı fiziksel noktanın her iki görüntüde de göründüğünü gösterir. Eşleştiriciler ayrıca özelliklerin ne kadar iyi hizalandığını değerlendirmek için belirli mesafe ölçümleri veya puanlama kuralları kullanır, bu da genel güvenilirliği artırır.

İşte görüntü eşleştirme için kullanılan temel klasik bilgisayarlı görü algoritmalarından bazıları:

• SIFT (Scale-Invariant Feature Transform): Görsel yoğunluk gradyanlarını analiz ederek anahtar noktaları tespit eder, böylece bir görsel büyütüldüğünde, küçültüldüğünde veya döndürüldüğünde bu noktaların tanınabilir kalmasını sağlar.

• SURF (Speeded-Up Robust Features): Bu algoritma SIFT'e benzer ancak hız için optimize edilmiştir. Gradyan tabanlı işlemlerin hızlı yaklaşımlarını kullanır, bu da onu hızlı yanıt süreleri gerektiren uygulamalar için uygun hale getirir.

• ORB (Oriented FAST and Rotated BRIEF): FAST ve BRIEF adlı iki algoritmayı bir araya getirir. FAST, bir görüntüdeki köşe benzeri noktaları hızla bulurken, BRIEF her noktanın kompakt bir tanımını oluşturur, böylece bunlar görüntüler arasında eşleştirilebilir. ORB ayrıca her iki adımı da döndürme yönetimi ekleyerek geliştirir, bu da onu hızlı ve güvenilir kılar.

Şekil 4. İki görsel arasında çıkarılmış ve eşleştirilmiş SURF öznitelik noktaları. (Kaynak)

Derin öğrenme tabanlı görüntü eşleştirme teknikleri#

Belirli kurallara dayanan klasik yöntemlerin aksine derin öğrenme, yapay zeka modellerinin desenleri öğrendiği büyük veri kümelerinden (görsel veri koleksiyonları) özellikleri otomatik olarak öğrenir. Bu modeller genellikle, büyük görüntü yığınlarını işlemek ve karmaşık sinir ağlarını verimli bir şekilde eğitmek için gereken yüksek hesaplama gücünü sağlayan GPU'larda (Grafik İşleme Birimleri) çalışır.

Bu, yapay zeka modellerine aydınlatma, kamera açıları ve gizlenmeler (occlusions) gibi gerçek dünya değişikliklerini ele alma yeteneği verir. Bazı modeller ayrıca tüm adımları tek bir iş akışında birleştirerek zorlu koşullarda sağlam performans sağlar.

İşte görüntü özelliği çıkarma ve eşleştirme için bazı derin öğrenme tabanlı yaklaşımlar:

• CNN tabanlı özellik çıkarma: Bu modeller büyük veri kümelerinden temel görsel desenleri otomatik olarak öğrenir. Değişmesi muhtemel olmayan özellikleri tanırlar, bu da onları farklı sahnelerdeki nesneleri eşleştirmek için güvenilir kılar.

• Gömme (Embedding) tabanlı eşleştirme: Bu yöntem, pikselleri doğrudan karşılaştırmak yerine görüntüleri gömmeler (embeddings) olarak bilinen kompakt sayısal temsiller haline getirir. Eşleştirici daha sonra benzer görselleri bulmak için bu gömmeleri karşılaştırır. Yüzleri tanımak ve karşılaştırmak için gömmeler üreten FaceNet gibi modeller ve görüntü arama ve anlamsal eşleştirme gibi görevler için görüntüleri ve metni ortak bir alana eşleyen CLIP, bu yaklaşımı takip eder.

• Uçtan uca eşleştirme hatları (End-to-end matching pipelines): En son derin öğrenme sistemleri genellikle anahtar nokta tespiti, tanımlama ve eşleştirmeyi birleşik bir iş akışında birleştirir. SuperPoint ve D2-Net gibi modeller, hem anahtar noktaları hem de tanımlayıcıları doğrudan CNN özellik haritalarından öğrenirken, SuperGlue bu tanımlayıcıları geleneksel yöntemlerden daha güvenilir bir şekilde eşleştiren öğrenilmiş bir eşleştirici görevi görür. Bu bileşenler birlikte, klasik özellik tabanlı yaklaşımlara göre zorlu koşullarda daha yüksek doğruluk ve daha fazla dayanıklılık sağlayan uçtan uca bir hat oluşturur.

• Transformer tabanlı eşleştirme: Bu yöntem, karşılık gelen bölgeleri iki görüntü arasında bağlamak için dikkat mekanizmaları (attention mechanisms) kullanır ve bakış açısı, aydınlatma veya doku değişiklikleri altında bile yamaları hizalamasını sağlar. LoFTR (Local Feature Transformer) gibi modeller, Transformer'ın küresel alıcı alanı sayesinde geleneksel dedektörlerin başarısız olduğu düşük dokulu, bulanık veya tekrarlayan alanlarda güvenilir eşleştirme sağladığı için çok daha yüksek doğruluk elde eder. LoFTR, yarı yoğun ve yüksek güvenli eşleşmeler üretir ve hem iç hem de dış mekan kıyaslamalarında önceki son teknoloji yöntemlerden çok daha iyi performans gösterir.

• Verimlilik odaklı modeller: Yeni görüntü eşleştirme modelleri, çalışırken yüksek doğruluk sağlamayı hedefler. LightGlue gibi modeller, sınırlı bilgi işlem gücüne sahip cihazlarda verimli bir şekilde çalışacak ve yine de iyi eşleştirme kalitesini koruyacak şekilde tasarlanmıştır.

Görüntü eşleştirmenin gerçek dünyadaki uygulamaları#

Artık görüntü eşleştirmenin nasıl çalıştığına dair daha iyi bir anlayışa sahip olduğumuza göre, önemli bir rol oynadığı gerçek dünyadaki bazı uygulamalara bakalım.

Görüntü eşleştirme ile desteklenen daha akıllı robotik#

Robots genellikle hangi nesnelerin mevcut olduğunu ve nasıl konumlandırıldıklarını anlamaları gereken yoğun ve değişken ortamlarda çalışır. Görsel eşleştirme, robotların gördükleri nesneleri saklanan veya referans görsellerle karşılaştırarak anlamalarına yardımcı olabilir. Bu, söz konusu robotların nesneleri tanınmasını, hareketlerini takip etmesini ve aydınlatma ya da kamera açıları değiştiğinde bile uyum sağlamasını kolaylaştırır.

Örneğin bir depoda, robotik pick-and-place system farklı ürünleri tanımlamak ve ele almak için görsel eşleştirmeyi kullanabilir. Robot önce bir nesneyi yakalar, ardından nesneyi tanımlamak için görselini referans örneklerle karşılaştırır.

Şekil 5. Bir robot, nesneleri referans görsellerle eşleştirerek tanır ve alır. (Kaynak)

Eşleşme bulunduğunda, robot onu nasıl sıralayacağını veya doğru şekilde yerleştireceğini bilir. Bu yaklaşım, robotların tüm sistemi yeniden eğitmeden hem tanıdık hem de yeni nesneleri tanımasını sağlar. Ayrıca rafları düzenlemek, parçaları birleştirmek veya öğeleri yeniden düzenlemek gibi daha iyi gerçek zamanlı kararlar almalarına da yardımcı olur.

Daha iyi görüntü eşleştirme ile 3D rekonstrüksiyonu iyileştirme#

İnsansız hava aracı haritalama, sanal gerçeklik ve bina denetimi gibi alanlarda sistemlerin genellikle birden fazla 2D görüntüden bir 3D model oluşturması gerekir. Bunu yapmak için, birkaç görüntüde görünen köşeler veya dokulu bölgeler gibi ortak anahtar noktaları tanımlamak için görüntü eşleştirmeye güvenirler.

Bu paylaşılan noktalar, sistemin görüntülerin 3D uzayda birbiriyle nasıl ilişkili olduğunu anlamasına yardımcı olur. Bu fikir, farklı açılardan çekilmiş görüntülerdeki anahtar noktaları tanımlayarak ve eşleştirerek 3D yapılar oluşturan bir teknik olan Structure from Motion (SfM) ile yakından ilişkilidir.

Eğer eşleştirme doğru değilse, elde edilen 3D model bozuk veya eksik görünebilir. Bu nedenle araştırmacılar, 3D rekonstrüksiyon için görüntü eşleştirmenin güvenilirliğini artırmak üzerinde çalışıyorlar ve son gelişmeler umut verici sonuçlar gösterdi.

İlginç bir örnek, daha hızlı ve daha dayanıklı bir görsel eşleştirme algoritması olan HashMatch'tır. HashMatch, görsel detaylarını hash kodları adı verilen kompakt kalıplara dönüştürür; bu da aydınlatma veya bakış açıları farklılık gösterse bile doğru eşleşmeleri tanımlamayı ve uç değerleri kaldırmayı kolaylaştırır.

Büyük ölçekli veri kümelerinde test edildiğinde HashMatch, daha az hizalama hatasıyla daha temiz ve daha gerçekçi 3D rekonstrüksiyon modelleri üretti. Bu, hassasiyetin kritik olduğu drone haritalama, AR sistemleri ve kültürel miras koruma gibi uygulamalar için onu özellikle yararlı kılar.

Görüntü eşleştirmenin artırılmış gerçeklikteki rolü#

augmented reality (AR) söz konusu olduğunda, sanal nesneleri gerçek dünya ile aynı hizada tutmak genellikle bir zorluktur. Dış ortamlar güneş ışığı ve hava durumu gibi çevresel koşullara bağlı olarak sürekli değişebilir. Gerçek dünyadaki küçük farklar, sanal öğelerin kararsız veya hafifçe yanlış konumlanmış görünmesine neden olabilir.

Bu sorunu çözmek için AR sistemleri çevrelerini yorumlamak için görüntü eşleştirmeyi kullanır. Canlı kamera karelerini saklanan referans görüntülerle karşılaştırarak kullanıcının nerede olduğunu ve sahnenin nasıl değiştiğini anlayabilirler.

Şekil 6. İki görüntü arasında eşleşen özellik noktaları. (Kaynak: theijes.com)

Örneğin, askeri tarzda XR (Genişletilmiş Gerçeklik) gözlükleriyle yapılan outdoor AR training içeren bir çalışmada araştırmacılar, gerçek ve referans görseller arasındaki görsel detayları eşleştirmek için SIFT ve diğer öznitelik tabanlı yöntemleri kullandılar. Doğru eşleşmeler, kullanıcı hızlı hareket ettiğinde veya aydınlatma değiştiğinde bile sanal öğelerin gerçek dünyayla doğru bir şekilde aynı hizada kalmasını sağladı.

Öne çıkanlar#

Görüntü eşleştirme, sistemlerin farklı görüntülerin birbiriyle nasıl ilişkili olduğunu veya bir sahnenin zaman içinde nasıl değiştiğini anlamasını sağlayan bilgisayarlı görünün temel bir bileşenidir. Robotik, artırılmış gerçeklik, 3D rekonstrüksiyon, otonom navigasyon ve hassasiyet ile kararlılığın şart olduğu diğer birçok gerçek dünya uygulamasında kritik bir rol oynar.

SuperPoint ve LoFTR gibi gelişmiş yapay zeka modelleriyle günümüz sistemleri, önceki yöntemlerden çok daha dayanıklı hale geliyor. Makine öğrenimi teknikleri, özel görme modülleri, sinir ağları ve veri kümeleri gelişmeye devam ettikçe, görüntü eşleştirmenin muhtemelen daha hızlı, daha doğru ve daha uyarlanabilir hale gelmesi bekleniyor.

Büyüyen community'imize katıl ve uygulamalı yapay zeka kaynakları için GitHub repository'umuzu keşfet. Vizyon yapay zekası ile bugün geliştirmeye başlamak için licensing options'ımızı incele. Çözüm sayfalarımızı ziyaret ederek AI in agriculture alanındaki gelişmelerin tarımı nasıl dönüştürdüğünü ve Vision AI in healthcare alanının geleceği nasıl şekillendirdiğini öğren.