Görüntü yapay zekâsında görüntü eşleştirme nedir? Kısa bir tanıtım

Aynı nesnenin iki resmine, örneğin bir arabanın tablosuna ve fotoğrafına baktığında ortak noktaları fark etmek kolaydır. Ancak makineler için bu o kadar kolay değildir.

Bu tür karşılaştırmaları yapmak için makineler, görsel bilgileri yorumlamalarına ve anlamalarına yardımcı olan yapay zekânın (AI) bir dalı olan bilgisayarlı görüye dayanır. Bilgisayarlı görü, sistemlerin nesneleri tespit etmesini, sahneleri anlamasını ve görüntülerden veya videolardan örüntüler çıkarmasını sağlar.

Özellikle bazı görsel görevler tek bir görüntüyü analiz etmenin ötesine geçer. Benzerlikleri bulmak, farklılıkları belirlemek veya zaman içindeki değişiklikleri takip etmek için görüntüleri karşılaştırmayı içerir.

Görsel Yapay Zekâ, geniş bir teknik yelpazesini kapsar. Temel yeteneklerden biri olan görüntü eşleştirme; ışık, açı veya arka plan farklı olsa bile görüntüler arasındaki benzerlikleri belirlemeye odaklanır. Bu teknik robotik, artırılmış gerçeklik ve coğrafi haritalama gibi çeşitli uygulamalarda kullanılabilir.

Bu makalede görüntü eşleştirmenin ne olduğunu, temel tekniklerini ve gerçek dünyadaki bazı uygulamalarını inceleyeceğiz.

Görüntü eşleştirme nedir?#

Görüntü eşleştirme, bir bilgisayar sisteminin iki görüntünün benzer içerik taşıyıp taşımadığını anlamasını sağlar. İnsanlar bunu şekilleri, renkleri ve örüntüleri fark ederek sezgisel biçimde yapabilir.

Bilgisayarlar ise sayısal verilere dayanır. Bir dijital görüntünün en küçük birimi olan her pikseli inceleyerek görüntüleri analiz ederler.

Her görüntü piksellerden oluşan bir ızgara olarak saklanır ve her piksel genellikle kırmızı, yeşil ve mavi (RGB) değerlerini içerir. Görüntü döndürüldüğünde, yeniden boyutlandırıldığında, farklı bir açıdan görüntülendiğinde veya farklı ışık koşullarında çekildiğinde bu değerler değişebilir. Bu farklılıklar nedeniyle görüntüleri piksel piksel karşılaştırmak çoğu zaman güvenilir değildir.

Karşılaştırmaları daha tutarlı hâle getirmek için görüntü eşleştirme, görüntü biraz değişse bile genellikle sabit kalan köşeler, kenarlar ve dokulu bölgeler gibi yerel özelliklere odaklanır. Sistem, birden fazla görüntüde bu özellikleri veya kilit noktaları tespit ederek görüntüleri çok daha yüksek doğrulukla karşılaştırabilir.

Bu süreç; navigasyon, konum belirleme, artırılmış gerçeklik, haritalama, 3B yeniden yapılandırma ve görsel arama gibi kullanım alanlarında yaygın olarak kullanılır. Sistemler farklı görüntülerde veya birden fazla karede aynı noktaları belirlediklerinde hareketi takip edebilir, sahne yapısını anlayabilir ve dinamik ortamlarda güvenilir kararlar alabilir.

Şekil 1. Benzer kilit noktaların belirlendiği araba görüntüsü eşleştirmesine bir örnek. (Kaynak)

Görüntü eşleştirmenin nasıl çalıştığını anlama#

Görüntü eşleştirme, sistemlerin görüntülerdeki benzer bölgeleri belirlemesine ve karşılaştırmasına yardımcı olan birkaç temel adımdan oluşur. Her adım farklı koşullarda doğruluğu, tutarlılığı ve sağlamlığı artırır.

Görüntü eşleştirmenin nasıl çalıştığına adım adım bakalım:

• Özellik tespiti: Sistem önce, ışıklandırma, ölçek veya görüş açısı değişse bile tanınabilir kalan ayırt edici kilit noktaları görüntüde belirler. Bu noktalar, görsel açıdan öne çıkan köşeler, kenarlar veya dokulu bölgeler gibi alanları vurgular.
• Özellik tanımlama: Ardından her kilit nokta, o noktanın çevresindeki görsel örüntüyü yakalayan kompakt bir sayısal vektör olan tanımlayıcıya dönüştürülür. Bu tanımlayıcılar, farklı görüntülerdeki özellikleri karşılaştırmak için güvenilir bir yöntem sunar.
• Özellik eşleştirme: İki görüntünün tanımlayıcıları, ne kadar benzer olduklarını hesaplayan eşleştirme algoritmaları kullanılarak karşılaştırılır. Bu adım, birbiriyle eşleştiği düşünülen kilit noktaları çiftler hâlinde eşleştirir ve zayıf veya güvenilmez eşleşmeleri eler.
• Geometrik doğrulama: Son olarak sistem, eşleşen kilit noktaların gerçekçi bir geometrik ilişki oluşturup oluşturmadığını kontrol eder. Yalnızca güvenilir nokta çiftlerinin kalmasını sağlayan RANSAC (Rastgele Örnek Uzlaşması) yöntemiyle hatalı eşleşmeleri (aykırı değerler olarak adlandırılır) eler. İyi eşleşmeler belirlendikten sonra sistem, iki görüntü arasındaki ilişkiyi en iyi şekilde açıklayan dönüşümü tahmin eder. Bu dönüşüm çoğunlukla ölçekleme, döndürme ve kaydırma gibi değişiklikleri düzelten bir afin dönüşüm ya da perspektif değişikliklerini de ele alabilen bir homografidir. Bu dönüşümlerin kullanılması, görüntüler biraz farklı açılardan çekilmiş olsa bile sistemin görüntüleri doğru biçimde hizalamasını sağlar.

Şekil 2. (a) Özellik noktalarının çıkarılması ve (b) özellik eşleştirme. (Kaynak)

Görüntü eşleştirmede kullanılan temel teknikler#

Görüntü eşleştirmenin gerçek dünyadaki uygulamalarını incelemeden önce, bilgisayarlı görü sistemlerinde kullanılan görüntü eşleştirme tekniklerine yakından bakalım.

Şablon eşleştirmeye dayalı görüntü eşleştirme#

Şablon eşleştirme, en basit görüntü eşleştirme yöntemlerinden biridir. Doğrudan piksel karşılaştırmalarına dayandığı ve daha derin görsel özellikleri çıkarmadığı için genellikle modern bir bilgisayarlı görü yöntemi değil, bir görüntü işleme tekniği olarak kabul edilir.

Daha büyük bir sahne içinde daha küçük bir referans görüntüyü veya şablonu bulmak için kullanılır. Bir algoritma, şablonu ana görüntü üzerinde kaydırır ve iki bölgenin ne kadar yakından eşleştiğini ölçmek için her konumda bir benzerlik puanı hesaplar. En yüksek puana sahip alan en iyi eşleşme olarak kabul edilir ve nesnenin sahnede en olası konumunu gösterir.

Şekil 3. Şablon eşleştirme kullanımına bir bakış. (Kaynak)

Nesnenin ölçeği, dönüşü ve aydınlatması tutarlı kaldığında bu teknik iyi sonuç verir; bu da onu kontrollü ortamlar veya temel karşılaştırmalar için uygun bir seçenek hâline getirir. Ancak nesne şablondan farklı göründüğünde; örneğin boyutu değiştiğinde, döndürüldüğünde, kısmen örtüldüğünde ya da gürültülü veya karmaşık bir arka planda yer aldığında performansı düşer.

Görüntü eşleştirmede klasik özellik tabanlı teknikler#

Derin öğrenme yaygın biçimde benimsenmeden önce, görüntü eşleştirme çoğunlukla bir görüntüdeki ayırt edici anahtar noktaları tespit eden klasik bilgisayarlı görü algoritmalarına dayanıyordu. Bu yöntemler her pikseli karşılaştırmak yerine, öne çıkan köşeleri, kenarları ve dokulu bölgeleri belirlemek için görüntü gradyanlarını, yani yoğunluk değişimlerini analiz eder.

Tespit edilen her anahtar nokta, tanımlayıcı adı verilen kompakt bir sayısal özetle temsil edilir. İki görüntüyü karşılaştırırken eşleştirici, en benzer çiftleri bulmak için bu tanımlayıcıları değerlendirir.

Yüksek bir benzerlik puanı genellikle her iki görüntüde de aynı fiziksel noktanın bulunduğunu gösterir. Eşleştiriciler ayrıca özelliklerin ne kadar iyi örtüştüğünü değerlendirmek ve genel güvenilirliği artırmak için belirli uzaklık ölçütleri veya puanlama kuralları kullanır.

Görüntü eşleştirmede kullanılan başlıca klasik bilgisayarlı görü algoritmalarından bazıları şunlardır:

• SIFT (Ölçekten Bağımsız Özellik Dönüşümü): Görüntü yoğunluğu gradyanlarını analiz ederek anahtar noktaları belirler; böylece görüntü büyütüldüğünde, küçültüldüğünde veya döndürüldüğünde bu noktalar tanınabilir kalır.
• SURF (Hızlandırılmış Sağlam Özellikler): Bu algoritma SIFT'e benzer, ancak hız için optimize edilmiştir. Gradyan tabanlı işlemlerin hızlı yaklaşık hesaplamalarını kullanır ve bu sayede hızlı yanıt süresi gerektiren uygulamalara uygundur.
• ORB (Yönlendirilmiş FAST ve Döndürülmüş BRIEF): FAST ve BRIEF adlı iki algoritmayı bir araya getirir. FAST, görüntüde köşeye benzeyen noktaları hızla bulurken BRIEF, bu noktaların görüntüler arasında eşleştirilebilmesi için her birinin kompakt bir tanımını oluşturur. ORB ayrıca dönüşü hesaba katarak her iki adımı da geliştirir; böylece hızlı ve güvenilir sonuçlar verir.

Şekil 4. İki görüntüden çıkarılıp eşleştirilen SURF özellik noktaları. (Kaynak)

Görüntü eşleştirmede derin öğrenme tabanlı teknikler#

Belirli kurallara dayanan klasik yöntemlerin aksine derin öğrenme, AI modellerinin örüntüleri öğrendiği görsel verilerden oluşan büyük veri kümelerinden özellikleri otomatik olarak öğrenir. Bu modeller genellikle büyük görüntü gruplarını işlemek ve karmaşık sinir ağlarını verimli biçimde eğitmek için gereken yüksek hesaplama gücünü sağlayan GPU'larda (Grafik İşlem Birimleri) çalışır.

Bu sayede AI modelleri aydınlatma, kamera açıları ve örtülme gibi gerçek dünyadaki değişikliklerle başa çıkabilir. Bazı modeller, tüm adımları tek bir iş akışında birleştirerek zorlu koşullarda da sağlam performans sunar.

Görüntü özelliklerini çıkarmak ve eşleştirmek için kullanılan bazı derin öğrenme yaklaşımları şunlardır:

• CNN tabanlı özellik çıkarımı: Bu modeller, büyük veri kümelerinden önemli görsel örüntüleri otomatik olarak öğrenir. Değişme olasılığı düşük özellikleri tanıdıkları için nesneleri farklı sahnelerde eşleştirmede güvenilirdirler.
• Gömme tabanlı eşleştirme: Bu yöntem, pikselleri doğrudan karşılaştırmak yerine görüntüleri gömme adı verilen kompakt sayısal temsillere dönüştürür. Ardından eşleştirici, benzer görselleri bulmak için bu gömmeleri karşılaştırır. Yüzleri tanımak ve karşılaştırmak için gömmeler oluşturan FaceNet ve görüntüleri ve metinleri görüntü arama ve anlamsal eşleştirme gibi görevlerde kullanılmak üzere ortak bir uzaya eşleyen CLIP gibi modeller bu yaklaşımı izler.
• Uçtan uca eşleştirme işlem hatları: Modern derin öğrenme sistemleri genellikle kilit nokta tespiti, tanımlama ve eşleştirmeyi birleşik bir iş akışında bir araya getirir. SuperPoint ve D2-Net gibi modeller hem kilit noktaları hem de tanımlayıcıları doğrudan CNN özellik haritalarından öğrenirken SuperGlue, bu tanımlayıcıları geleneksel yöntemlerden daha güvenilir biçimde eşleştiren öğrenilmiş bir eşleştirici olarak çalışır. Bu bileşenler birlikte, zorlu koşullarda klasik özellik tabanlı yaklaşımlardan daha yüksek doğruluk ve dayanıklılık sunan uçtan uca bir işlem hattı oluşturur.
• Transformer tabanlı eşleştirme: Bu yöntem, iki görüntüdeki karşılık gelen bölgeleri ilişkilendirmek için dikkat mekanizmalarını kullanır ve güçlü bakış açısı, aydınlatma veya doku değişikliklerinde bile yamaları hizalayabilir. LoFTR (Yerel Özellik Transformer'ı) gibi modeller çok daha yüksek doğruluk sağlar; çünkü Transformer'ın küresel alıcı alanı, geleneksel detektörlerin başarısız olduğu düşük dokulu, bulanık veya tekrarlı bölgelerde güvenilir eşleştirmeye olanak tanır. LoFTR, yarı yoğun ve yüksek güvenli eşleşmeler üretir; hem iç hem de dış mekân kıyaslamalarında önceki en iyi yöntemleri büyük farkla geride bırakır.
• Verimliliğe odaklanan modeller: Yeni görüntü eşleştirme modelleri, daha hızlı çalışırken yüksek doğruluk sunmayı hedefler. LightGlue gibi modeller, eşleştirme kalitesini korurken sınırlı hesaplama gücüne sahip cihazlarda verimli çalışacak şekilde tasarlanmıştır.

Görüntü eşleştirmenin gerçek dünyadaki uygulamaları#

Görüntü eşleştirmenin nasıl çalıştığını artık daha iyi anladığımıza göre, önemli bir rol oynadığı gerçek dünya uygulamalarından bazılarına bakalım.

Görüntü eşleştirmeyle daha akıllı robotik#

Robotlar genellikle hangi nesnelerin bulunduğunu ve nasıl konumlandırıldıklarını anlamaları gereken hareketli ve değişken ortamlarda çalışır. Görüntü eşleştirme, robotların gördükleri nesneleri kayıtlı veya referans görüntülerle karşılaştırarak anlamalarına yardımcı olabilir. Böylece robotlar nesneleri daha kolay tanıyabilir, hareketlerini izleyebilir ve aydınlatma veya kamera açıları değiştiğinde bile koşullara uyum sağlayabilir.

Örneğin, bir depoda robotik bir al-yerleştir sistemi, farklı öğeleri tanımlamak ve taşımak için görüntü eşleştirmeyi kullanabilir. Robot önce bir nesneyi alır, ardından nesneyi tanımlamak için görüntüsünü referans örneklerle karşılaştırır.

Şekil 5. Referans görüntülerle eşleştirerek nesneleri tanıyan ve alan bir robot. (Kaynak)

Eşleşme bulunduğunda robot, nesneyi nasıl doğru biçimde ayıracağını veya yerleştireceğini bilir. Bu yaklaşım, robotların tüm sistemi yeniden eğitmeden hem tanıdık hem de yeni nesneleri tanımasını sağlar. Ayrıca rafları düzenleme, parçaları birleştirme veya öğeleri yeniden konumlandırma gibi daha iyi gerçek zamanlı kararlar almalarına yardımcı olur.

Daha iyi görüntü eşleştirmeyle 3D yeniden yapılandırmayı geliştirme#

Drone haritalama, sanal gerçeklik ve bina denetimi gibi alanlarda sistemlerin çoğu zaman birden fazla 2D görüntüden 3D model oluşturması gerekir. Bunun için birkaç görüntüde görünen köşeler veya dokulu bölgeler gibi ortak anahtar noktaları belirlemek üzere görüntü eşleştirmeye dayanırlar.

Bu ortak noktalar, sistemin görüntülerin 3D uzayda birbiriyle nasıl ilişkili olduğunu anlamasına yardımcı olur. Bu fikir, farklı bakış açılarından çekilmiş görüntülerdeki anahtar noktaları belirleyip eşleştirerek 3D yapılar oluşturan Hareketten Yapı (SfM) tekniğiyle yakından ilişkilidir.

Eşleştirme doğru değilse ortaya çıkan 3D model bozulmuş veya eksik görünebilir. Bu nedenle araştırmacılar, 3D yeniden yapılandırmada görüntü eşleştirmenin güvenilirliğini artırmak için çalışmalar yürütüyor ve son gelişmeler umut verici sonuçlar ortaya koyuyor.

İlginç bir örnek, daha hızlı ve sağlam bir görüntü eşleştirme algoritması olan HashMatch'tir. HashMatch, görüntü ayrıntılarını karma kodları adı verilen kompakt örüntülere dönüştürür; bu sayede aydınlatma veya bakış açıları değişse bile doğru eşleşmeleri belirlemek ve aykırı değerleri çıkarmak kolaylaşır.

Büyük ölçekli veri kümelerinde test edildiğinde HashMatch, daha az hizalama hatasıyla daha temiz ve gerçekçi 3D yeniden yapılandırma modelleri üretti. Bu özellik, hassasiyetin kritik olduğu drone haritalama, AR sistemleri ve kültürel mirası koruma gibi uygulamalarda HashMatch'i özellikle kullanışlı kılar.

Artırılmış gerçeklikte görüntü eşleştirmenin rolü#

Artırılmış gerçeklik (AR) söz konusu olduğunda, sanal nesneleri gerçek dünyayla hizalı tutmak çoğu zaman zordur. Dış ortamlar güneş ışığı ve hava durumu gibi çevresel koşullara bağlı olarak sürekli değişebilir. Gerçek dünyadaki küçük farklılıklar, sanal öğelerin kararsız veya hafifçe yerinden kaymış görünmesine neden olabilir.

Bu sorunu çözmek için AR sistemleri çevrelerini yorumlamak üzere görüntü eşleştirmeyi kullanır. Canlı kamera karelerini kayıtlı referans görüntülerle karşılaştırarak kullanıcının nerede olduğunu ve sahnenin nasıl değiştiğini anlayabilirler.

Şekil 6. İki görüntü arasında eşleştirilen özellik noktaları. (Kaynak: theijes.com)

Örneğin, XR (Genişletilmiş Gerçeklik) gözlükleriyle gerçekleştirilen askerî tarzda bir dış mekân AR eğitimi çalışmasında araştırmacılar, gerçek ve referans görüntüler arasındaki görsel ayrıntıları eşleştirmek için SIFT ve diğer özellik tabanlı yöntemleri kullandı. Doğru eşleşmeler, kullanıcı hızlı hareket ettiğinde veya aydınlatma değiştiğinde bile sanal öğelerin gerçek dünyayla doğru biçimde hizalanmasını sağladı.

Önemli çıkarımlar#

Görüntü eşleştirme, sistemlerin farklı görüntülerin birbiriyle nasıl ilişkili olduğunu veya bir sahnenin zaman içinde nasıl değiştiğini anlamasını sağlayan, bilgisayarlı görünün temel bir bileşenidir. Hassasiyet ve kararlılığın önemli olduğu robotik, artırılmış gerçeklik, 3D yeniden yapılandırma, otonom navigasyon ve gerçek dünyadaki pek çok başka uygulamada kritik rol oynar.

SuperPoint ve LoFTR gibi gelişmiş AI modelleriyle günümüz sistemleri, önceki yöntemlere kıyasla çok daha sağlam hâle geliyor. Makine öğrenimi teknikleri, özel görme modülleri, sinir ağları ve veri kümeleri gelişmeye devam ettikçe görüntü eşleştirme muhtemelen daha hızlı, daha doğru ve daha uyarlanabilir olacaktır.

Büyüyen topluluğumuza katıl ve uygulamalı AI kaynakları için GitHub depomuzu incele. Bugün görsel AI ile geliştirme yapmak için lisanslama seçeneklerimize göz at. Çözümler sayfalarımızı ziyaret ederek tarımda AI ile tarımın nasıl dönüştüğünü ve sağlık hizmetlerinde Görsel AI ile geleceğin nasıl şekillendiğini öğren.