Ölçekten Bağımsız Öznitelik Dönüşümü (SIFT) nedir?

Bu makalede ele alınan kavramların görsel bir anlatımı için aşağıdaki videoyu izle.

Günümüzde telefonlardan kameralara ve akıllı ev sistemlerine kadar kullandığımız birçok akıllı cihaz, yüzleri, nesneleri ve hatta tüm görsel sahneleri tanıyabilen AI çözümleriyle birlikte gelir. Bu yetenek, makinelerin görüntüleri ve videoları anlamasını ve yorumlamasını sağlayan bir yapay zeka alanı olan bilgisayarlı görü sayesinde mümkün olur.

Örneğin, Eiffel Kulesi'nin herhangi bir açıdan veya mesafeden fotoğrafını çekersen, cihazın genellikle bilgisayarlı görü kullanarak onu tanıyabilir ve galerindeki doğru klasöre düzenleyebilir. Bu kulağa basit gelse de nesneleri tanımak her zaman kolay değildir. Görüntüler; boyutlarına, açılarına, ölçeklerine veya aydınlatmalarına bağlı olarak çok farklı görünebilir, bu da makinelerin onları tutarlı bir şekilde tanımlamasını zorlaştırır.

Bu sorunu çözmeye yardımcı olmak için araştırmacılar, Ölçek Değişmez Özellik Dönüşümü veya SIFT adı verilen bir bilgisayarlı görü algoritması geliştirdiler. Bu algoritma, nesneleri farklı görüntüleme koşullarında tespit etmeyi mümkün kılar. 1999 yılında David Lowe tarafından oluşturulan SIFT, bir görüntüdeki köşeler, kenarlar veya desenler gibi, görüntü yeniden boyutlandırıldığında, döndürüldüğünde veya farklı şekilde aydınlatıldığında bile tanınabilir kalan benzersiz anahtar noktaları bulmak ve tanımlamak için tasarlanmıştır.

Ultralytics YOLO11 gibi derin öğrenme tabanlı bilgisayarlı görü modelleri popüler hale gelmeden önce SIFT, bilgisayarlı görüde yaygın olarak kullanılan bir teknikti. Bir fotoğraftaki belirli bir öğeyi tanımlamanın amaçlandığı nesne tanıma ve çakışan görüntü özelliklerini bularak fotoğrafların hizalandığı görüntü eşleştirme gibi görevler için standart bir yaklaşımdı.

Bu makalede SIFT'in ne olduğuna, genel hatlarıyla nasıl çalıştığına ve bilgisayarlı görü evrimindeki önemine kısa bir genel bakışla değineceğiz. Hadi başlayalım!

Link to this sectionSIFT algoritması bilgisayarlı görü için neden vazgeçilmezdir?#

Bir görüntüde nesne birçok farklı şekilde görünebilir. Örneğin, bir kahve kupası yukarıdan, yandan, parlak güneş ışığında veya sıcak bir lambanın altında fotoğraflanabilir. Aynı kupa, kameraya yakın olduğunda daha büyük, uzakta olduğunda ise daha küçük görünebilir.

Tüm bu farklılıklar, bir bilgisayara bir nesneyi tanımayı öğretmeyi karmaşık bir görev haline getirir. Nesne tespiti olarak bilinen bu bilgisayarlı görü görevi, Vision AI modellerinin nesneleri boyutu, açısı veya aydınlatma koşulları değişse bile doğru bir şekilde tanımlamasını ve konumlandırmasını gerektirir.

Bunu mümkün kılmak için bilgisayarlı görü, özellik çıkarımı veya tespiti adı verilen bir sürece dayanır. Model, tüm görüntüyü bir kerede anlamaya çalışmak yerine, açılar, ölçekler ve aydınlatma koşulları arasında tanınabilir kalan keskin köşeler, benzersiz desenler veya dokular gibi belirgin görüntü özelliklerini arar.

Özellikle, Ölçek Değişmez Özellik Dönüşümü veya SIFT bunun için tasarlanmıştır. SIFT, görüntüler nasıl yakalanırsa yakalansın, nesneleri güvenilir bir şekilde tanımlayabilen bir özellik tespiti ve açıklama algoritmasıdır.

Link to this sectionÖlçek değişmezliğini elde etmek#

SIFT algoritması, onu nesne tanıma için yararlı kılan birkaç önemli özelliğe sahiptir. Temel özelliklerden biri ölçek değişmezliğidir. Bu, SIFT'in ister kameraya yakın ve büyük görünsün, ister uzak ve küçük görünsün, bir nesnenin çeşitli kısımlarını tanıyabileceği anlamına gelir. Nesne tamamen görünür olmasa bile, algoritma yine de aynı anahtar noktaları seçebilir.

Bunu, ölçek uzayı teorisi adı verilen bir kavramı kullanarak yapar. Basitçe ifade etmek gerekirse, görüntü birden fazla versiyon oluşturmak için farklı seviyelerde bulanıklaştırılır. SIFT daha sonra görüntünün boyutu veya keskinliği nasıl değişirse değişsin, aynı kalan desenleri ve detayları bulmak için bu versiyonları inceler.

Örneğin, birkaç metre öteden fotoğraflanan bir yol tabelası, uzaktan yakalanan aynı tabeladan çok daha büyük görünecektir ancak SIFT yine de aynı belirgin özellikleri tespit edebilir. Bu, tabela çok farklı ölçeklerde görünse bile iki görüntünün doğru bir şekilde eşleştirilmesini mümkün kılar.

Link to this sectionDöndürme değişmezliğini sağlamak#

Görüntülerdeki nesneler ayrıca döndürülmüş, hatta bazen baş aşağı görünebilir. SIFT bunu, döndürme değişmezliği adı verilen bir özellik aracılığıyla yönetir. Algoritma, tespit ettiği her anahtar nokta için yerel görüntü gradyanlarına dayalı tutarlı bir yön atar. Bu sayede, aynı nesne nasıl döndürülürse döndürülsün tanınabilir.

Bunu, her anahtar noktayı hangi yöne baktığını gösteren küçük bir okla işaretlemek gibi düşünebilirsin. Özellikleri bu yönlere hizalayarak SIFT, nesne döndürüldüğünde bile anahtar noktaların doğru eşleşmesini sağlar. Örneğin, bir manzara fotoğrafında yakalanan bir simgesel yapı, kamera açılı tutularak başka bir fotoğrafı çekilse bile doğru bir şekilde tanımlanabilir.

Link to this sectionDiğer görüntü değişimlerine karşı dayanıklılık#

Boyut ve döndürmenin ötesinde, görüntüler aydınlatma değişiklikleri gibi başka şekillerde de değişebilir. Bir nesne üzerindeki aydınlatma parlaktan loşa geçebilir, kamera açısı hafifçe değişebilir veya görüntü bulanık ya da gürültülü olabilir.

SIFT, bu tür varyasyonları işlemek için oluşturulmuştur. Bunu, aydınlatma değişikliklerinden veya bakış açısındaki küçük kaymalardan daha az etkilendikleri için belirgin ve yüksek kontrastlı anahtar noktalara odaklanarak yapar. Sonuç olarak SIFT, koşullar değiştiğinde genellikle başarısız olan basit kenar veya köşe tespiti yöntemlerinden daha güvenilir olma eğilimindedir.

Şekil 1. (a) Yağmurlu bir görüntüden ve (b) onun karşılığı olan temiz girdi görüntüsünden çıkarılan SIFT anahtar noktaları. (Kaynak)

Bir galerideki tabloyu düşün. Yumuşak gün ışığı altında, parlak yapay spot ışıkları altında ve hatta elde taşınan bir kameradan kaynaklanan hafif hareket bulanıklığı ile fotoğraflansa bile hala tanınabilir. Anahtar noktalar, bu farklılıklara rağmen doğru eşleştirme için yeterince kararlı kalır.

Link to this sectionÖlçek Değişmez Özellik Dönüşümü (SIFT) algoritması nasıl çalışır?#

Şimdi SIFT algoritmasının nasıl çalıştığına bir bakalım. Bu süreç dört ana adıma ayrılabilir: anahtar nokta tespiti, anahtar nokta lokalizasyonu, yön atama ve anahtar nokta tanımlama.

Link to this sectionAdım 1: Ölçek uzayı uç değer tespiti#

İlk adım, bir nesneyi takip etmeye veya tanımaya yardımcı olan köşeler veya dokudaki keskin değişiklikler gibi görüntüdeki belirgin noktalar olan anahtar noktaları bulmak ve tespit etmektir.

Bu potansiyel anahtar noktaların her boyutta tanınabileceğinden emin olmak için SIFT, ölçek uzayı adı verilen bir yapı oluşturur. Bu, orijinal görüntünün bir yumuşatma tekniği olan Gaussian filtresi ile kademeli olarak bulanıklaştırılması ve sonuçların oktav adı verilen katmanlar halinde gruplandırılmasıyla oluşturulan bir görüntü koleksiyonudur. Her oktav, artan bulanıklık seviyelerinde aynı görüntüyü içerirken, bir sonraki oktav görüntünün daha küçük bir versiyonudur.

Bir bulanık görüntüyü diğerinden çıkararak SIFT, parlaklığın keskin bir şekilde değiştiği alanları vurgulayan Gaussian Farkı'nı (DoG) hesaplar. Bu alanlar, görüntü yakınlaştırıldığında veya uzaklaştırıldığında tutarlı kaldıkları için aday anahtar noktalar olarak seçilir.

Şekil 2. DoG, farklı seviyelerde bulanıklaştırılmış görüntüleri çıkararak anahtar yapıları vurgular. (Kaynak)

Link to this sectionAdım 2: Anahtar nokta lokalizasyonu#

Tüm aday anahtar noktalar yararlı değildir çünkü bazıları zayıf veya kararsız olabilir. Bunları iyileştirmek için SIFT, bir anahtar noktanın tam konumunu daha yüksek doğrulukla tahmin etmeye yardımcı olan Taylor Serisi Açılımı adlı matematiksel bir yöntem kullanır.

Bu adım sırasında, güvenilir olmayan noktalar kaldırılır. Çevrelerine karışan düşük kontrastlı anahtar noktalar ve çok kolay kayabildikleri için doğrudan kenarlar üzerinde bulunanlar atılır. Bu filtreleme adımı, geriye yalnızca en kararlı ve belirgin anahtar noktaları bırakır.

Link to this sectionAdım 3: Yön atama#

Kararlı anahtar noktalar belirlendikten sonra SIFT, bunları döndürme değişmez hale getirir, yani görüntü yan çevrilse veya baş aşağı tutulsa bile eşleştirilebilirler. Bunu yapmak için SIFT, gradyan olarak bilinen her anahtar noktanın çevresinde parlaklığın nasıl değiştiğini analiz eder. Gradyanlar, piksel yoğunluğundaki değişimin hem yönünü hem de gücünü gösterir ve birlikte noktanın etrafındaki yerel yapıyı yakalarlar.

Her anahtar nokta için SIFT, çevredeki bölgedeki gradyanları dikkate alır ve bunları bir yönelim histogramı içinde gruplandırır. Bu histogramdaki en yüksek tepe noktası, yoğunluk değişiminin baskın yönünü gösterir ve bu, anahtar noktanın yönü olarak atanır. Yoğunluğun nerede değiştiğini gösteren gradyan yönleri ve bu değişimin ne kadar güçlü olduğunu belirten gradyan büyüklükleri, bu histogramı oluşturmak için kullanılır.

Neredeyse aynı derecede güçlü başka tepe noktaları varsa, SIFT aynı anahtar noktaya birden fazla yön atar. Bu, nesneler alışılmadık açılarda göründüğünde önemli özelliklerin kaybolmasını önler. Her anahtar noktayı yönüyle hizalayarak SIFT, sonraki adımda oluşturulan tanımlayıcıların tutarlı kalmasını sağlar.

Başka bir deyişle, aynı nesnenin iki görüntüsü farklı şekilde döndürülmüş olsa bile, yönü hizalanmış anahtar noktalar hala doğru bir şekilde eşleşecektir. Bu adım, SIFT'e döndürmeyi işleme konusunda güçlü bir yetenek kazandırır ve onu önceki özellik tespiti yöntemlerinden çok daha sağlam kılar.

Şekil 3. SIFT algoritmasının 3. adımına daha yakından bakış (Kaynak)

Link to this sectionAdım 4: Anahtar nokta tanımlayıcı#

SIFT'teki son adım, her anahtar noktanın diğer görüntülerde tanınabilmesi için bir açıklamasını oluşturmaktır.

SIFT bunu, her anahtar noktanın etrafındaki yaklaşık 16'ya 16 piksel boyutunda küçük bir kare yamaya bakarak başarır. Bu yama önce anahtar noktanın yönüne hizalanır, böylece döndürme onu etkilemez. Yama daha sonra 4'e 4'lük daha küçük karelerden oluşan bir ızgaraya bölünür.

Her küçük karede SIFT, parlaklığın farklı yönlerde nasıl değiştiğini ölçer. Bu değişiklikler, hangi yönlerin daha yaygın olduğunu gösteren bir grafik gibi olan histogram adı verilen bir yapıda saklanır. Her karenin kendi histogramı vardır ve 16 kare birlikte 16 histogram üretir.

Son olarak, bu histogramlar toplamda 128'lik tek bir sayı listesinde birleştirilir. Bu listeye özellik vektörü denir ve anahtar nokta için bir parmak izi gibi davranır. Nokta etrafındaki benzersiz dokuyu ve yapıyı yakaladığı için bu parmak izi, görüntüler yeniden boyutlandırılsa, döndürülse veya farklı şekilde aydınlatılsa bile aynı anahtar noktanın farklı görüntüler arasında eşleştirilmesini mümkün kılar.

Şekil 4. SIFT'in nasıl çalıştığına dair genel bir bakış (Kaynak)

Link to this sectionSIFT'in bilgisayarlı görüdeki temel uygulamaları#

Artık SIFT'in ne olduğu ve nasıl çalıştığı hakkında daha iyi bir anlayışa sahip olduğumuza göre, bilgisayarlı görüdeki bazı gerçek dünya uygulamalarını keşfedelim.

Link to this sectionNesne tanıma ve tespiti#

SIFT'in ana kullanımlarından biri nesne tanıma ve tespittedir. Bu, bir bilgisayara, nesneler her zaman aynı görünmediğinde bile görüntüdeki nesneleri tanımayı ve konumlandırmayı öğretmeyi içerir. Örneğin SIFT, kameraya yakın olup olmadığına, daha uzakta olup olmadığına veya bir açıyla döndürülüp döndürülmediğine bakılmaksızın bir kitabı tespit edebilir.

Bunun çalışmasının nedeni, SIFT'in oldukça belirgin ve kararlı anahtar noktalar çıkarmasıdır. Bu anahtar noktalar SIFT tanımlayıcıları ile eşleştirildiğinde, aynı nesneyi farklı görüntüler arasında eşleştirmek için güvenilir bir yol sağlayan SIFT özelliklerini oluştururlar. Bu özellikler, nesnenin tutarlı kalan benzersiz ayrıntılarını yakalar ve nesnenin boyutu, konumu veya yönü değişse bile görüntüler arasında güvenilir özellik eşleştirmesini mümkün kılar.

Şekil 5. Orijinalinden farklı bir yönde çekilmiş yeni bir görüntüdeki kitap kapağını tanımak için SIFT kullanımı. Görsel yazar tarafından hazırlanmıştır.

Derin öğrenme popüler hale gelmeden önce SIFT, nesne tanıma sistemleri oluşturmak için en güvenilir yöntemlerden biriydi. Genellikle önemli miktarda hesaplama kaynağı gerektirse de, büyük görüntü veri kümeleri arasında nesneleri eşleştirmeyi gerektiren araştırma ve uygulamalarda yaygın olarak kullanılıyordu.

Link to this sectionGörüntü birleştirme ve panorama oluşturma#

SIFT, birkaç resmin birleştirilmesiyle yapılan geniş fotoğraflar olan panoramik görüntüler oluşturmak için de kullanılabilir. SIFT kullanılarak, farklı görüntülerin çakışan kısımlarında belirgin anahtar noktalar bulunur ve ardından birbiriyle eşleştirilir. Bu eşleşmeler, fotoğrafların nasıl hizalanması gerektiği konusunda birleştirme sürecine rehberlik eden çıpalar gibi davranır.

Eşleştirme tamamlandıktan sonra, birleştirme algoritmaları genellikle bir görüntüyü diğerine eşleyen geometrik dönüşümler kullanarak doğru hizalamayı hesaplamak için kullanılabilir. Görüntüler daha sonra dikişler kaybolacak şekilde harmanlanır. Nihai sonuç, birden fazla çekimden oluşturulmuş olmasına rağmen tek bir geniş fotoğraf gibi görünen kesintisiz bir panoramadır.

Link to this section3D yeniden yapılandırma ve robotik#

SIFT'in bir diğer ilginç uygulaması, farklı açılardan çekilen birden fazla 2D fotoğrafın bir üç boyutlu model oluşturmak için birleştirildiği 3D yeniden yapılandırmadır. SIFT, bu görüntülerdeki aynı noktaları bularak ve eşleştirerek çalışır.

Eşleşmeler yapıldıktan sonra, bu noktaların 3D konumları, derinliği farklı bakış açılarından hesaplayan bir yöntem olan üçgenleme kullanılarak tahmin edilebilir. Bu süreç, bir sahnenin 3D şeklini ve fotoğrafları çeken kameraların konumlarını tahmin etmek için birden fazla çakışan görüntüyü kullanan bir teknik olan hareketten yapı (SfM) işleminin bir parçasıdır.

Sonuç genellikle nesneyi veya ortamı ana hatlarıyla belirten uzaydaki noktalar koleksiyonu olan bir 3D nokta bulutudur. SIFT, hareketten yapıyı pratik hale getiren ilk araçlardan biriydi. Günümüzde daha yeni teknikler daha hızlı ve daha yaygın olsa da SIFT, doğruluğun hızdan daha önemli olduğu durumlarda uygulanmaya devam etmektedir.

SIFT ayrıca robotikte, özellikle görsel SLAM (Eşzamanlı Konum Belirleme ve Haritalama) alanında kullanılmıştır. SLAM, bir robotun aynı anda çevresinin haritasını çıkarırken nerede olduğunu bulmasını sağlar.

SIFT anahtar noktaları, aydınlatma veya açılar değiştiğinde bile bir robotun kareler arasında tanıyabileceği güvenilir simgesel yapılar olarak işlev görür. Bu simgesel yapıları takip ederek robot, konumunu tahmin edebilir ve haritasını anlık olarak güncelleyebilir. Bugün robotikte daha hızlı özellik dedektörleri daha sık kullanılsa da SIFT, ilk SLAM sistemlerinde önemli bir rol oynamıştır ve sağlamlığın hızdan daha kritik olduğu durumlarda hala anahtar konumdadır.

Link to this sectionSIFT'in avantajları ve dikkat edilmesi gerekenler#

SIFT algoritması bilgisayarlı görüde yaygın olarak kullanılsa ve güvenilir bir yöntem olarak bilinse de, bazı ödünleşimleri de beraberinde getirir. Bu yüzden bir proje için doğru tercih olup olmadığına karar vermeden önce artılarını ve eksilerini tartmak önemlidir. Şimdi, temel güçlü ve sınırlı yönlerini inceleyelim.

Link to this sectionSIFT'in temel avantajları#

İşte SIFT algoritmasını kullanmanın bazı artıları:

• Ölçek ve döndürme değişmezliği: SIFT, nesneler farklı boyutlarda veya yönlerde göründüğünde nispeten kararlı kalan ölçek değişmez anahtar noktalar sağlar, bu da önceki özellik dedektörlerine kıyasla önemli bir ileri adımı temsil eder.
• Aydınlatma ve bakış açısı değişikliklerine karşı orta derecede sağlamlık: SIFT, parlaklık, kontrast veya bakış açısındaki küçük kaymalardaki değişiklikleri yönetebilir, ancak daha aşırı koşullarda daha az güvenilirdir.
• Karmaşık veya kısmen gizlenmiş sahnelerde çalışma yeteneği: SIFT birçok yerel anahtar nokta tespit ettiğinden, nesnenin bir kısmı kapalı olsa veya arka plan karmaşık olsa bile nesneyi genellikle tanımlayabilir.

Link to this sectionPerformans hususları ve alternatifler#

İşte SIFT algoritmasını kullanmanın bazı eksileri:

• Hesaplama açısından pahalı: SIFT'in çok adımlı süreci ve ayrıntılı tanımlayıcıları, onu modern özellik dedektörlerinden daha yavaş ve daha kaynak yoğun hale getirir. Bunu geliştirmek için araştırmacılar, özellikleri bulmak ve tanımlamak için daha hızlı hesaplamalar kullanan SURF (Hızlandırılmış Sağlam Özellikler) algoritmasını geliştirdiler. SURF bazı durumlarda SIFT'ten daha az hassastır ancak çok daha hızlı çalışır ve bu da onu zamana duyarlı görevler için daha pratik hale getirir.
• Gerçek zamanlı kullanım için ideal değil: Hesaplama maliyeti nedeniyle SIFT, gerçek zamanlı takip veya mobil robotik gibi hızın kritik olduğu uygulamalarda zorlanır.
• Sınırlı çok yönlülük: Birçok durumda sağlam olmasına rağmen SIFT, aşırı aydınlatma değişikliklerinde, büyük bakış açısı kaymalarında veya daha yeni algoritmaların ya da makine öğrenmesi yöntemlerinin daha iyi performans gösterdiği yüksek dinamik sahnelerde daha az etkilidir.

SIFT'in artılarını ve eksilerini keşfederken, sınırlamalarının çoğunun daha gelişmiş tekniklerin önünü açtığını fark edebilirsin. Özellikle evrişimli sinir ağları (CNN'ler) güçlü bir alternatif olarak ortaya çıktı.

CNN, insan görsel sisteminin nasıl çalıştığından esinlenen bir derin öğrenme modeli türüdür. Görüntüyü kenarlar ve dokular gibi basit desenlerden başlayıp giderek daha karmaşık şekillere ve nesnelere doğru katmanlar halinde işler. SIFT'in el yapımı özellik kurallarının aksine, CNN'ler özellik temsillerini doğrudan veriden öğrenir.

Bu veriye dayalı öğrenme, CNN'lerin tanımlayıcı eşleştirme ve sınıflandırma görevlerinde SIFT'ten daha iyi performans gösterebileceği anlamına gelir. CNN'ler ayrıca görsel verinin değişkenliğine ve karmaşıklığına daha iyi uyum sağlayarak daha ifade edici ve sağlamdır.

Örneğin, CNN tabanlı modeller, binlerce kategoriye yayılmış milyonlarca etiketli görüntü içeren devasa bir kıyaslama veri kümesi olan ImageNet üzerinde çığır açan sonuçlar elde etmiştir. Algoritmaların nesneleri ne kadar iyi tanıyıp sınıflandırabildiğini test etmek için tasarlanan ImageNet, eski özellik tabanlı yöntemler ile derin öğrenme arasındaki farkı vurgulayabilir.

CNN'ler, çok daha zengin ve esnek temsiller öğrenerek SIFT'i hızla geride bıraktı; bu da onların nesneleri değişen aydınlatma altında, farklı bakış açılarından ve hatta kısmen gizlendiklerinde bile tanımasını sağladı; bu, SIFT'in genellikle zorlandığı senaryolardır.

Link to this sectionÖne çıkanlar#

Ölçek Değişmez Özellik Dönüşümü algoritması, bilgisayarlı görü tarihinde önemli bir yere sahiptir. Değişen ortamlarda bile özellikleri tespit etmenin güvenilir bir yolunu sağlamış ve bugün kullanılan birçok yöntemi etkilemiştir.

Daha yeni teknikler daha hızlı ve daha verimli olsa da SIFT onlar için temel oluşturdu. SIFT, günümüzdeki bilgisayarlı görü ilerlemesinin nereden başladığını gösterir ve en son teknoloji AI sistemlerinin ne kadar yol katettiğini vurgular.

Küresel topluluğumuza katıl ve bilgisayarlı görü hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Tarımda AI ve perakendede bilgisayarlı görü gibi yenilikleri keşfetmek için çözümler sayfalarımızı incele. Lisanslama seçeneklerimize bak ve kendi bilgisayarlı görü modelini oluşturmaya başla.