3D nesne algılamayı ve uygulamalarını anlamak

Yıllar içinde nesne algılama giderek daha gelişmiş hâle geldi. Basit iki boyutlu (2D) görüntülerde nesneleri tanımaktan, çevremizdeki karmaşık üç boyutlu (3D) dünyadaki nesneleri belirlemeye doğru ilerledi. Bir görüntünün bölümlerini saklanan referans görüntülerle karşılaştırarak nesneleri bulmayı içeren şablon eşleştirme gibi ilk teknikler 1970'lerde geliştirildi ve 2D nesne algılamanın temelini oluşturdu. 1990'larda LiDAR (Işık Algılama ve Menzil Belirleme) gibi teknolojilerin ortaya çıkması, sistemlerin derinlik ve uzamsal bilgileri daha kolay yakalamasını mümkün kıldı. Günümüzde 2D görüntüleri 3D verilerle birleştiren çok modlu füzyon yöntemleri, yüksek doğruluklu 3D nesne algılama sistemlerinin önünü açtı.

Şekil 1. 3D nesne algılama örneği.

Bu makalede 3D nesne algılamanın ne olduğunu, nasıl çalıştığını ve 2D nesne algılamadan nasıl farklılaştığını inceleyeceğiz. Ayrıca 3D nesne algılamanın bazı uygulamalarını ele alacağız.

2D nesne algılamaya genel bakış#

3D nesne algılamaya göz atmadan önce 2D nesne algılamanın nasıl çalıştığını anlayalım. 2D nesne algılama, bilgisayarların düz, iki boyutlu görüntülerdeki nesneleri tanımasını ve konumlarını belirlemesini sağlayan bir bilgisayarlı görü tekniğidir. Bir görüntüdeki nesnenin yatay (X) ve dikey (Y) konumunu analiz ederek çalışır. Örneğin, futbol sahasındaki oyuncuların görüntüsünü Ultralytics YOLOv8 gibi bir 2D nesne algılama modeline verirsen model görüntüyü analiz edip her nesnenin (bu durumda oyuncuların) çevresine sınırlayıcı kutular çizebilir ve konumlarını hassas biçimde belirleyebilir.

Şekil 2. Futbol sahasındaki oyuncuları algılamak için kullanılan YOLOv8 2D nesne algılama.

Ancak 2D nesne algılamanın sınırlamaları vardır. Yalnızca iki boyutu dikkate aldığı için derinliği anlayamaz. Bu durum, bir nesnenin ne kadar uzakta veya büyük olduğunu değerlendirmeyi zorlaştırabilir. Örneğin, uzaktaki büyük bir nesne yakındaki daha küçük bir nesneyle aynı boyutta görünebilir ve bu kafa karıştırıcı olabilir. Derinlik bilgisinin olmaması, nesnelerin gerçek boyutunu ve mesafesini bilmenin gerekli olduğu robotik veya artırılmış gerçeklik gibi uygulamalarda yanlışlıklara yol açabilir. 3D nesne algılamaya duyulan ihtiyaç da burada ortaya çıkar.

3D nesne algılamayla uzamsal farkındalık kazanma#

3D nesne algılama, bilgisayarların nesneleri üç boyutlu uzayda tanımasını sağlayan gelişmiş bir bilgisayarlı görü tekniğidir ve çevrelerindeki dünya hakkında çok daha derin bir anlayış kazandırır. 2D nesne algılamadan farklı olarak 3D nesne algılama, derinlik verilerini de dikkate alır. Derinlik bilgisi; nesnenin nerede olduğu, ne kadar büyük olduğu, ne kadar uzakta bulunduğu ve gerçek 3D dünyada nasıl konumlandığı gibi daha fazla ayrıntı sağlar. İlginç bir şekilde 3D algılama, bir nesnenin diğerini kısmen gizlediği durumları (örtüşmeleri) daha iyi ele alabilir ve bakış açısı değiştiğinde bile güvenilirliğini korur. Hassas uzamsal farkındalık gerektiren kullanım alanları için güçlü bir araçtır.

3D nesne algılama otonom araçlar, robotik ve artırılmış gerçeklik sistemleri gibi uygulamalar için hayati önem taşır. LiDAR veya stereo kameralar gibi sensörlerden yararlanarak çalışır. Bu sensörler, nokta bulutları veya derinlik haritaları olarak bilinen ayrıntılı 3D ortam haritaları oluşturur. Ardından bu haritalar, 3D ortamdaki nesneleri algılamak için analiz edilir.

Şekil 3. Bir aracın 3D nesne algılaması.

Nokta bulutları gibi 3D verileri işlemek üzere özel olarak tasarlanmış birçok gelişmiş bilgisayarlı görü modeli vardır. Örneğin VoteNet, bir nokta bulutundaki nesnenin merkezinin nerede olduğunu tahmin etmek için Hough oylaması adı verilen bir yöntem kullanır; bu da nesneleri hassas biçimde algılamayı ve sınıflandırmayı kolaylaştırır. Benzer şekilde VoxelNet, veri analizini basitleştirmek için nokta bulutlarını voksel adı verilen küçük küplerden oluşan bir ızgaraya dönüştürür.

2D ve 3D nesne algılama arasındaki temel farklar#

2D ve 3D nesne algılamayı anladığımıza göre şimdi aralarındaki temel farkları inceleyelim. Nokta bulutlarıyla çalıştığı için 3D nesne algılama, 2D nesne algılamadan daha karmaşıktır. LiDAR tarafından oluşturulan nokta bulutları gibi 3D verileri analiz etmek çok daha fazla bellek ve işlem gücü gerektirir. Bir diğer fark ise kullanılan algoritmaların karmaşıklığıdır. Derinlik tahmini, 3D şekil analizi ve nesne yönelimi analizini gerçekleştirebilmeleri için 3D nesne algılama modellerinin daha karmaşık olması gerekir.

Şekil 4. 2D ve 3D nesne algılama.

3D nesne algılama modelleri, 2D nesne algılama modellerine kıyasla daha yoğun matematiksel ve hesaplamalı işlemler gerektirir. 3D verileri gerçek zamanlı olarak işlemek, gelişmiş donanım ve optimizasyonlar olmadan zor olabilir. Ancak bu farklılıklar, 3D nesne algılamayı daha iyi uzamsal anlayış gerektiren uygulamalara daha uygun hâle getirir. Öte yandan 2D nesne algılama, genellikle görüntü tanıma veya video analizi gerektiren güvenlik sistemleri gibi daha basit uygulamalarda kullanılır.

3D nesne algılamanın avantajları ve dezavantajları#

3D nesne algılama, geleneksel 2D nesne algılama yöntemlerinden ayrılmasını sağlayan çeşitli avantajlar sunar. Bir nesnenin üç boyutunu da yakalayarak gerçek dünyaya göre konumu, boyutu ve yönelimi hakkında hassas ayrıntılar sağlar. Bu hassasiyet, engellerin tam konumunu bilmenin güvenlik açısından hayati önem taşıdığı sürücüsüz otomobiller gibi uygulamalarda kritik öneme sahiptir. 3D nesne algılamanın bir başka avantajı da farklı nesnelerin 3D uzayda birbirleriyle nasıl ilişkilendiğini çok daha iyi anlamana yardımcı olabilmesidir.

Şekil 5. 3D nesne algılama ile örtüşmelerin çözülmesi.

Pek çok avantajına rağmen 3D nesne algılamanın bazı sınırlamaları da vardır. Göz önünde bulundurman gereken temel zorluklardan bazıları şunlardır:

• Daha yüksek hesaplama maliyetleri: 3D verilerle çalışmak daha güçlü donanım kaynakları gerektirir ve maliyet hızla artabilir.
• Daha karmaşık veri gereksinimleri: 3D nesne algılama çoğu zaman LiDAR gibi gelişmiş sensörlere dayanır. Bu sensörler pahalı olabilir ve her ortamda bulunmayabilir.
• Veri toplama ve işleme: 3D nesne algılamanın karmaşık veri gereksinimleri, modelleri eğitmek için gereken büyük veri kümelerini toplamayı, hazırlamayı ve işlemeyi hem zaman alıcı hem de kaynak yoğun hâle getirir.
• Artan model karmaşıklığı: 3D nesne algılama için kullanılan modeller, genellikle 2D nesne algılama modellerine göre daha fazla katman ve parametre içeren, daha karmaşık modellerdir.

3D nesne algılamanın uygulama alanları#

3D nesne algılamanın avantajlarını ve dezavantajlarını ele aldığımıza göre şimdi 3D nesne algılamanın bazı kullanım alanlarına daha yakından bakalım.

Otonom araçlar#

Sürücüsüz otomobillerde 3D nesne algılama, aracın çevresini algılamak için hayati önem taşır. Araçların yayaları, diğer otomobilleri ve engelleri algılamasını sağlar. Ayrıca bunların gerçek dünyadaki konumları, boyutları ve yönelimleri hakkında hassas bilgiler sunar. 3D nesne algılama sistemleriyle elde edilen ayrıntılı veriler, araçtaki yolcular için çok daha güvenli bir sürüş deneyimi oluşturmaya yardımcı olur.

Şekil 6. Otonom araçlarda 3D nesne algılamanın kullanımı. (kaynak: towardsdatascience.com)

Robotik#

Robotik sistemler 3D nesne algılamayı çeşitli uygulamalarda kullanır. Farklı ortamlarda gezinmek, nesneleri alıp yerleştirmek ve çevreleriyle etkileşim kurmak için bu teknolojiden yararlanırlar. Bu kullanım alanları, robotların etkili biçimde çalışabilmek için üç boyutlu yerleşimleri anlaması gereken depolar veya üretim tesisleri gibi dinamik ortamlarda özellikle önemlidir.

Şekil 7. 3D nesne algılama kullanan mobil bir robot.

Artırılmış ve sanal gerçeklik (AR/VR)#

3D nesne algılamanın bir diğer ilgi çekici kullanım alanı, artırılmış ve sanal gerçeklik uygulamalarıdır. 3D nesne algılama, sanal nesneleri gerçekçi bir VR veya AR ortamına hassas biçimde yerleştirmek için kullanılır. Bu da söz konusu teknolojilerin genel kullanıcı deneyimini iyileştirir. Ayrıca VR/AR sistemlerinin fiziksel nesneleri tanıyıp izleyebilmesini sağlayarak dijital ve fiziksel öğelerin doğal biçimde etkileşime girdiği sürükleyici ortamlar oluşturur. Örneğin, AR/VR başlıkları kullanan oyuncular, 3D nesne algılama sayesinde çok daha sürükleyici bir deneyim yaşayabilir. Bu teknoloji, 3D uzaylardaki sanal nesnelerle etkileşimleri çok daha ilgi çekici hâle getirir.

Şekil 8. Bir AR uygulamasında kullanılan 3D nesne tanıma örneği.

3D nesne algılama hakkında son düşünceler#

3D nesne algılama, sistemlerin derinliği ve uzayı 2D nesne algılama yöntemlerinden daha etkili biçimde anlamasını sağlar. Nesnenin boyutunu, mesafesini ve konumunu bilmenin önemli olduğu otonom araçlar, robotlar ve AR/VR gibi uygulamalarda önemli bir rol oynar. 3D nesne algılama daha fazla işlem gücü ve karmaşık veriler gerektirse de doğru ve ayrıntılı bilgiler sunabilmesi onu birçok alanda çok değerli bir araç hâline getirir. Teknoloji geliştikçe 3D nesne algılamanın verimliliği ve erişilebilirliği de muhtemelen artacak, böylece farklı sektörlerde daha geniş çapta benimsenmesinin ve yeniliklerin önü açılacaktır.

Yapay zekâdaki yenilikleri takip etmek için topluluğumuzla iletişimde kal. Yapay zekâyı üretim ve sağlık gibi sektörlerde çözümler oluşturmak için nasıl kullandığımızı görmek üzere GitHub depomuzu ziyaret et.