Montaj ve Al-ve-Yerleştir İçin Görü Rehberliğinde Robotik
Görü rehberliğinde al-ve-yerleştir (pick-and-place) algılama, algı, kalibrasyon, kavrama planlaması, hareket ve kurtarma genelinde nasıl çalışır; 2D ve 3D karar kılavuzu ile birlikte.
Bir seç-yerleştir (pick-and-place) robotu için en iyi görüntü yazılımı öncelikle sahneye bağlıdır. Nesnelerin görsel olarak ayırt edilebilir olduğu ve derinliğin kısıtlanabildiği veya ayrı olarak sağlanabildiği durumlarda Ultralytics YOLO gibi yapılandırılabilir bir 2D bilgisayarlı görü yığını kullan. Rastgele yığın geometrisi, nokta bulutu işleme, kalibrasyon ve tutuş üretimi tek bir desteklenen sistem olarak gelmesi gerektiğinde Pickit, Mech-Mind, Photoneo, Zivid veya Apera AI gibi tedarikçilerin entegre 3D robotik görü ürünlerini değerlendir. Cognex veya Keyence'in geleneksel endüstriyel görü paketleri, sıkı kontrol edilen hücreler ve kurulu otomasyon ortamları için güçlü bir uyum sağlayabilir.
Hiçbir model eksiksiz bir toplama sistemi değildir. Bir üretim hücresi algılamayı, algıyı, koordinat dönüşümlerini, tutuş seçimini, hareket planlamasını, robot kontrolünü ve hata kurtarmayı birleştirir.
Seç-yerleştir görü seçenekleri karşılaştırması#
| Seçenek | En iyi kullanım alanı | Ana güç | Entegratörün hâlâ doğruladığı şeyler |
|---|---|---|---|
| Apera AI | Görüntü tabanlı robotik uygulamalar | Paketlenmiş robotik-görü yazılımı | Desteklenen robotlar, nesneler, aydınlatma ve istisna yönetimi |
| Cognex veya Keyence | Kontrollü endüstriyel otomasyon | Olgun endüstriyel görü araçları ve entegrasyon ekosistemi | Yapılandırılmamış yığınlar ve özel öğrenme ihtiyaçları için uygunluk |
| Mech-Mind | Endüstriyel 3D kasa tabanlı parça toplama ve rehberlik | Birleşik 3D görü donanımı ve yazılımı ekosistemi | Hücreye özel performans, entegrasyon ve servis modeli |
| Photoneo | Yüksek detaylı 3D algılama ve robotik rehberlik | 3D yakalama ve görüntü tabanlı robotik yazılımı | Yüzey davranışı, tarama alanı, hesaplama ve robot yolu |
| Pickit | Desteklenen 3D parça toplama hücreleri | Entegre 3D robot-görü iş akışı ve robot entegrasyonları | Parça uygunluğu, çevrim süresi, tutucu, örtüşme ve kurtarma |
| Ultralytics YOLO ve özel bir robotik yığını | Özel 2D algılama, segmentasyon, izleme veya poz iş akışları | Desteklenen ortamlarda esnek model eğitimi ve dağıtımı | Derinlik stratejisi, kalibrasyon, tutuş mantığı, hareket, güvenlik ve hücre desteği |
| Zivid | Renkli 3D nokta bulutları gerektiren uygulamalar | Endüstriyel 3D kameralar ve SDK'ler | Tutuş planlama katmanı ve eksiksiz hücre entegrasyonu |
Tedarikçiler farklı katmanları paketler. Yalnızca algılama arayüzünü değil, eksiksiz malzeme listesini ve işletim sorumluluğunu karşılaştır.
Parça toplama geometrisi ile başla#
Yazılımı seçmeden önce görevi sınıflandır:
- Sabit 2D toplama: Parçalar bilinen düzlemlerde durur ve robotun bir görüntü konumu ile yönelimine ihtiyacı vardır.
- Konveyörden toplama: Nesneler hareket eder, bu nedenle algılama, izleme, zamanlama ve enkoder senkronizasyonu önemlidir.
- Yapılandırılmış tepsi: Bilinen gözler konumu kısıtlar ancak varyantların veya yönelimin yine de doğrulanması gerekir.
- Rastgele kasa tabanlı parça toplama: Parçalar farklı derinliklerde üst üste biner ve 3D algılamanın yanı sıra çarpışma farkında tutuş planlaması gerektirir.
- Esnek veya deforme olabilen nesneler: Seçimler arasında şekil değişir, bu da segmentasyonu ve tutuş seçimini daha zor hale getirir.
- Montaj yerleştirme: Tolerans ve son hizalama, kaba nesne yerelleştirmesinin ötesinde ek algılama gerektirebilir.
Kısıtlı geometri için 2D sistem en basit güvenilir seçenek olabilir. Rastgele kasalar genellikle derinlik veya çoklu görünüm rekonstrüksiyonu gerektirir çünkü yalnızca görüntü konumu güvenli bir robot hedefi sağlamaz.
Görüntü tabanlı bir robotun altı katmanı#
1. Algılama#
Gerekli kanıtlara göre alan tarama, çizgi tarama, stereo, yapılandırılmış ışık, uçuş süresi veya diğer sensörleri seç. Görüş alanını, en küçük özelliği, çalışma mesafesini, derinlik aralığını, yüzey özelliklerini, hareketi ve çevresel kısıtlamaları kaydet.
Yansıtıcı, koyu, şeffaf ve dokusuz parçalar derinlik algılamasını zorlaştırabilir. Gerçek parçaları, kasaları, astarları ve aydınlatmayı test et. Uygun nesnelerle yapılan tedarikçi gösterimleri bir hücre denemesinin yerini tutmaz.
2. Algı#
Algılama, nesneleri bulur ve sınıflandırır; segmentasyon nesne konturlarını sağlar; yönlendirilmiş sınırlayıcı kutular döndürülmüş boyutları tahmin eder; poz modelleri anahtar noktaları tanımlayabilir; izleme, nesneleri zaman içinde ilişkilendirir. Ultralytics YOLO, bu bilgisayarlı görü görevlerinin birkaçını tek bir model ekosisteminde destekler.
Algı çıktısı, akıştaki tutuş planlayıcı için yeterince kararlı olmalıdır. Yalnızca veri setine genellenen bir puanı değil; yerelleştirme hatasını, kaçırılan ve yinelenen nesneleri, maske kalitesini, yönelim hatasını ve örtüşme altındaki davranışı değerlendir.
3. Kalibrasyon ve koordinatlar#
Sistem, kamera koordinatlarındaki gözlemleri robot veya hücre koordinatlarına dönüştürür. El-göz kalibrasyonu, kamera montajı, mercek etkileri, derinlik hizalaması ve alet merkez noktası kalibrasyonu toplama hatasını etkiler.
Kalibrasyonu bakımı yapılan bir üretim varlığı olarak ele al. Prosedürü ve kabul edilen kalıntıları kaydet, kamera bağlantılarını koru ve hangi alet veya bakım işlemlerinin yeniden kalibrasyonu tetikleyeceğini tanımla.
4. Tutuş planlama#
Tutuş seçimi erişilebilir yüzeyleri, tutucu geometrisini, nesne kararılığını, çarpışma riskini, komşu parçaları ve hedef pozunu dikkate alır. 2D model, kural tabanlı tutuş mantığına nesne konumu ve yönelimi sağlayabilir. 3D çözüm ise nokta bulutlarından sıralı tutuş adayları üretebilir.
En yüksek güven derecesine sahip algılama, mutlaka en güvenli parça toplama anlamına gelmez. Algı güvenini, tutuş kalitesini ve yol fizibilitesini ayrı sinyaller olarak tut.
5. Hareket ve robot entegrasyonu#
Robot adaptörleri veya API'leri hedefleri denetleyiciye iletir. Entegratör zamanlamayı, koordinat çerçevelerini, hızı, bölgeleri, çarpışma modellerini, konveyör hareketini ve onayları yönetmelidir. Güvenlik fonksiyonları doğrulanmamış bir model çıktısında değil, doğrulanmış robot ve hücre güvenlik mimarisinde yer alır.
6. Kurtarma#
Beklenen hata durumlarını tasarla: geçerli nesne yok, belirsiz sınıf, güvenli tutuş yok, düşen parça, başarısız toplama, yeri değişmiş kasa, eski kare, kamera kullanılamıyor veya tekrarlanan deneme. Kolay toplamalarda başarılı olan ancak her istisnadan sonra manuel sıfırlama gerektiren bir hücre ölçeklenemez.
Ultralytics'in konumu#
Ultralytics Platform görüntü verilerini organize edebilir ve etiketleyebilir, Ultralytics YOLO modellerini eğitebilir ve model sürümlerini yönetebilir. Modeller daha sonra Platform uç noktaları aracılığıyla dağıtılabilir veya hücreye yakın bir robotik çalışma zamanına entegrasyon için dışarı aktarılabilir.
Bu yaklaşım, farklılaşmanın özel nesne sınıflarında, değişen stoklarda (SKU), olağandışı görsel koşullarda veya uygulamaya özel algıda olduğu durumlarda yararlıdır. Aynı zamanda ekiplerin çevreleyen kamerayı, derinlik kaynağını, tutuş planlayıcıyı ve robot çerçevesini seçmesine olanak tanır.
Entegre bir 3D parça toplama ürününün her bileşeninin yerini almaz. Robotik algılama ve entegrasyon uzmanlığı olmayan kuruluşlar, kalibrasyon, 3D işleme, tutuş mantığı ve sertifikalı robot adaptörlerini içeren desteklenen bir paketi tercih edebilir.
Tedarikçiler nasıl değerlendirilir#
Her deneme için aynı parçaları ve hücre koşullarını kullan. Dolu ve neredeyse boş kasaları, en kötü senaryo örtüşmesini, hasarlı ambalajları, varyant karışımlarını, yansıtıcı yüzeyleri, normal kirlenmeyi ve beklenen aydınlatma değişikliklerini dahil et.
Şunları ölç:
- Parça ve kasa durumuna göre geçerli toplama oranı.
- Algılama ve kurtarma dahil çevrim süresi dağılımı.
- İlk denemede toplama onayı.
- Yanlış sınıflandırma, yinelenen hedef ve çarpışma riski olayları.
- Manuel müdahaleler ve sıfırlama süresi.
- Bakım veya titreşim sonrasında kalibrasyon kararlılığı.
- Yeni bir stok (SKU) ekleme ve güncellemeyi doğrulama süresi.
- Teşhis için mevcut günlükler (loglar) ve kanıtlar.
Her tedarikçiden hangi ölçümlerin kameradan, modelden, tutuş planlayıcıdan, robottan ve harici sensörlerden geldiğini tanımlamasını iste. Bu, mimariyi ve sahipliği görünür kılar.
2D ve 3D karar kılavuzu#
Parçalar bilinen bir düzlemde kaldığında, tutuş yüksekliği sabit olduğunda, örtüşme sınırlı olduğunda ve net görsel özellikler sınıf ile yönelimi belirlediğinde önce 2D'yi seç. Işıklandırması, etiketlemesi, hata ayıklaması ve işletilmesi genellikle daha kolaydır.
Yükseklik değiştiğinde, yığınlar belirgin örtüşme yarattığında, yüzey geometrisi tutuşu belirlediğinde, çarpışma mesafesi dar olduğunda veya robot dağınık bir hacim üzerinde akıl yürüttüğünde 3D'yi seç. Bazı hücreler, özel sınıflandırmayı korurken 3D koordinatları elde etmek için 2D öğrenilmiş algıyı kaydedilmiş derinlikle birleştirir.
Sensör modasına göre karar verme. Hücrenin en kötü senaryo testlerini geçen en düşük karmaşıklığa sahip algılama yapılandırmasını kullan.
Uygulama kontrol listesi#
- Nesne, poz, çevrim ve kurtarma gereksinimlerini tanımla.
- Gerçek parçaları tüm kasa ve ortam aralığında yakala.
- Geometri ve yüzey davranışından algılamayı seç.
- Kalibrasyonu ve koordinat dönüşümlerini model doğruluğundan bağımsız olarak doğrula.
- Tutuş planlayıcıyı gerçek tutucu ve komşu nesnelerle test et.
- Robot güvenlik fonksiyonlarını öğrenilmiş algıdan ayır.
- Algılamaları, dönüşümleri, tutuş adaylarını, denetleyici yanıtlarını ve sonuçları kaydet.
- Belirsiz veya tükenmiş durumlar için insan müdahalesi sağla.
- Her yeni modeli, stoğu (SKU), tutucuyu, kamerayı ve hücre yapılandırmasını regresyon testine tabi tut.
Sıkça sorulan sorular
Evet. Bir YOLO modeli ilgili görsel özellikleri algılayabilir, segmente edebilir, izleyebilir veya tahmin edebilir. Robotik uygulaması bu gözlemleri robot koordinatlarına dönüştürmeli ve bunları tutuş planlaması, hareket kontrolü ve güvenlik sistemleriyle birleştirmelidir.
Her zaman değil. Sabit düzlem ve yapılandırılmış tepsi uygulamaları 2D görüyle iyi çalışabilir. Rastgele kasalar ve değişken yükseklikler genellikle derinlik veya çoklu görünüm bilgisi gerektirir.
Robot rehberliği, hedefler veya hizalama sağlamak için görünün daha geniş kullanım alanıdır. Kasa tabanlı parça toplama ise bir kaptan karmaşa, örtüşme, tutuş seçimi ve çarpışma farkında çıkarma işlemleri ekler.
Üretim tetikleyicisinden yakalama, algı, planlama, robot yürütme, onay ve kurtarma süreçlerine kadar ölç. Tek bir en iyi durum model gecikmesi yerine gerçekçi kasa durumları altında bir dağılım raporla.
Desteklenen 3D algılama, kalibrasyon, tutuş planlama ve robot adaptörleri riskleri azalttığında entegre bir sistem satın al. Özel algı stratejik olduğunda ve organizasyon robotik entegrasyonuna, altyapısına, doğrulamasına ve desteğine sahip olabildiğinde inşa et.
