Ultralytics Agents ile tanış: Görsel yapay zekâ iş akışlarını daha hızlı oluştur

Güçlü bir bilgisayarlı görü modeli eğitmek yolculuğun yalnızca bir parçasıdır. Sıradaki zorluk, model tahminde bulunduğunda ne yapılacağına karar vermektir: görüntüyü kaydetmek, daha fazla bağlam istemek, ekibi uyarmak veya incelenmek üzere güven düzeyi düşük bir örnek toplamak.

Geçmişte ekipler bu orkestrasyonu ayrı betikler ve entegrasyonlarla oluşturuyordu. Ultralytics Agents, orkestrasyonu görsel bir tuvale taşıyarak ekiplerin daha az özel geliştirmeyle tahminleri işlevsel eylemlere dönüştürmesine yardımcı olur.

Ultralytics Platform içinde sunulan Agents; görüntüleri, Ultralytics YOLO modellerini, dağıtımları, koşulları, dil modellerini, veri kümelerini ve eylemleri yeniden kullanılabilir görsel iş akışlarında birbirine bağlar.

Ultralytics Agents nedir?#

Agents, bilgisayarlı görü iş akışlarını tasarlamak ve çalıştırmak için görsel bir yöntem sunar. Tuvale bloklar ekle, her adımı birbirine bağla ve bir görüntü belirli bir koşulu karşıladığında ne olması gerektiğini tanımla.

Bir iş akışında resmi bir YOLO26 modeli, çalışma alanında eğitilmiş bir model veya mevcut bir Platform dağıtımı kullanılabilir. Ardından iş akışı tahminleri sınıf sayısına veya güven düzeyine göre filtreleyebilir, seçilen görüntüleri bir görsel-dil modeline gönderebilir, bunları bir veri kümesinde toplayabilir, bir Slack kanalına bildirim gönderebilir veya sonucu görüntüleyebilir.

Agents ile şunları yapabilirsin:

• Görsel olarak oluştur: Tüm iş akışını sıfırdan elle oluşturmadan modelleri, koşulları ve eylemleri birbirine bağla.
• Dikkati odakla: Yalnızca tanımladığın ölçütleri karşılayan görüntüleri işle.
• Görsel ve dil zekâsını birleştir: Ek bağlam için bir görsel-dil modeline danışmadan önce önemli olanı belirlemek üzere YOLO'yu kullan.
• Tahminleri eyleme dönüştür: İlgili görüntüleri kaydet, koşula bağlı Slack uyarıları gönder veya sonuçları iş akışının bir sonraki adımına aktar.
• Üretim içgörülerini veriye bağla: İnceleme ve gelecekteki model geliştirme çalışmaları için belirsiz veya önemli görüntüleri topla.
• Uygulamayı incele: Görsel iş akışından oluşturulan Python kodunu görüntüle.

Ekipler, “Model ne algıladı?” sorusunda kalmak yerine daha değerli olan “Sırada ne olmalı?” sorusunu yanıtlayabilir.

Algılamadan karara geç#

Birçok görsel yapay zekâ sistemi birden fazla araç ve özel bağlantı gerektirir. Bir model tahminler üretir, uygulama mantığı bunları değerlendirir, başka bir sistem ilgili girdileri depolar ve ayrı bir entegrasyon bildirim gönderir.

Agents, bu adımları tek bir görsel iş akışında bir araya getirir.

Örneğin bir üretim ekibi, eğitilmiş bir denetim modelini çalıştırabilir, kusurun seçilen bir eşiği karşılayıp karşılamadığını kontrol edebilir, görüntüyü inceleme için kaydedebilir ve bir operasyon kanalına uyarı gönderebilir. Bir lojistik ekibi, eğitim verilerindeki eksikleri belirlemek için güven düzeyi düşük algılamaları toplayabilir. Bir güvenlik ekibi ise daha geniş sahneyi açıklaması için bir görsel-dil modeline danışmadan önce, kısıtlı bir alandaki kişiyi algılamak üzere YOLO'yu kullanabilir.

İş akışı, kullanıcı tarafından belirlenen koşulları izler; böylece sonraki her adımın neden çalıştığı veya çalışmadığı açıkça görülür.

Ultralytics YOLO ve görsel-dil modellerini birlikte kullan#

YOLO modelleri, görüntülerdeki nesnelerin yerini belirleme, sınıflandırma ve sayma konusunda etkilidir. Görsel-dil modelleri, daha geniş görsel bağlamı doğal dille yorumlayabilir.

Agents bu yetenekleri verimli biçimde birleştirmeyi mümkün kılar. YOLO ilk filtre olarak görev yapabilir ve iş akışının bir görsel-dil modelini yalnızca görüntü gerekli koşulu karşıladığında çağırmasını sağlar.

Örneğin bir iş akışı şunları yapabilir:

1. Bir görüntüde YOLO26'yı çalıştır.
2. En az bir kişinin algılanıp algılanmadığını kontrol et.
3. Eşleşen görüntüleri seçilen bir görsel-dil modeline gönder.
4. Modelden sahneyi açıklamasını iste.
5. Oluşturulan açıklamayı görüntüle.

Koşul karşılanmazsa açıklama adımı çalışmaz. Bu, ekiplere iş akışında hangi görüntülerin ilerleyeceği ve harici model çağrılarının ne zaman kullanılacağı konusunda daha fazla kontrol sağlar.

Düzenlenebilir bir iş akışı şablonuyla başla#

Agents, ekiplerin bir fikirden çalışan bir görsel yapay zekâ iş akışına hızla geçmesine yardımcı olan şablonlar içerir.

• YOLO → VLM İzleyici: Bir görsel-dil modelinden görüntüleri açıklamasını istemeden önce ilgili görüntüleri belirlemek için YOLO'yu kullan.
• Belirsiz Algılamaları Topla: Tahminleri güven düzeyine göre filtrele ve belirsiz görüntüleri inceleme için bir veri kümesinde topla.
• Yakala ve Uyar: Bir algılama koşulu karşılandığında görüntüyü kaydet ve Slack bildirimi gönder.

Şablonlar sabit bir çözüm değil, uygulamaya dönük bir başlangıç noktası sunar. Ekipler kendi görüntülerini, modellerini, dağıtımlarını, koşullarını, istemlerini, hedef veri kümelerini ve entegrasyonlarını seçebilir.

Kullanıcılar ayrıca bir iş akışından oluşturulan Python kodunu inceleyebilir; böylece görsel geliştirmenin hızı, teknik ekiplerin uygulamayı anlamak için ihtiyaç duyduğu şeffaflıkla birleşir.

Dağıtım ile model iyileştirme arasındaki döngüyü tamamla#

Gerçek dünya görüntüleri, eğitim sırasında eksik kalmış veya yeterince temsil edilmemiş koşulları ortaya çıkarabilir. Yeni ortamlar, nesnelerin değişen görünümleri ve güven düzeyi düşük algılamaların tümü, bir modeli iyileştirme fırsatlarına işaret edebilir.

Agents, ekiplerin bu gözlemleri eyleme geçirilebilir bir veri döngüsüne dönüştürmesine yardımcı olur:

1. Çalıştır: Görüntüleri bir Ultralytics YOLO modelinden veya Platform dağıtımından geçir.
2. Filtrele: Sonuçları sınıf veya güven koşullarına göre filtrele.
3. Topla: Seçilen orijinal görüntüleri hedef veri kümesinde topla.
4. İncele ve etiketle: Görüntüleri Ultralytics Platform'da incele.
5. Yeniden eğit ve dağıt: Gerçek dünya girdilerinden yararlanan verileri kullan.

Agents aracılığıyla toplanan görüntüler, hedef veri kümesinin train bölümüne etiketsiz olarak eklenir ve açıklama düzenleyicisinde incelenmeye hazır olur. Ekipler bu hedeflenmiş örnekleri etiketleyebilir ve sonraki model yinelemesine yön vermek için kullanabilir.

Böylece zor bir örneği belirlemekten daha iyi eğitim verileri hazırlamaya giden daha doğrudan bir yol oluşur.

Gerçek dünya sonuçlarına göre iş akışları oluştur#

Agents, farklı sektör ve kullanım alanlarındaki iş akışlarını destekleyebilir:

• Üretim: İnceleme için olası kusurları yakala ve tanımlanan koşullar karşılandığında kalite ekiplerine bildirim gönder.
• Lojistik: Veri kümesi kapsamını iyileştirmek için konteynerler, araçlar veya ekipmanlarla ilgili belirsiz algılamaları topla.
• Perakende: Görüntüleri algılanan sınıflara veya sayılara göre filtrele ve ilgili sonuçları sonraki eylemlere gönder.
• Güvenlik ve emniyet: Ek sahne bağlamı istemeden önce belirli senaryolardaki kişileri veya nesneleri algıla.
• Veri kümesi geliştirme: Güven düzeyi düşük örnekleri bul ve odaklı bir inceleme kümesinde topla.

Her iş akışı, tek bir koşuldan birden fazla eyleme dallanabilir. Örneğin eşleşen görüntünün aynısı hem bir veri kümesine kaydedilebilir hem de bir Slack mesajını tetikleyebilir; böylece ekipler kanıtı saklarken incelemeden sorumlu kişilere bildirim gönderebilir.

Görsel prototipten şeffaf Python koduna#

Görsel iş akışı oluşturucular denemeleri hızlandırabilir; ancak teknik ekiplerin çalışan sistem hakkında görünürlüğe de ihtiyacı vardır.

Agents, kullanıcıların bir iş akışından oluşturulan Python kodunu incelemesini sağlar. Böylece görsel tuvalin erişilebilirliği, geliştiricilerin temel uygulamayı anlamak için ihtiyaç duyduğu şeffaflıkla birleşir.

Ekipler küçük bir iş akışını paylaşılan deneme sürümüyle test edebilir veya daha büyük veri kümeleri, daha uzun çalıştırmalar ve çalışma alanında eğitilmiş modeller için özel Platform dağıtım kaynaklarını seçebilir.

Agents ile oluşturmaya başla#

Ultralytics Agents, ekiplerin tekil tahminlerin ötesine geçerek bağlantılı görsel yapay zekâ iş akışları oluşturmasına yardımcı olur. YOLO'yu, görsel-dil modellerini, yapılandırılabilir koşulları, veri kümelerini ve eylemleri tek bir tuvalde bir araya getiren Agents, tahminden uygulamaya dönük sonuca daha hızlı ulaşmayı sağlar.

Agents şu anda Erken erişim üzerinden kullanılabilir. Kişisel çalışma alanına geç ve Settings > Profile bölümünden Erken erişimi etkinleştir. Bu, ekip çalışma alanında çalışırken de geçerli olan kişisel bir tercihtir.

Ardından kenar çubuğundan Agents'ı aç, bir şablonla başla veya Agents tuvalinde kendi iş akışını oluştur. Desteklenen bloklar, koşullar, yürütme seçenekleri ve kurulum yönergeleri hakkında Ultralytics Agents belgelerinde bilgi edin.