Ultralytics Agents ile Tanışın: Görsel yapay zeka iş akışlarını daha hızlı oluştur

Güçlü bir bilgisayarla görme modeli eğitmek, sürecin yalnızca bir parçasıdır. Sonraki zorluk, model bir tahmin yaptığında ne olması gerektiğine karar vermektir: bir görseli kaydetmek, daha fazla bağlam istemek, bir ekibi uyarmak veya inceleme için belirsiz bir örneği toplamak.

Geçmişte ekipler bu düzenlemeyi ayrı betikler ve entegrasyonlar kullanarak oluşturuyordu. Ultralytics Agents, bunu görsel bir tuvale taşıyarak ekiplerin tahminleri daha az özel geliştirme ile pratik eylemlere dönüştürmesine yardımcı olur.

Ultralytics Platform üzerinde sunulan Agents; görselleri, Ultralytics YOLO modellerini, dağıtımları, koşulları, dil modellerini, veri kümelerini ve eylemleri yeniden kullanılabilir görsel iş akışlarında birbirine bağlar.

Ultralytics Agents Nedir?#

Agents, bilgisayarla görme iş akışları tasarlamak ve çalıştırmak için görsel bir yol sağlar. Tuvale bloklar ekle, her adımı birbirine bağla ve bir görsel belirli bir koşulu karşıladığında ne olması gerektiğini tanımla.

Bir iş akışı, resmi bir YOLO26 modeli, çalışma alanında eğitilmiş bir model veya mevcut bir Platform dağıtımı kullanabilir. Ardından tahminleri sınıf sayısına veya güven düzeyine göre filtreleyebilir, seçilen görselleri bir vizyon-dil modeline gönderebilir, bunları bir veri kümesinde toplayabilir, bir Slack kanalını bilgilendirebilir veya sonucu görüntüleyebilir.

Agents ile şunları yapabilirsin:

• Görsel olarak oluştur: Eksiksiz iş akışını sıfırdan manuel olarak oluşturmadan modelleri, koşulları ve eylemleri birbirine bağla.
• Dikkatini odakla: Yalnızca tanımladığın kriterleri karşılayan görselleri işle.
• Görsel ve dil zekasını birleştir: Bir vizyon-dil modelinden ek bağlam istemeden önce neyin önemli olduğunu belirlemek için YOLO kullan.
• Tahminleri eyleme dönüştür: İlgili görselleri kaydet, koşullu Slack uyarıları gönder veya sonuçları sonraki iş akışı adımına aktar.
• Üretim içgörülerini verilerle bağla: İnceleme ve gelecekteki model geliştirme için belirsiz veya önemli görselleri topla.
• Uygulamayı incele: Görsel iş akışından oluşturulan Python kodunu görüntüle.

"Model neyi tespit etti?" sorusunda durmak yerine, ekipler çok daha değerli olan "Sonra ne olmalı?" sorusunu yanıtlayabilir.

Algılamadan karara geç#

Birçok görme yapay zekası sistemi, birden fazla araç ve özel bağlantı gerektirir. Bir model tahminler üretir, uygulama mantığı bunları değerlendirir, başka bir sistem ilgili girdileri saklar ve ayrı bir entegrasyon bildirimler gönderir.

Agents, bu adımları tek bir görsel iş akışında birleştirir.

Örneğin bir üretim ekibi eğitilmiş bir denetim modelini çalıştırabilir, bir kusurun seçilen bir eşiği karşılayıp karşılamadığını kontrol edebilir, görseli inceleme için kaydedebilir ve bir operasyon kanalını uyarabilir. Bir lojistik ekibi, eğitim verilerindeki boşlukları belirlemek için düşük güvenli algılamaları toplayabilir. Bir güvenlik ekibi, bir vizyon-dil modelinden daha geniş sahnesini tanımlamasını istemeden önce kısıtlı bir alandaki bir kişiyi tespit etmek için YOLO kullanabilir.

İş akışı, kullanıcı tarafından belirlenen koşulları takip eder ve her akış sonu adımının neden çalıştığını veya neden çalışmadığını netleştirir.

Ultralytics YOLO ve vizyon-dil modellerini birlikte kullan#

YOLO modelleri, görseller içindeki nesneleri konumlandırma, sınıflandırma ve sayma konusunda etkilidir. Vizyon-dil modelleri, daha geniş görsel bağlamın doğal dilde yorumlanmasını ekleyebilir.

Agents, bu yetenekleri verimli bir şekilde birleştirmeyi mümkün kılar. YOLO ilk filtre görevi görebilir ve iş akışının yalnızca bir görsel gerekli koşulu karşıladığında bir vizyon-dil modelini çağırmasına izin verebilir.

Örneğin bir iş akışı şu adımları içerebilir:

1. Bir görsel üzerinde YOLO26 çalıştır.
2. En az bir kişinin tespit edilip edilmediğini kontrol et.
3. Eşleşen görselleri seçilen bir vizyon-dil modeline gönder.
4. Ondan sahneyi tanımlamasını iste.
5. Ortaya çıkan açıklamayı görüntüle.

Koşul karşılanmazsa, açıklama adımı çalışmaz. Bu, ekiplere hangi görsellerin iş akışında ilerleyeceği ve harici model çağrılarının ne zaman kullanılacağı konusunda daha fazla kontrol sağlar.

Düzenlenebilir bir iş akışı şablonuyla başla#

Agents, ekiplerin bir fikirden çalışan bir görsel yapay zeka iş akışına hızlı bir şekilde geçmesine yardımcı olan şablonlar içerir.

• YOLO → VLM Monitor: Bir vizyon-dil modelinden açıklamalarını istemeden önce ilgili görselleri belirlemek için YOLO kullan.
• Collect Uncertain Detections: Tahminleri güven düzeyine göre filtrele ve inceleme için belirsiz görselleri bir veri kümesinde topla.
• Capture and Alert: Bir algılama koşulu karşılandığında bir görseli kaydet ve bir Slack bildirimi gönder.

Şablonlar sabit bir çözümden ziyade pratik bir başlangıç noktası sağlar. Ekipler kendi görsellerini, modellerini, dağıtımlarını, koşullarını, istemlerini, hedef veri kümelerini ve entegrasyonlarını seçebilir.

Kullanıcılar ayrıca bir iş akışı tarafından oluşturulan Python kodunu inceleyebilir; böylece görsel geliştirmenin hızı, teknik ekiplerin uygulamayı anlamak için ihtiyaç duyduğu şeffaflıkla birleştirilir.

Dağıtım ve model iyileştirme arasındaki döngüyü tamamla#

Gerçek dünya görselleri, eğitim sırasında eksik olan veya yetersiz temsil edilen koşulları ortaya çıkarabilir. Yeni ortamlar, değişen nesne görünümleri ve belirsiz algılamaların tümü bir modeli iyileştirme fırsatlarına işaret edebilir.

Agents, ekiplerin bu gözlemleri eyleme geçirilebilir bir veri döngüsüne dönüştürmesine yardımcı olur:

1. Görselleri bir Ultralytics YOLO modeli veya Platform dağıtımı üzerinden çalıştır.
2. Sınıf veya güven koşullarını kullanarak sonuçları filtrele.
3. Seçilen orijinal görselleri bir hedef veri kümesinde topla.
4. Görselleri Ultralytics Platform üzerinde incele ve etiketle.
5. Gerçek dünya girdilerinden elde edilen verileri kullanarak yeniden eğit ve yeniden dağıt.

Agents aracılığıyla toplanan görseller, hedef veri kümesinin train bölümüne etiketlenmemiş olarak gelir ve etiketleme düzenleyicisinde incelemeye hazırdır. Ekipler bu hedeflenen örnekleri etiketleyebilir ve sonraki model yinelemesine rehberlik etmek için bunları kullanabilir.

Bu, zor bir örneği belirlemekten daha iyi eğitim verileri hazırlamaya kadar daha doğrudan bir yol oluşturur.

Gerçek dünya sonuçları etrafında iş akışları oluştur#

Agents, sektörler ve kullanım örnekleri genelinde iş akışlarını destekleyebilir:

• Manufacturing: Olası kusurları inceleme için yakala ve tanımlanan koşullar karşılandığında kalite ekiplerini bilgilendir.
• Logistics: Veri kümesi kapsamını iyileştirmek için konteynerleri, araçları veya ekipmanları içeren belirsiz algılamaları topla.
• Retail: Algılanan sınıflara veya sayılara göre görselleri filtrele ve ilgili sonuçları akış sonu eylemlerine gönder.
• Safety and security: Ek saha bağlamı istemeden önce belirtilen senaryolarda insanları veya nesneleri tespit et.
• Dataset development: Düşük güvenli örnekleri bul ve bunları odaklanılmış bir inceleme kümesinde bir araya getir.

Her iş akışı tek bir koşuldan birden fazla eyleme dallanabilir. Örneğin, eşleşen aynı görsel bir veri kümesine kaydedilebilir ve bir Slack mesajı tetikleyebilir; bu da ekiplerin kanıtları saklarken onu incelemekten sorumlu kişileri bilgilendirmesine yardımcı olur.

Görsel prototipten şeffaf Python koduna#

Görsel iş akışı oluşturucuları denemeleri hızlandırabilir, ancak teknik ekiplerin de neyin çalıştığı konusunda görünürlüğe ihtiyacı vardır.

Agents, kullanıcıların bir iş akışından oluşturulan Python kodunu incelemesine olanak tanır. Bu, görsel bir tuvalin erişilebilirliğini, geliştiricilerin alttaki uygulamayı anlamak için ihtiyaç duyduğu şeffaflıkla birleştirir.

Ekipler paylaşılan deneme sürümüyle küçük bir iş akışını test edebilir veya daha büyük veri kümeleri, daha uzun çalıştırmalar ve eğitilmiş çalışma alanı modelleri için özel Platform dağıtım kaynakları seçebilir.

Agents ile oluşturmaya başla#

Ultralytics Agents, ekiplerin izole tahminlerin ötesine geçmesine ve birbirine bağlı görsel yapay zeka iş akışları oluşturmasına yardımcı olur. YOLO'yu, vizyon-dil modellerini, yapılandırılabilir koşulları, veri kümelerini ve eylemleri tek bir tuvalde bir araya getiren Agents, tahminden pratik sonuca giden daha hızlı bir yol oluşturur.

Agents şu anda Early access aracılığıyla kullanılabilmektedir. Kişisel çalışma alanına geç ve Settings > Profile altında Early access seçeneğini etkinleştir. Bu, bir ekip çalışma alanında çalışırken bile kişisel bir tercihtir.

Ardından kenar çubuğundan Agents öğesini aç, bir şablonla başla veya Agents canvas üzerinde kendi iş akışını oluştur. Desteklenen blokları, koşulları, yürütme seçeneklerini ve kurulum rehberliğini Ultralytics Agents documentation içinde keşfet.