Wir stellen Ultralytics Agents vor: Erstelle visuelle KI-Workflows schneller

Das Training eines starken Computer-Vision-Modells ist nur ein Teil des Weges. Die nächste Herausforderung besteht darin, zu entscheiden, was passieren soll, wenn dieses Modell eine Vorhersage trifft: ein Bild speichern, mehr Kontext anfordern, ein Team alarmieren oder ein unsicheres Beispiel zur Überprüfung erfassen.

Bisher haben Teams diese Orchestrierung über separate Skripte und Integrationen aufgebaut. Ultralytics Agents bringt dies auf eine visuelle Leinwand und hilft Teams dabei, Vorhersagen mit weniger benutzerdefinierter Entwicklung in praktische Aktionen umzusetzen.

Erhältlich in Ultralytics Platform, verbindet Agents Bilder, Ultralytics YOLO-Modelle, Bereitstellungen, Bedingungen, Sprachmodelle, Datensätze und Aktionen in wiederverwendbaren visuellen Arbeitsabläufen.

Was sind Ultralytics Agents?#

Agents bieten eine visuelle Möglichkeit, Computer-Vision-Arbeitsabläufe zu entwerfen und auszuführen. Füge Blöcke zur Leinwand hinzu, verbinde jeden Schritt und lege fest, was passieren soll, wenn ein Bild eine bestimmte Bedingung erfüllt.

Ein Arbeitsablauf kann ein offizielles YOLO26-Modell, ein in deinem Arbeitsbereich trainiertes Modell oder eine bestehende Platform-Bereitstellung verwenden. Er kann dann Vorhersagen nach Klassenanzahl oder Konfidenz filtern, ausgewählte Bilder an ein Vision-Language-Modell senden, sie in einem Datensatz sammeln, einen Slack-Kanal benachrichtigen oder das Ergebnis anzeigen.

Mit Agents kannst du:

• Visuell erstellen: Verbinde Modelle, Bedingungen und Aktionen, ohne den vollständigen Arbeitsablauf manuell von Grund auf neu erstellen zu müssen.
• Aufmerksamkeit fokussieren: Verarbeite nur die Bilder, die den von dir definierten Kriterien entsprechen.
• Visuelle und sprachliche Intelligenz kombinieren: Verwende YOLO, um zu identifizieren, worauf es ankommt, bevor du ein Vision-Language-Modell nach zusätzlichem Kontext fragst.
• Vorhersagen in Aktionen umsetzen: Speichere relevante Bilder, sende bedingte Slack-Benachrichtigungen oder leite Ergebnisse an den nächsten Schritt des Arbeitsablaufs weiter.
• Produktionserkenntnisse mit Daten verbinden: Erfasse unsichere oder wichtige Bilder zur Überprüfung und für die zukünftige Modellentwicklung.
• Die Implementierung überprüfen: Sieh dir das Python an, das aus deinem visuellen Arbeitsablauf generiert wurde.

Anstatt bei „Was hat das Modell erkannt?“ stehen zu bleiben, können Teams die wertvollere Frage beantworten: „Was sollte als Nächstes passieren?“

Von der Erkennung zur Entscheidung übergehen#

Viele Vision-KI-Systeme erfordern mehrere Tools und benutzerdefinierte Verbindungen. Ein Modell generiert Vorhersagen, Anwendungslogik bewertet diese, ein weiteres System speichert relevante Eingaben, und eine separate Integration sendet Benachrichtigungen.

Agents führen diese Schritte in einem einzigen visuellen Arbeitsablauf zusammen.

Ein Fertigungsteam könnte beispielsweise ein trainiertes Inspektionsmodell ausführen, prüfen, ob ein Defekt einen gewählten Schwellenwert erreicht, das Bild zur Überprüfung speichern und einen Betriebskanal alarmieren. Ein Logikteam könnte Erkennungen mit geringer Konfidenz sammeln, um Lücken in seinen Trainingsdaten zu identifizieren. Ein Sicherheitsteam könnte YOLO verwenden, um eine Person in einem Sperrgebiet zu erkennen, bevor ein Vision-Language-Modell aufgefordert wird, die breitere Szene zu beschreiben.

Der Arbeitsablauf folgt den vom Benutzer festgelegten Bedingungen, wodurch klar wird, warum jeder nachgelagerte Schritt ausgeführt wird oder nicht ausgeführt wird.

Ultralytics YOLO und Vision-Language-Modelle gemeinsam nutzen#

YOLO-Modelle sind effektiv beim Lokalisieren, Klassifizieren und Zählen von Objekten in Bildern. Vision-Language-Modelle können eine natural-language-Interpretation des breiteren visuellen Kontexts hinzufügen.

Agents machen es möglich, diese Funktionen effizient zu kombinieren. YOLO kann als erster Filter dienen, sodass der Arbeitsablauf ein Vision-Language-Modell nur dann aufrufen kann, wenn ein Bild die erforderliche Bedingung erfüllt.

Ein Arbeitsablauf könnte beispielsweise Folgendes tun:

1. YOLO26 auf einem Bild ausführen.
2. Prüfen, ob mindestens eine Person erkannt wurde.
3. Passende Bilder an ein ausgewähltes Vision-Language-Modell senden.
4. Es auffordern, die Szene zu beschreiben.
5. Die resultierende Beschreibung anzeigen.

Wenn die Bedingung nicht erfüllt ist, wird der Beschreibungsschritt nicht ausgeführt. Dies gibt Teams eine größere Kontrolle darüber, welche Bilder den Arbeitsablauf durchlaufen und wann externe Modellaufrufe verwendet werden.

Mit einer bearbeitbaren Arbeitsablaufvorlage beginnen#

Agents enthalten Vorlagen, die Teams dabei helfen, schnell von einer Idee zu einem funktionierenden visuellen KI-Arbeitsablauf zu gelangen.

• YOLO → VLM Monitor: Verwende YOLO, um relevante Bilder zu identifizieren, bevor ein Vision-Language-Modell aufgefordert wird, sie zu beschreiben.
• Unsichere Erkennungen sammeln: Filter Vorhersagen nach Konfidenz und sammle unsichere Bilder zur Überprüfung in einem Datensatz.
• Erfassen und alarmieren: Speichere ein Bild und sende eine Slack-Benachrichtigung, wenn eine Erkennungsbedingung erfüllt ist.

Vorlagen bieten einen praktischen Ausgangspunkt anstelle einer festen Lösung. Teams können ihre eigenen Bilder, Modelle, Bereitstellungen, Bedingungen, Prompts, Zieldatensätze und Integrationen auswählen.

Benutzer können auch das von einem Arbeitsablauf generierte Python überprüfen und so die Geschwindigkeit der visuellen Entwicklung mit der Transparenz verbinden, die technische Teams benötigen, um die Implementierung zu verstehen.

Den Kreis zwischen Bereitstellung und Modellverbesserung schließen#

Echtweltbilder können Bedingungen aufdecken, die während des Trainings fehlten oder unterrepräsentiert waren. Neue Umgebungen, sich ändernde Objekterscheinungen und unsichere Erkennungen können allesamt auf Möglichkeiten zur Verbesserung eines Modells hinweisen.

Agents helfen Teams dabei, diese Beobachtungen in eine umsetzbare Datenschleife umzuwandeln:

1. Leite Bilder durch ein Ultralytics YOLO-Modell oder eine Platform-Bereitstellung.
2. Filter die Ergebnisse mithilfe von Klassen- oder Konfidenzbedingungen.
3. Sammle ausgewählte Originalbilder in einem Zieldatensatz.
4. Überprüfe und annotiere die Bilder in Ultralytics Platform.
5. Trainiere sie neu und stelle sie unter Verwendung von Daten neu bereit, die durch Echtwelteingaben informiert wurden.

Durch Agents gesammelte Bilder kommen unbeschriftet im Train-Split des Zieldatensatzes an und sind bereit für die Überprüfung im Annotationseditor. Teams können diese zielgerichteten Beispiele beschriften und nutzen, um die nächste Modelliteration zu steuern.

Dies schafft einen direkteren Weg von der Identifizierung eines schwierigen Beispiels bis zur Vorbereitung besserer Trainingsdaten.

Arbeitsabläufe rund um reale Ergebnisse aufbauen#

Agents können Arbeitsabläufe über Branchen und Anwendungsfälle hinweg unterstützen:

• Fertigung: Erfasse mögliche Defekte zur Überprüfung und benachrichtige Qualitätsteams, wenn definierte Bedingungen erfüllt sind.
• Logistik: Sammle unsichere Erkennungen mit Containern, Fahrzeugen oder Ausrüstung, um die Datensatzabdeckung zu verbessern.
• Einzelhandel: Filter Bilder basierend auf erkannten Klassen oder Anzahl und sende relevante Ergebnisse an nachgelagerte Aktionen.
• Sicherheit und Schutz: Erkenne Personen oder Objekte in angegebenen Szenarien, bevor zusätzlicher Szenenkontext angefordert wird.
• Datensatzentwicklung: Finde Beispiele mit geringer Konfidenz und fasse sie in einem fokussierten Überprüfungssatz zusammen.

Jeder Arbeitsablauf kann von einer Bedingung in mehrere Aktionen verzweigen. Beispielsweise kann dasselbe passende Bild in einem Datensatz gespeichert werden und eine Slack-Nachricht auslösen, was Teams dabei hilft, Beweise zu sichern und gleichzeitig die dafür verantwortlichen Personen zu benachrichtigen.

Vom visuellen Prototyp zum transparenten Python#

Visuelle Arbeitsablauf-Builder können das Experimentieren beschleunigen, aber technische Teams benötigen auch Einblick in das, was läuft.

Mit Agents können Benutzer das aus einem Arbeitsablauf generierte Python überprüfen. Dies verbindet die Zugänglichkeit einer visuellen Leinwand mit der Transparenz, die Entwickler benötigen, um die zugrundeliegende Implementierung zu verstehen.

Teams können einen kleinen Arbeitsablauf mit der gemeinsamen Testversion testen oder dedizierte Platform-Bereitstellungsressourcen für größere Datensätze, längere Läufe und trainierte Arbeitsbereichsmodelle auswählen.

Mit dem Erstellen mit Agents beginnen#

Ultralytics Agents hilft Teams dabei, über isolierte Vorhersagen hinauszugehen und vernetzte visuelle KI-Arbeitsabläufe aufzubauen. Indem YOLO, Vision-Language-Modelle, konfigurierbare Bedingungen, Datensätze und Aktionen auf einer einzigen Leinwand zusammengeführt werden, schaffen Agents einen schnelleren Weg von der Vorhersage zum praktischen Ergebnis.

Agents ist derzeit im Early access verfügbar. Wechsle zu deinem persönlichen Arbeitsbereich und aktiviere Early access unter Einstellungen > Profil. Dies ist eine persönliche Einstellung, auch wenn du in einem Team-Arbeitsbereich arbeitest.

Öffne dann Agents in der Seitenleiste, beginne mit einer Vorlage oder baue deinen eigenen Arbeitsablauf auf der Agents canvas auf. Erkunde unterstützte Blöcke, Bedingungen, Ausführungsoptionen und Anleitungen zur Einrichtung in der Ultralytics Agents documentation.