Ultralytics Agents: Visuelle KI-Workflows schneller erstellen

Ein leistungsstarkes Computer-Vision-Modell zu trainieren, ist nur ein Teil des Weges. Die nächste Herausforderung besteht darin, zu entscheiden, was geschehen soll, wenn das Modell eine Vorhersage trifft: ein Bild speichern, weiteren Kontext anfordern, ein Team benachrichtigen oder ein unsicheres Beispiel zur Prüfung sammeln.

Bisher entwickelten Teams diese Orchestrierung mithilfe separater Skripte und Integrationen. Ultralytics Agents bringt sie auf eine visuelle Arbeitsfläche und hilft Teams, Vorhersagen mit weniger individueller Entwicklungsarbeit in praktische Aktionen umzusetzen.

Agents ist in der Ultralytics Platform verfügbar und verbindet Bilder, Ultralytics-YOLO-Modelle, Bereitstellungen, Bedingungen, Sprachmodelle, Datensätze und Aktionen in wiederverwendbaren visuellen Workflows.

Was sind Ultralytics Agents?#

Agents bieten eine visuelle Möglichkeit, Computer-Vision-Workflows zu entwerfen und auszuführen. Füge Blöcke zur Arbeitsfläche hinzu, verbinde die einzelnen Schritte und lege fest, was geschehen soll, wenn ein Bild eine bestimmte Bedingung erfüllt.

Ein Workflow kann ein offizielles YOLO26-Modell, ein in deinem Arbeitsbereich trainiertes Modell oder eine bestehende Platform-Bereitstellung verwenden. Anschließend kann er Vorhersagen nach Klassenanzahl oder Konfidenz filtern, ausgewählte Bilder an ein Vision-Language-Modell senden, sie in einem Datensatz sammeln, einen Slack-Kanal benachrichtigen oder das Ergebnis anzeigen.

Mit Agents kannst du:

• Visuell erstellen: Verbinde Modelle, Bedingungen und Aktionen, ohne den vollständigen Workflow von Grund auf manuell erstellen zu müssen.
• Aufmerksamkeiten gezielt lenken: Verarbeite nur Bilder, die die von dir festgelegten Kriterien erfüllen.
• Visuelle und sprachliche Intelligenz kombinieren: Nutze YOLO, um relevante Inhalte zu erkennen, bevor du ein Vision-Language-Modell um zusätzlichen Kontext bittest.
• Vorhersagen in Aktionen umsetzen: Speichere relevante Bilder, sende bedingte Slack-Benachrichtigungen oder übergib Ergebnisse an den nächsten Workflowschritt.
• Erkenntnisse aus der Produktion mit Daten verknüpfen: Sammle unsichere oder wichtige Bilder zur Überprüfung und für die zukünftige Modellentwicklung.
• Die Implementierung überprüfen: Sieh dir den Python-Code an, der aus deinem visuellen Workflow generiert wurde.

Anstatt bei „Was hat das Modell erkannt?“ stehenzubleiben, können Teams die wertvollere Frage beantworten: „Was sollte als Nächstes geschehen?“

Von der Erkennung zur Entscheidung#

Viele Computer-Vision-Systeme erfordern mehrere Tools und individuell erstellte Verbindungen. Ein Modell erstellt Vorhersagen, die Anwendungslogik wertet sie aus, ein weiteres System speichert relevante Eingaben und eine separate Integration versendet Benachrichtigungen.

Agents vereint diese Schritte in einem visuellen Workflow.

Ein Fertigungsteam könnte beispielsweise ein trainiertes Prüfmodell ausführen, überprüfen, ob ein Defekt einen ausgewählten Schwellenwert erreicht, das Bild zur Überprüfung speichern und einen Betriebskanal benachrichtigen. Ein Logistikteam könnte Vorhersagen mit geringer Konfidenz sammeln, um Lücken in den Trainingsdaten aufzudecken. Ein Sicherheitsteam könnte YOLO einsetzen, um eine Person in einem gesperrten Bereich zu erkennen, bevor ein Vision-Language-Modell die weitere Szene beschreibt.

Der Workflow folgt den vom Benutzer festgelegten Bedingungen. So ist klar, warum jeder nachgelagerte Schritt ausgeführt wird oder nicht.

Ultralytics YOLO und Vision-Language-Modelle gemeinsam nutzen#

YOLO-Modelle eignen sich gut dazu, Objekte in Bildern zu lokalisieren, zu klassifizieren und zu zählen. Vision-Language-Modelle können eine natürlichsprachliche Interpretation des umfassenderen visuellen Kontexts ergänzen.

Mit Agents lassen sich diese Fähigkeiten effizient kombinieren. YOLO kann als erster Filter dienen, sodass der Workflow ein Vision-Language-Modell nur dann aufruft, wenn ein Bild die erforderliche Bedingung erfüllt.

Ein Workflow könnte beispielsweise:

1. YOLO26 auf ein Bild anwenden.
2. Prüfen, ob mindestens eine Person erkannt wurde.
3. Passende Bilder an ein ausgewähltes Vision-Language-Modell senden.
4. Das Modell bitten, die Szene zu beschreiben.
5. Die resultierende Beschreibung anzeigen.

Wird die Bedingung nicht erfüllt, wird der Beschreibungsschritt nicht ausgeführt. So können Teams besser steuern, welche Bilder den Workflow durchlaufen und wann externe Modellaufrufe erfolgen.

Mit einer bearbeitbaren Workflow-Vorlage starten#

Agents bietet Vorlagen, mit denen Teams schnell von einer Idee zu einem funktionierenden visuellen KI-Workflow gelangen.

• YOLO → VLM-Monitor: Verwende YOLO, um relevante Bilder zu erkennen, bevor ein Vision-Language-Modell sie beschreibt.
• Unsichere Erkennungen sammeln: Filtere Vorhersagen nach Konfidenz und sammle unsichere Bilder zur Überprüfung in einem Datensatz.
• Erfassen und benachrichtigen: Speichere ein Bild und sende eine Slack-Benachrichtigung, wenn eine Erkennungsbedingung erfüllt ist.

Vorlagen bieten einen praktischen Ausgangspunkt und keine starre Lösung. Teams können eigene Bilder, Modelle, Bereitstellungen, Bedingungen, Prompts, Zieldatensätze und Integrationen auswählen.

Benutzer können auch den von einem Workflow generierten Python-Code überprüfen. So verbinden sie die Geschwindigkeit der visuellen Entwicklung mit der Transparenz, die technische Teams benötigen, um die Implementierung zu verstehen.

Den Kreislauf zwischen Bereitstellung und Modellverbesserung schließen#

Bilder aus der realen Welt können Bedingungen aufzeigen, die beim Training fehlten oder unterrepräsentiert waren. Neue Umgebungen, verändertes Aussehen von Objekten und unsichere Erkennungen können allesamt auf Möglichkeiten zur Modellverbesserung hinweisen.

Agents hilft Teams, solche Beobachtungen in einen umsetzbaren Datenkreislauf zu überführen:

1. Ausführen: Bilder durch ein Ultralytics-YOLO-Modell oder eine Platform-Bereitstellung verarbeiten.
2. Filtern: Ergebnisse anhand von Klassen- oder Konfidenzbedingungen filtern.
3. Sammeln: Ausgewählte Originalbilder in einem Zieldatensatz zusammenführen.
4. Überprüfen und annotieren: Bilder in Ultralytics Platform bearbeiten.
5. Erneut trainieren und bereitstellen: Daten verwenden, die durch Eingaben aus der realen Welt ergänzt wurden.

Über Agents gesammelte Bilder kommen unbeschriftet im Trainingssplit des Zieldatensatzes an und können im Annotationseditor überprüft werden. Teams können diese gezielt ausgewählten Beispiele labeln und damit die nächste Modellversion verbessern.

Dadurch entsteht ein direkterer Weg vom Erkennen eines schwierigen Beispiels bis zur Erstellung besserer Trainingsdaten.

Workflows auf Ergebnisse aus der realen Welt ausrichten#

Agents kann Workflows in verschiedenen Branchen und Anwendungsbereichen unterstützen:

• Fertigung: Mögliche Defekte zur Überprüfung erfassen und Qualitätsteams benachrichtigen, wenn festgelegte Bedingungen erfüllt sind.
• Logistik: Unsichere Erkennungen von Containern, Fahrzeugen oder Ausrüstung sammeln, um die Abdeckung des Datensatzes zu verbessern.
• Einzelhandel: Bilder anhand erkannter Klassen oder Anzahlen filtern und relevante Ergebnisse an nachgelagerte Aktionen senden.
• Sicherheit und Schutz: Personen oder Objekte in bestimmten Szenarien erkennen, bevor zusätzlicher Szenenkontext angefordert wird.
• Entwicklung von Datensätzen: Beispiele mit geringer Konfidenz finden und zu einer gezielten Prüfgruppe zusammenstellen.

Jeder Workflow kann eine Bedingung mit mehreren Aktionen verknüpfen. So kann beispielsweise dasselbe passende Bild in einem Datensatz gespeichert und gleichzeitig eine Slack-Nachricht ausgelöst werden. Dadurch können Teams Belege sichern und zugleich die für die Prüfung zuständigen Personen benachrichtigen.

Vom visuellen Prototyp zu transparentem Python-Code#

Visuelle Workflow-Editoren können Experimente beschleunigen, doch technische Teams müssen auch nachvollziehen können, was ausgeführt wird.

Mit Agents können Benutzer den Python-Code überprüfen, der aus einem Workflow generiert wurde. So verbindet sich die einfache Bedienung einer visuellen Arbeitsfläche mit der Transparenz, die Entwickler benötigen, um die zugrunde liegende Implementierung zu verstehen.

Teams können einen kleinen Workflow mit dem gemeinsamen Testzugang ausprobieren oder dedizierte Platform-Bereitstellungsressourcen für größere Datensätze, längere Ausführungen und im Arbeitsbereich trainierte Modelle auswählen.

Mit Agents loslegen#

Ultralytics Agents hilft Teams dabei, über einzelne Vorhersagen hinauszugehen und verknüpfte visuelle KI-Workflows aufzubauen. Indem YOLO, Vision-Language-Modelle, konfigurierbare Bedingungen, Datensätze und Aktionen auf einer Arbeitsfläche zusammengeführt werden, ermöglicht Agents einen schnelleren Weg von der Vorhersage zum praktischen Ergebnis.

Agents ist derzeit über den Early Access verfügbar. Wechsle zu deinem persönlichen Arbeitsbereich und aktiviere Early Access unter Einstellungen > Profil. Dies ist eine persönliche Einstellung, auch wenn du in einem Teamarbeitsbereich arbeitest.

Klicke dann in der Seitenleiste auf Agents, beginne mit einer Vorlage oder erstelle deinen eigenen Workflow auf der Agents-Arbeitsfläche. Weitere Informationen zu unterstützten Blöcken, Bedingungen, Ausführungsoptionen und zur Einrichtung findest du in der Ultralytics-Agents-Dokumentation.