So wandelst du YOLO-Erkennungen mit Ultralytics Agents ohne Code in Benachrichtigungen um

Du kannst Ultralytics YOLO-Erkennungen ohne Programmierung in Benachrichtigungen umwandeln, indem du einen visuellen Arbeitsablauf in Ultralytics Agents erstellst, einem Teil der Ultralytics Platform. Verbinde ein Bild mit einem YOLO-Modell, füge einen Gate-Block hinzu, der prüft, was das Modell erkannt hat, und leite das Ergebnis an eine Slack-Nachricht, einen Webhook oder einen Datensatz weiter. In dieser Anleitung erstellst du den Arbeitsablauf Schritt für Schritt anhand der Vorlage „Erfassen und benachrichtigen“ und erweiterst ihn anschließend, indem du ein zweites Modell verknüpfst, den Ablauf speicherst, ihn mit neuen Bildern erneut ausführst und als Python exportierst.

Was du erstellen wirst#

Der fertige Arbeitsablauf prüft ein Bild mit einem YOLO26-Modell und führt nur dann, wenn eine Person erkannt wird, drei Aktionen anhand derselben Bedingung aus:

• Sendet eine Slack-Nachricht an deinen verbundenen Kanal, einschließlich des Erkennungsergebnisses.
• Sendet einen JSON-Webhook an einen öffentlichen HTTPS-Endpunkt, der so konfiguriert ist, dass er deinen ausgewählten JSON-Inhalt annimmt, beispielsweise an ein Ticketsystem oder einen internen Dienst.
• Speichert das Bild in einem Datensatz, damit du es später beschriften und dein Modell erneut trainieren kannst.

Agents verbindet Bilder, Modelle, Bedingungen und Aktionen als Blöcke auf einer Arbeitsfläche. Die Funktion steht allen angemeldeten Nutzern der Ultralytics Platform in persönlichen und Team-Arbeitsbereichen zur Verfügung (Dokumentation zu Agents). Arbeitsabläufe werden ausgeführt, wenn du bei einem ausgewählten Bild, Video oder Datensatz auf Ausführen klickst; sie dienen nicht der kontinuierlichen Kameraüberwachung. Eine Übersicht über Agents und die Gründe für seine Entwicklung findest du unter Wir stellen Ultralytics Agents vor.

In dieser Anleitung verwendest du Bild → YOLO → Gate. Der Gate-Block verzweigt zu Slack, Webhook und einem Zieldatensatz. Eine vollständige Referenz zu den Blöcken und weitere Muster für Arbeitsabläufe findest du in der Dokumentation zu Agents.

Schritt 1: Vorlage „Erfassen und benachrichtigen“ laden#

Öffne Agents in der Seitenleiste der Platform, klicke auf Block hinzufügen, wechsle zu Vorlagen und wähle Erfassen und benachrichtigen. Beim Laden einer Vorlage werden die Blöcke auf der aktuellen Arbeitsfläche ersetzt. Die Platform bittet dich vorher um Bestätigung.

Die Vorlage Erfassen und benachrichtigen verknüpft die Bedingung zur Personenerkennung bereits mit der Datensatzerfassung und Slack. Richte diese Ziele ein und füge unten einen Webhook-Zweig hinzu. Die anderen Vorlagen, YOLO → VLM-Überwachung und Unsichere Erkennungen sammeln, bieten bearbeitbare Ausgangspunkte, um Szenen zu beschreiben und Prüfdatensätze zu erstellen.

Schritt 2: Eingabebild auswählen#

Wähle den Block Eingabebild aus und lege ein Bild fest, auf dem eine Person zu sehen ist. Du kannst das Bild entweder hochladen oder aus einem bereits hochgeladenen Datensatz auswählen. Verwende für diesen ersten Lauf mit der gemeinsamen Testumgebung ein Bild mit höchstens 4 Megapixeln. Hochgeladene Dateien bleiben in deinem Browser, bis du den Arbeitsablauf ausführst, und werden beim Aktualisieren der Seite gelöscht. Um mehrere Bilder zu verarbeiten, ersetze den Bildblock durch einen Datensatzblock, wähle Quelldatensatz und Teilmenge aus, lege die Eingabegrenze fest und verbinde ihn mit dem YOLO-Block.

Schritt 3: YOLO-Modell und Konfidenz auswählen#

Wähle den Block Personen erkennen aus. Die Vorlage verwendet YOLO26 nano (yolo26n), also das Modell, das in der gemeinsamen Testumgebung ausgeführt wird. Um ein anderes offizielles YOLO-Modell oder ein in deinem Arbeitsbereich trainiertes Modell zu verwenden, etwa einen benutzerdefinierten Defekt- oder PSA-Detektor, wähle es im Feld Modell dieses Blocks aus und lege in Schritt 7 eine dedizierte Bereitstellung für die Ausführung des Arbeitsablaufs fest. Mit der Einstellung Mindestkonfidenz der Erkennung werden weniger sichere Erkennungen verworfen, bevor eine Bedingung ausgeführt wird. Verringere den Wert, wenn der Arbeitsablauf auch auf weniger sichere Erkennungen reagieren soll.

Schritt 4: Bedingung im Gate-Block festlegen#

Der Gate-Block entscheidet, ob nachgelagerte Blöcke ausgeführt werden. Wähle in „Erfassen und benachrichtigen“ den Block Person erkannt aus und überprüfe seine Einstellungen:

• Modus: Bedingung
• Erkennungsmodell: Personen erkennen
• Messgröße: Erkennungsanzahl
• Klassenname: person
• Bedingung: Größer oder gleich
• Vergleichswert: 1

Ändere den Klassennamen so, dass er den Klassen deines Modells entspricht, oder verwende * für eine beliebige Klasse. Du kannst statt der Anzahl auch die Erkennungskonfidenz messen; setze die Mindestkonfidenz des YOLO-Blocks niedrig genug, damit die zu bewertenden Erkennungen erhalten bleiben. Konfidenzbedingungen sind erfüllt, wenn mindestens eine Erkennung passt. Ein Bild mit den Werten 0.3 und 0.9 erfüllt also einen Bereich von 0.25 bis 0.5. Bilder ohne Erkennungen erfüllen niemals eine Konfidenzbedingung. Wenn eine Bedingung nicht zutrifft, werden die damit verbundenen Aktionen für das betreffende Bild nicht ausgeführt.

Schritt 5: Slack und Webhook konfigurieren#

Slack. Verbinde Slack einmalig unter Einstellungen > Integrationen. In Team-Arbeitsbereichen übernimmt das ein Arbeitsbereichsadministrator oder -eigentümer. Bearbeite anschließend die Nachricht im Block Slack benachrichtigen. Verwende {output}, um das vorgelagerte Ergebnis einzufügen, wie in der Vorlage mit Person detected: {output}. Diese Workflow-Nachrichten sind unabhängig von den Benachrichtigungen der Platform zu Training und Bereitstellungen (Dokumentation zur Slack-Integration).

Webhook. Klicke auf Block hinzufügen, wähle im Tab „Blöcke“ den Eintrag Webhook aus und verbinde den Ausgang von Person erkannt damit. Lass die bestehenden Verbindungen zu Slack und zum Datensatz bestehen. Gib eine öffentliche HTTPS-Ziel-URL ein, die so konfiguriert ist, dass sie deinen JSON-Inhalt annimmt, beispielsweise {"text": "{output}"}. Die Platform sendet pro Ergebnis eine POST-Anfrage mit Content-Type: application/json. Der Inhalt darf bis zu 10.000 Zeichen umfassen. Weiterleitungen werden nicht verfolgt, nach 5 Sekunden läuft die Verbindung ab und eine Antwort außerhalb des 2xx-Bereichs lässt den Block fehlschlagen. Der Webhook-Block ist ein Endpunkt und gibt Ergebnisse nicht an nachfolgende Blöcke weiter.

Ein Gate-Ausgang kann gleichzeitig mit mehreren Blöcken verbunden werden, sodass Slack, der Webhook und der Datensatz dieselbe ausgewertete Bedingung verwenden. Ein fehlgeschlagener Block wird rot umrandet.

Schritt 6: Passende Bilder für das erneute Training speichern#

Wähle den Block Erfasste Bilder aus und lege einen vorhandenen Datensatz fest, den du bearbeiten kannst. Falls nötig, erstelle zuerst einen Datensatz mithilfe der Anleitung zum Erstellen von Datensätzen. Datensätze mit verbundenem Cloud-Speicher oder lokalem Speicher im eigenen Rechenzentrum können nicht als Ziel verwendet werden. Es gelten die üblichen Speicherlimits für Datensätze. Passende Bilder werden ohne Beschriftungen zum Trainingssplit des Datensatzes hinzugefügt; Bilder, die bereits im Datensatz vorhanden sind, werden übersprungen. Öffne den Datensatz im Anmerkungseditor, um die erfassten Bilder zu prüfen und zu beschriften, und verwende sie anschließend in deinem nächsten Trainingslauf auf der Platform.

Schritt 7: Ausführen, speichern und mit neuen Bildern erneut ausführen#

Wähle neben der Schaltfläche Ausführen aus, wo der Arbeitsablauf ausgeführt werden soll:

Ein Arbeitsablauf kann bis zu 20 Blöcke enthalten. Slack- und Webhook-Aktionen zählen als Modell- oder Anbieteraufrufe, und Verzweigungen können die Anzahl der Aufrufe pro Bild erhöhen. Während einer Ausführung zeigen die Blöcke den Fortschritt an. Du kannst auf Stopp klicken, um sie abzubrechen.

Wenn Eingabe und Ziele eingerichtet sind, klicke auf Ausführen. Prüfe die Ergebnisse der Blöcke und anschließend den verbundenen Slack-Kanal, deinen Webhook-Empfänger und den Zieldatensatz. Wenn keine Aktionen ausgeführt werden, prüfe, ob YOLO eine Person erkannt hat und ob die Gate-Bedingung erfüllt war. Trifft eine Bedingung nicht zu, werden die damit verbundenen Aktionen nicht ausgeführt.

Klicke auf Arbeitsablauf speichern, um den Arbeitsablauf zu benennen und ihn später über Arbeitsablauf öffnen erneut aufzurufen. Um ihn mit neuen Daten erneut auszuführen, öffne den gespeicherten Arbeitsablauf, wähle neue Bilder oder einen anderen Datensatz aus und klicke erneut auf Ausführen. Durch das Speichern werden keine Ausführungen geplant.

Schritt 8: Zweites Modell verknüpfen#

Wenn du zusätzlich zu „Ist eine Person zu sehen?“ auch „Was passiert gerade?“ beantworten möchtest, füge einen LLM-Block hinzu, verbinde den Gate-Block damit und verbinde den LLM-Block mit einem neuen Ausgabe-Block. Orientiere dich dabei an der Vorlage YOLO → VLM-Überwachung. Der Gate-Block wertet die Erkennungen von YOLO aus, und das Vision-Language-Modell beschreibt nur Bilder, die die Bedingung erfüllen. Wähle im LLM-Block ein Vision-Language-Modell aus und gib eine Eingabeaufforderung ein. Füge anschließend unter Einstellungen > API-Schlüssel den passenden Anbieterschlüssel hinzu. In einem Team-Arbeitsbereich fügt der Arbeitsbereichseigentümer den Schlüssel hinzu. Die Nutzung des Sprachmodells wird vom jeweiligen Anbieter abgerechnet. Um einen Vorhersageschritt über ein bereits bereitgestelltes Modell auszuführen, verwende einen Bereitstellungs-Block. Dieser ruft eine vorhandene, einsatzbereite Bereitstellung der Platform auf.

Schritt 9: Arbeitsablauf als Python exportieren oder über die API verwalten#

Klicke auf Python, um den generierten Code für den Arbeitsablauf anzuzeigen. Um ihn lokal auszuführen, installiere die Pakete ultralytics und ultralytics-platform, hinterlege alle Anbieterschlüssel in deiner Umgebung und wähle die Quelleingabe aus. Teams, die Arbeitsabläufe in Code verwalten, können die Agents API verwenden, die im Python SDK als client.agents (ultralytics-platform>=0.1.74) verfügbar ist, um Agents aufzulisten, zu speichern und zu löschen. Um eine Ausführung auf der Platform zu starten, öffne den gespeicherten Arbeitsablauf auf der Arbeitsfläche und klicke auf Ausführen.

Wann eine andere Lösung sinnvoll ist#

Agents eignet sich für ereignisgesteuerte Prüfungen von Bildern, Videoclips und Datensätzen, die du bei Bedarf ausführst. Für andere Aufgaben bieten sich andere Ansätze an:

• In Python programmieren. Für die kontinuierliche Verarbeitung eines Live-Kamerabilds erstellst du die Verarbeitungskette mit dem Ultralytics-Python-Paket. Unsere Anleitung zu einem Sicherheitsalarmsystem zeigt ein codebasiertes Benachrichtigungsprojekt mit Ultralytics YOLO26.
• Videoverarbeitung mit mehreren Streams. NVIDIA beschreibt DeepStream als Toolkit für Streaming-Analysen mit einem auf GStreamer basierenden Framework zum Aufbau von Inferenzverarbeitungsketten mit mehreren Streams und Modellen auf NVIDIA-GPUs.
• Allgemeine Automatisierungswerkzeuge. Node-RED beschreibt sich als werkzeuggestützte, flussbasierte Programmierumgebung mit einem browserbasierten Editor für Arbeitsabläufe. Sie eignet sich für Teams, die über Computer Vision hinausgehende Automatisierungen erstellen.