Verbesserung von Computer-Vision-Anwendungen mit Visualisierungen

Jede Minute werden riesige Datenmengen erzeugt, von Flughafenterminals und Bahnhöfen bis hin zu Einkaufszentren. Da KI immer häufiger eingesetzt wird, werden viele dieser Daten jetzt analysiert und aufgeschlüsselt. Aber manchmal können die Ergebnisse dieser KI-Modelle es erschweren, Muster zu erkennen oder Trends auf einen Blick zu verstehen. Hier hilft die Datenvisualisierung - sie verwandelt komplexe Ausgaben in klare, leicht verständliche Erkenntnisse.

Dies gilt insbesondere für Computer-Vision-Anwendungen. Computer Vision ist ein Zweig der künstlichen Intelligenz (KI), der Maschinen hilft, visuelle Informationen aus der Umgebung, wie z. B. Bilder und Videos, zu interpretieren und zu verstehen. Während Vision-KI-Modelle wie Ultralytics YOLO11 helfen können, solche visuellen Daten zu analysieren, um Informationen zu gewinnen, hilft die Datenvisualisierung, diese Informationen in ein leicht verständliches Format zu bringen.

Einfach ausgedrückt, die Datenvisualisierung schlägt eine Brücke zwischen Rohdaten und echtem Verständnis, indem sie aussagekräftige analytische Diagramme verwendet. In der heutigen datengesteuerten Welt ist dies von entscheidender Bedeutung, denn es reicht nicht aus, dass Maschinen nur Aufgaben ausführen - wir müssen sie dazu bringen, eine Geschichte zu erzählen.

Dieser Bedarf an Storytelling ist genau der Grund, warum die Datenvisualisierung auf dem Vormarsch ist, wobei der Markt bis 2030 voraussichtlich 18,36 Milliarden US-Dollar erreichen wird. Zuvor haben wir untersucht, wie Computer Vision wertvolle Business Insights liefern kann. Heute gehen wir noch einen Schritt weiter und zeigen Ihnen, wie Sie mit dem Ultralytics-Paket klare, aufschlussreiche analytische Diagramme für Computer-Vision-Anwendungen erstellen können. Los geht's!

‍

Ein Überblick über die Datenvisualisierung in Anwendungen der Computer Vision

Die Datenvisualisierung in Anwendungen der Computer Vision umfasst die Umwandlung der Ergebnisse von Computer-Vision-Aufgaben, wie Objekterkennung und -verfolgung, in leicht verständliche Diagramme oder Dashboards. Diese Visualisierungen helfen, Muster und Trends zu erkennen, insbesondere bei der Arbeit mit großen Mengen an Videomaterial. 

Anstatt beispielsweise stundenlang Überwachungsvideos manuell zu überprüfen, kann ein einfaches Liniendiagramm, das die Anzahl der erkannten Autos oder Personen im Zeitverlauf darstellt, schnell Spitzenzeiten oder ungewöhnlich ruhige Perioden hervorheben.

Hier sind einige Hauptgründe, warum Datenvisualisierung nützlich ist:

• Vereinfacht komplexe Daten: Tausende von Objekterkennungen können überwältigend sein, aber Visualisierungen wie Balken- oder Kreisdiagramme erleichtern es, das Gesamtbild zu erkennen, z. B. welche Objekte am häufigsten vorkommen.

• Deckt Trends auf: Linien- und Balkendiagramme helfen, Muster im Zeitverlauf zu erkennen, z. B. wann und wo der Fußgängerverkehr tendenziell zunimmt.

• Spart Zeit: Anstatt jedes einzelne Videoframe zu überprüfen, können Diagramme schnell wichtige Details hervorheben, wie z. B. plötzliche Spitzen bei der Fahrzeugaktivität oder ungewöhnliche Objektdarstellungen in Sperrzonen.

• Verbessert die Kommunikation: Visualisierungen erleichtern es, Erkenntnisse mit nicht-technischen Zielgruppen zu teilen, sodass jeder die Ergebnisse klarer verstehen kann.

Verschiedene Arten von Datenvisualisierungen

Verschiedene Arten von analytischen Diagrammen können Computer-Vision-Ergebnisse in klare, leicht verständliche Visualisierungen verwandeln. Nehmen wir an, Sie arbeiten an einer Computer-Vision-Anwendung, die Personen und Fahrzeuge in Überwachungsvideos erkennt. In diesem Fall eignet sich ein Liniendiagramm hervorragend, um zu zeigen, wie sich die Anzahl der Erkennungen im Laufe der Zeit verändert, z. B. um Spitzen im Fußgängerverkehr im Laufe des Tages zu verfolgen.

In ähnlicher Weise sind Balkendiagramme hilfreich, wenn Sie die Anzahl der verschiedenen erkannten Objekttypen vergleichen möchten, z. B. um zu sehen, ob mehr Autos, Fahrräder oder Fußgänger im Video vorkommen. Kreisdiagramme hingegen zeigen, welchen Prozentsatz jeder Objekttyp an den gesamten Erkennungen ausmacht. Jedes Diagramm hat seinen eigenen Nutzen und hilft, komplexe Computer-Vision-Daten leichter zu interpretieren und zu teilen.

‍

Generieren von analytischen Diagrammen, um Einblicke in die Computer Vision zu erhalten

Nachdem wir nun untersucht haben, was Datenvisualisierung ist und warum verschiedene Arten von analytischen Diagrammen wichtig sind, wollen wir uns genauer ansehen, wie man die Ultralytics Analytics Lösung verwendet, um die Ergebnisse Ihrer Computer-Vision-Modellvorhersagen zu visualisieren. Bevor wir den schrittweisen Prozess durchgehen, werfen wir einen Blick auf die Tools und Setup-Optionen für das Training und die Verwendung des Ultralytics-Pakets und von Modellen wie YOLO11. 

Das Ultralytics Python-Paket macht es einfach, Modelle zu trainieren, Objekte zu erkennen, Vorhersagen auszuführen und Ergebnisse zu visualisieren. Um damit zu beginnen, benötigen Sie eine Programmierumgebung. Hier sind drei einfache Optionen:

• Befehlszeilenschnittstelle (CLI): Es handelt sich um ein einfaches, reines Textwerkzeug, in dem Sie Befehle eingeben können, um Ihren Code auszuführen. Es hat keine visuelle Oberfläche, und Sie interagieren mit ihm, indem Sie Anweisungen in ein Terminal oder eine Eingabeaufforderung eingeben.

• Jupyter Notebooks: Es ist eine interaktive Programmierumgebung, in der Sie kleine Codeblöcke (sogenannte "Zellen") einzeln schreiben, ausführen und testen können. Es zeigt die Ergebnisse direkt unter jeder Zelle an, sodass Sie leicht verstehen können, was Schritt für Schritt passiert. Es ist besonders nützlich zum Lernen und Experimentieren.

• Google Colab: Diese Option ist eine kostenlose, Cloud-basierte Version von Jupyter Notebooks, die in Ihrem Webbrowser läuft. Es erfordert keine Einrichtung auf Ihrem Computer und bietet Ihnen Zugriff auf kostenlose GPUs für eine schnellere Verarbeitung.

Diese Tools eignen sich hervorragend für einen schnellen Einstieg, aber Benutzer können Ultralytics auch in integrierte Entwicklungsumgebungen (IDEs) wie Visual Studio Code (VS Code) oder in Produktionspipelines integrieren. Weitere Optionen finden Sie in der offiziellen Ultralytics-Dokumentation.

Schritt 1: Einrichten der Umgebung

Sobald Sie Ihre bevorzugte Umgebung ausgewählt haben, besteht der nächste Schritt darin, sie für die Ausführung von Vorhersagen und die Visualisierung der Ergebnisse einzurichten. Sie können jede der oben genannten Umgebungen verwenden, je nachdem, womit Sie sich am wohlsten fühlen.

Wenn Sie in Google Colab arbeiten, denken Sie daran, dass es standardmäßig eine CPU verwendet, was die Leistung verlangsamen kann. Um die Dinge zu beschleunigen, wechseln Sie zu einer GPU, indem Sie zum Menü "Runtime" gehen, "Change runtime type" auswählen und den Hardwarebeschleuniger auf GPU (idealerweise eine T4) einstellen.

Um Ihre Umgebung vorzubereiten, müssen Sie das Ultralytics Python-Paket mit dem unten genannten Befehl installieren. In Notebook-basierten Tools wie Colab oder Jupyter sollten Sie unbedingt ein Ausrufezeichen (!) vor dem Befehl hinzufügen.

pip install ultralytics

Schritt 2: Herunterladen einer Videodatei

Als Nächstes benötigen wir ein Video, mit dem wir arbeiten können. Sie können problemlos eines von einer kostenlosen Stock-Seite wie Pexels herunterladen. Achten Sie darauf, ein Video auszuwählen, das Objekte enthält, die YOLO11 erkennen kann. Da das Modell auf dem COCO-Datensatz vortrainiert ist, kann es gängige Objekte wie Personen, Autos und Fahrräder erkennen. 

Für dieses Tutorial verwenden wir ein Video von der Gepäckabfertigung in einem belebten Flughafenterminal. Sie können dasselbe Video verwenden oder ein anderes auswählen, das zu Ihrem Projekt passt.

‍

Schritt 3: Importieren von Paketen

Als Nächstes können wir die notwendigen Bibliotheken importieren und das Eingangsvideo laden.

Wir beginnen mit dem Import von OpenCV (cv2), einer weit verbreiteten Bibliothek für die Arbeit mit Bildern und Videos in der Computer Vision. Wir importieren auch die Ultralytics-Bibliothek, die uns hilft, Objekterkennung durchzuführen und Analysen zu generieren aus dem Video.

Dann versuchen wir, die Videodatei zu öffnen, indem wir ihren Pfad angeben. Achten Sie darauf, "path/to/video.mp4" durch den tatsächlichen Speicherort Ihrer heruntergeladenen Videodatei zu ersetzen. 

Außerdem enthält der folgende Code-Schnipsel eine einfache Überprüfung, um sicherzustellen, dass das Video korrekt geladen wird. Wenn der Pfad falsch ist oder die Datei beschädigt ist, stoppt das Programm und zeigt eine Fehlermeldung an: "Fehler beim Lesen der Videodatei."

import cv2

from ultralytics import solutions

cap = cv2.VideoCapture("path/to/video.mp4")
assert cap.isOpened(), "Error reading video file"

Schritt 4: Vorbereiten des Video-Writers

Dann richten wir einen Video-Writer ein, um die Ausgabe zu speichern. Wenn wir die Analysen ausführen, erstellt dieser Teil des Codes eine neue Videodatei, die die aktualisierten Diagramme aufzeichnet, die aus jedem Frame des Originalvideos generiert werden.

Im folgenden Code-Schnipsel extrahieren wir zunächst wichtige Eigenschaften aus dem Eingangsvideo – seine Breite, Höhe und Frames pro Sekunde (fps). Diese Werte werden direkt aus dem Video entnommen und in ganze Zahlen umgewandelt, um sicherzustellen, dass sie im richtigen Format für das Schreiben der Ausgabe vorliegen.

Als Nächstes verwenden wir die Funktion cv2.VideoWriter, um eine neue Videodatei mit dem Namen "analytics_output.avi" zu erstellen (Sie können sie bei Bedarf umbenennen). Das Video wird im MJPG-Format gespeichert, einer gängigen Videokomprimierungsmethode. Die Ausgaberauflösung ist auf 1280×720 Pixel eingestellt, unabhängig von der Größe des Originalvideos.

w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter(
    "analytics_output.avi",
    cv2.VideoWriter_fourcc(*"MJPG"),
    fps,
    (1280, 720), 
)

Schritt 5: Einrichten der Ultralytics Analytics-Lösung

Jetzt richten wir die Ultralytics Analytics-Lösung ein, um Diagramme aus dem Video zu generieren. Sie können wählen, wie die Daten angezeigt werden sollen, z. B. als Linien-, Kreis-, Flächen- oder Balkendiagramm, und welches YOLO-Modell verwendet werden soll. In diesem Beispiel verwenden wir das schlanke Modell "yolo11n.pt" und zeigen die Ergebnisse als Flächendiagramm an.

analytics = solutions.Analytics(
    show=True, 
    analytics_type="area", 
    model="yolo11n.pt",   
)

Schritt 6: Verarbeiten des Eingangsvideos

Der letzte Teil des Codes führt eine Schleife aus, die das Video Frame für Frame verarbeitet. Jeder Frame wird an das Analysetool übergeben, das das Diagramm in Echtzeit aktualisiert. Das aktualisierte Diagramm wird dann in das Ausgabevideo geschrieben. Wenn ein Frame nicht gelesen werden kann, stoppt die Schleife. Nachdem alle Frames verarbeitet wurden, wird das Video gespeichert und alle offenen Fenster werden geschlossen.

frame_count = 0
while cap.isOpened():
    success, im0 = cap.read()
    if success:
        frame_count += 1
        results = analytics(im0, frame_count) 

        out.write(results.plot_im) 
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()

Schritt 7: Alles zusammenfügen

Lassen Sie uns abschließend alles zusammenfügen. Mit nur wenigen zusätzlichen Codezeilen können wir zwei Ausgabevideos generieren: eines, das die YOLO11 Objekterkennungsergebnisse mit Begrenzungsrahmen und Beschriftungen zeigt, und ein anderes, das die Echtzeit-Analyse-Diagramme zeigt.

Dazu richten wir zwei VideoWriter-Instanzen ein – eine zum Speichern des Vorhersagevideos und eine weitere für die Analysen. Diese Version des Codes beinhaltet sowohl Objekterkennung als auch Diagrammerstellung, sodass Sie Erkennungsergebnisse zusammen mit den visuellen Erkenntnissen sehen können.

Hier ist der umfassende Code zusammen mit Beispielen für sowohl die Vorhersage- als auch die Analyseausgaben.

import cv2
from ultralytics import YOLO, solutions

# Load model and video
model = YOLO('yolo11n.pt')
cap = cv2.VideoCapture('path/to/video.mp4')
assert cap.isOpened(), "Error opening video"

# Get properties
w, h = int(cap.get(3)), int(cap.get(4))
fps = cap.get(5)
analytics_res = (1280, 720)

# Writers for prediction and analytics videos
out_pred = cv2.VideoWriter('output_predictions.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, (w, h))
out_ana = cv2.VideoWriter('output_analytics.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, analytics_res)

# Analytics setup
analytics = solutions.Analytics(show=True, analytics_type="area", model='yolo11n.pt')

# Process frames
frame_count = 0
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    frame_count += 1
    pred_frame = model.track(frame, persist=True)[0].plot()
    out_pred.write(pred_frame)

    resized = cv2.resize(pred_frame, analytics_res)
    out_ana.write(analytics(resized, frame_count).plot_im)

cap.release(), out_pred.release(), out_ana.release(), cv2.destroyAllWindows()

Wenn der obige Code erfolgreich ausgeführt wird, werden zwei Ausgabevideos generiert. Die Datei "output_predictions.avi" zeigt die Objekterkennungsergebnisse mit Begrenzungsrahmen und Beschriftungen, während "output_analytics.avi" die Echtzeit-Analyse-Diagramme basierend auf den Erkennungen anzeigt.

‍

Hier ist ein Frame aus der Analyseausgabe basierend auf den Vorhersagen. Mithilfe des Flächendiagramms können wir Einblicke gewinnen, wie z. B. Schwankungen der Kofferanzahl im Zeitverlauf, wie z. B. ein Anstieg um Frame 268 herum, der auf Kofferbewegung oder -aktivität in diesem Teil des Videos hindeutet.

‍

Verwendung von Diagrammen in realen Computer-Vision-Anwendungen

Hier sind einige reale Anwendungsfälle für Computer Vision, bei denen die Datenvisualisierung eine bedeutende Rolle spielt:

• Gesundheitswesen: Computer-Vision-Systeme können Patientenaktivitäten, Personalbewegungen und Gerätenutzung in Echtzeit überwachen. Dies erzeugt große Mengen an visuellen Daten, die, wenn sie visualisiert werden, Muster aufdecken können - wie z. B. Spitzenzeiten der Patientenauslastung oder Reaktionsverzögerungen.

• Einzelhandel und E-Commerce: Vision AI kann verwendet werden, um Kundenbewegungen, Verweildauer vor Regalen und Produktinteraktionen zu verfolgen. Visuelle Analysen wie Balken- oder Kreisdiagramme können hervorheben, welche Verkaufszonen oder Artikel die meiste Aufmerksamkeit erhalten, was Einzelhändlern hilft, die Produktplatzierung zu optimieren und die Konversionsraten zu verbessern.

• Fertigung: Mit Computer-Vision-Modellen ausgestattete Kameras können Fertigungsstraßen auf Defekte, Sicherheitsverstöße oder den Zustand von Geräten überwachen. Die Datenvisualisierung kann Trends bei den häufigsten Defekttypen aufzeigen oder Zeiträume mit den höchsten Fehlerraten hervorheben, was eine schnellere Entscheidungsfindung und vorbeugende Wartung ermöglicht.

Wesentliche Erkenntnisse

Mit dem Ultralytics-Paket können Sie Videomaterial einfach in übersichtliche, aufschlussreiche Grafiken umwandeln, die zeigen, was passiert, z. B. wie viele Personen oder Objekte im Laufe der Zeit erscheinen. Anstatt stundenlang Videomaterial manuell zu sichten, können Sie visuelle Zusammenfassungen erstellen, die wichtige Muster und Trends hervorheben, sodass Sie schneller handeln können. Ob in Krankenhäusern, Einzelhandelsgeschäften oder Produktionsstätten, diese Grafiken verwandeln komplexe KI-Ausgaben in Erkenntnisse, die jeder verstehen und nutzen kann.

Möchten Sie mehr über KI erfahren? Erkunden Sie unser GitHub-Repository, vernetzen Sie sich mit unserer Community und informieren Sie sich über unsere Lizenzoptionen, um Ihr Computer-Vision-Projekt zu starten. Erfahren Sie mehr über Innovationen wie KI in der Fertigung und Computer Vision in der Logistik auf unseren Lösungsseiten.