Generative KI verändert die Zukunft der Computer Vision
Entdecke interessante Einblicke aus einer Podiumsdiskussion bei YOLO Vision 2024. Erfahre, wie generative KI die Zukunft von Echtzeit-Vision-KI-Modellen prägt.
Abirami Vina8 Min. Lesezeit
Generative AI ist ein Teilbereich der künstlichen Intelligenz (AI), der durch das Erlernen von Mustern in vorhandenen Daten neue Inhalte wie Bilder, Texte oder Audio erzeugt. Dank jüngster Fortschritte kann generative AI heute äußerst realistische Inhalte erstellen, die oft menschliche Kreativität nachahmen.
Der Einfluss generativer KI geht jedoch über die bloße Erstellung von Inhalten hinaus. Während Computer-Vision-Modelle für die Echtzeitverarbeitung wie Ultralytics-YOLO-Modelle weiterentwickelt werden, verändert generative KI auch die Verarbeitung und Erweiterung visueller Daten grundlegend und ebnet so den Weg für innovative Anwendungen in realen Szenarien.
Dieser technologische Wandel war ein spannendes Gesprächsthema auf der YOLO Vision 2024 (YV24), einer jährlich stattfindenden hybriden Veranstaltung von Ultralytics. Bei YV24 kamen AI-Begeisterte und Branchenführer zusammen, um die neuesten Durchbrüche im Bereich Computer Vision zu diskutieren. Im Mittelpunkt der Veranstaltung standen Innovation, Effizienz und die Zukunft von AI-Lösungen in Echtzeit.
Zu den Höhepunkten der Veranstaltung gehörte eine Podiumsdiskussion über YOLO im Zeitalter der generativen KI. Auf dem Podium saßen Glenn Jocher, Gründer und CEO von Ultralytics, Jing Qiu, Senior Machine Learning Engineer bei Ultralytics, und Ao Wang von der Tsinghua-Universität. Sie erörterten, wie generative KI Computer Vision beeinflusst und welche Herausforderungen mit der Entwicklung praxistauglicher KI-Modelle verbunden sind.
In diesem Artikel greifen wir die wichtigsten Erkenntnisse aus ihrer Diskussion auf und sehen uns genauer an, wie generative KI Vision AI verändert.
Entwicklung der Ultralytics-YOLO-Modelle#
Neben Glenn Jocher haben viele talentierte Ingenieure eine entscheidende Rolle bei der Entwicklung der Ultralytics-YOLO-Modelle gespielt. Einer von ihnen, Jing Qiu, erzählte, wie er unerwartet zu YOLO kam. Seine Begeisterung für KI begann, wie er erklärte, während seines Studiums. Er verbrachte viel Zeit damit, das Fachgebiet zu erkunden und sich darin weiterzubilden. Jing Qiu erinnerte sich daran, wie er über GitHub mit Glenn Jocher in Kontakt kam und an verschiedenen KI-Projekten mitwirkte.
Anknüpfend an Jing Qius Aussagen beschrieb Glenn Jocher GitHub als „eine unglaubliche Möglichkeit, Dinge zu teilen – Menschen, die sich noch nie begegnet sind, kommen zusammen, um einander zu helfen und zur Arbeit der anderen beizutragen. Es ist eine großartige Community und ein wirklich guter Einstieg in die KI.“

Abb. 1. Glenn Jocher und Jing Qiu sprechen bei YV24 auf der Bühne.
Jing Qius Interesse an KI und seine Arbeit an Ultralytics YOLOv5 trugen dazu bei, das Modell weiterzuentwickeln. Später spielte er eine wichtige Rolle bei der Entwicklung von Ultralytics YOLOv8, das weitere Verbesserungen mit sich brachte. Er beschrieb diese Zeit als eine unglaubliche Reise. Heute arbeitet Jing Qiu weiterhin an Modellen wie Ultralytics YOLO11 und verbessert sie.
YOLOv10: für Leistung in der Praxis optimiert#
Ao Wang nahm aus China per Fernzugriff an der Podiumsdiskussion teil und stellte sich als Doktorand vor. Zunächst studierte er Softwaretechnik, doch seine Begeisterung für KI brachte ihn dazu, sich Computer Vision und Deep Learning zuzuwenden.
Sein erster Kontakt mit dem bekannten YOLO-Modell entstand, als er mit verschiedenen AI-Techniken und -Modellen experimentierte. Er war von dessen Geschwindigkeit und Genauigkeit beeindruckt und beschäftigte sich daraufhin intensiver mit Computer-Vision-Aufgaben wie der Objekterkennung. Vor Kurzem leistete Ao Wang einen Beitrag zu YOLOv10, einer neueren Version des YOLO-Modells. Seine Forschung konzentrierte sich darauf, das Modell schneller und genauer zu machen.
Der wesentliche Unterschied zwischen generativer KI und Vision AI#
Anschließend begann das Podium, über generative KI zu sprechen. Jing Qiu wies darauf hin, dass generative KI und Vision AI ganz unterschiedliche Zwecke verfolgen. Generative KI erstellt oder erzeugt Dinge wie Texte, Bilder und Videos, während Vision AI vorhandene Inhalte, hauptsächlich Bilder, analysiert.
Glenn Jocher hob hervor, dass auch die Größe einen großen Unterschied ausmacht. Generative KI-Modelle sind enorm groß und enthalten oft Milliarden von Parametern – internen Einstellungen, die dem Modell helfen, aus Daten zu lernen. Computer-Vision-Modelle sind deutlich kleiner. Er sagte: „Das kleinste YOLO-Modell, das wir haben, ist etwa tausendmal kleiner als das kleinste LLM [Large Language Model]. Es hat also 3 Millionen Parameter im Vergleich zu drei Milliarden.“

Abb. 2. Die Podiumsdiskussion über generative KI und Vision AI bei YV24.
Jing Qiu ergänzte, dass sich auch die Prozesse für das Training und die Bereitstellung von generativer KI und Computer Vision stark unterscheiden. Für den Betrieb generativer KI sind riesige, leistungsstarke Server erforderlich. Modelle wie YOLO hingegen sind auf Effizienz ausgelegt und lassen sich auf handelsüblicher Hardware trainieren und bereitstellen. Dadurch eignen sich Ultralytics-YOLO-Modelle besser für den praktischen Einsatz.
Obwohl die beiden Bereiche unterschiedlich sind, beginnen sie sich miteinander zu verflechten. Glenn Jocher erläuterte, dass generative KI neue Fortschritte für Vision AI ermöglicht und Modelle dadurch intelligenter und effizienter macht.
Der Einfluss generativer KI auf Computer Vision#
Generative KI hat rasante Fortschritte gemacht. Diese Durchbrüche beeinflussen viele weitere Bereiche der künstlichen Intelligenz, darunter auch Computer Vision. Sehen wir uns nun einige spannende Erkenntnisse der Podiumsdiskussion zu diesem Thema an.
Fortschritte bei der Hardware ermöglichen Innovationen im Bereich KI#
Zu Beginn der Podiumsdiskussion erklärte Glenn Jocher, dass es Ideen aus dem maschinellen Lernen schon lange gebe, Computer aber nicht leistungsfähig genug gewesen seien, um sie umzusetzen. Um Ideen aus dem Bereich AI Wirklichkeit werden zu lassen, brauchte es leistungsfähigere Hardware.
Der Aufstieg der GPUs (Grafikprozessoren) in den vergangenen 20 Jahren und ihre Fähigkeit zur parallelen Verarbeitung haben alles verändert. Dadurch wurde das Training von KI-Modellen viel schneller und effizienter, was die rasante Entwicklung von Deep Learning ermöglichte.
KI-Chips wie TPUs (Tensorverarbeitungseinheiten) und optimierte GPUs verbrauchen heute weniger Energie und können gleichzeitig größere und komplexere Modelle verarbeiten. Dadurch ist KI leichter zugänglich und für Anwendungen in der Praxis besser nutzbar geworden.
Mit jeder neuen Verbesserung der Hardware werden sowohl Anwendungen generativer KI als auch solche aus dem Bereich Computer Vision leistungsfähiger. Diese Fortschritte machen KI in Echtzeit schneller und effizienter und ebnen ihren Einsatz in weiteren Branchen.
Wie generative KI Objekterkennungsmodelle beeinflusst#
Auf die Frage, wie generative KI Computer Vision beeinflusst, erklärte Jing Qiu, dass Transformer – Modelle, die KI dabei helfen, sich auf die wichtigsten Bildbereiche zu konzentrieren – die Art und Weise verändert haben, wie KI Bilder versteht und verarbeitet. Der erste große Schritt war DETR (Detection Transformer), bei dem dieser neue Ansatz für die Objekterkennung zum Einsatz kam. Dadurch wurde die Genauigkeit verbessert, allerdings gab es Leistungsprobleme, die das Verfahren in manchen Fällen verlangsamten.
Um dieses Problem zu lösen, entwickelten Forschende hybride Modelle wie RT-DETR. Diese Modelle kombinieren Convolutional Neural Networks (CNNs, Deep-Learning-Modelle, die Merkmale in Bildern automatisch erlernen und extrahieren) mit Transformern und bringen so Geschwindigkeit und Genauigkeit in Einklang. Dieser Ansatz nutzt die Vorteile von Transformern und beschleunigt gleichzeitig die Objekterkennung.
Interessanterweise nutzt YOLOv10 transformerbasierte Attention-Layer – Modellteile, die wie ein Scheinwerfer die wichtigsten Bereiche in einem Bild hervorheben und weniger relevante Details ausblenden –, um seine Leistung zu verbessern.
Ao Wang erwähnte außerdem, wie generative KI die Art und Weise verändert, wie Modelle trainiert werden. Techniken wie die Modellierung maskierter Bilder helfen der KI, effizienter aus Bildern zu lernen, und verringern den Bedarf an umfangreichen, manuell annotierten Datensätzen. Dadurch wird das Training für Computer Vision schneller und ressourcenschonender.
Die Zukunft generativer KI und Vision AI#
Ein weiterer wichtiger Gedanke der Podiumsdiskussion war die Frage, wie generative KI und Vision AI zusammenwirken könnten, um leistungsfähigere Modelle zu entwickeln. Glenn Jocher erklärte, dass die beiden Ansätze zwar unterschiedliche Stärken haben, ihre Kombination aber neue Möglichkeiten eröffnen könnte.
Vision-AI-Modelle wie YOLO unterteilen ein Bild beispielsweise oft in ein Raster, um Objekte zu erkennen. Dieser rasterbasierte Ansatz könnte Sprachmodellen dabei helfen, Details genauer zu lokalisieren und zu beschreiben – eine Herausforderung, mit der viele Sprachmodelle heute konfrontiert sind. Durch die Kombination dieser Techniken könnten Systeme entstehen, die Gesehenes präzise erkennen und klar erklären. Einige Vision-Language-Modelle können bereits beides, und das VLM-Leaderboard erfasst, wie gut sie Objekte erkennen.

Abb. 3. Die Zukunft generativer KI und Vision AI. Bild vom Autor.
Die wichtigsten Erkenntnisse#
Generative AI und Computer Vision entwickeln sich gemeinsam weiter. Generative AI erzeugt zwar Bilder und Videos, verbessert aber auch deren Analyse, indem sie neue Ideen einbringt, mit denen Vision-AI-Modelle genauer und effizienter werden könnten.
In dieser Podiumsdiskussion bei YV24 teilten Glenn Jocher, Jing Qiu und Ao Wang ihre Gedanken dazu, wie diese Technologien die Zukunft prägen. Dank leistungsfähigerer AI-Hardware entwickeln sich generative AI und Vision AI weiter und ermöglichen noch größere Innovationen. Diese beiden Bereiche arbeiten zusammen, um AI für den Alltag intelligenter, schneller und nützlicher zu machen.
Tritt unserer Community bei und sieh dir unser GitHub-Repository an, um mehr über Vision AI zu erfahren. Informiere dich über unsere Lizenzoptionen, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie KI in der Fertigung oder Computer Vision in selbstfahrenden Fahrzeugen? Entdecke auf unseren Lösungsseiten mehr.
Verfasst von
Kommentare
Stelle eine Frage, teile deine Ergebnisse oder hilf anderen.










