Generative KI verändert den zukünftigen Weg der Computer Vision

Generative AI ist ein Zweig der künstlichen Intelligenz (KI), der neue Inhalte wie Bilder, Texte oder Audio erstellt, indem er Muster aus vorhandenen Daten lernt. Dank neuester Fortschritte kann sie nun genutzt werden, um hochrealistische Inhalte zu erzeugen, die oft menschliche Kreativität nachahmen.

Jedoch geht der Einfluss von generativer KI weit über das bloße Erstellen von Inhalten hinaus. Da sich Echtzeit-Computer-Vision-Modelle wie Ultralytics YOLO models weiterentwickeln, definiert generative KI auch neu, wie visuelle Daten verarbeitet und augmentiert werden, und ebnet so den Weg für innovative Anwendungen in realen Szenarien.

Dieser neue technologische Wandel war ein interessantes Gesprächsthema auf der YOLO Vision 2024 (YV24), einer jährlichen hybriden Veranstaltung von Ultralytics. Auf der YV24 kamen KI-Enthusiasten und Branchenführer zusammen, um die neuesten Durchbrüche im Bereich computer vision zu diskutieren. Die Veranstaltung konzentrierte sich auf Innovation, Effizienz und die Zukunft von Echtzeit-KI-Lösungen.

Eines der Highlights der Veranstaltung war eine Podiumsdiskussion zum Thema YOLO in the Age of Generative AI. Auf dem Podium saßen Glenn Jocher, Gründer und CEO von Ultralytics, Jing Qiu, Senior Machine Learning Engineer bei Ultralytics, und Ao Wang von der Tsinghua-Universität. Sie gingen der Frage nach, wie generative KI die computer vision beeinflusst und welche Herausforderungen beim Aufbau praktischer KI-Modelle auftreten.

In diesem Artikel lassen wir die wichtigsten Erkenntnisse aus ihrer Diskussion Revue passieren und werfen einen genaueren Blick darauf, wie Generative AI Vision AI transformiert.

Entwicklung der Ultralytics YOLO Modelle#

Neben Glenn Jocher haben viele qualifizierte Ingenieure eine entscheidende Rolle bei der Entwicklung der Ultralytics YOLO Modelle gespielt. Einer von ihnen, Jing Qiu, berichtete von seinem unerwarteten Start mit YOLO. Er erklärte, dass seine Leidenschaft für KI während seiner Studienzeit begann. Er verbrachte viel Zeit damit, das Fachgebiet zu erforschen und kennenzulernen. Jing Qiu erinnerte sich daran, wie er auf GitHub Kontakt zu Glenn Jocher aufnahm und sich an verschiedenen KI-Projekten beteiligte.

In Ergänzung zu Jing Qius Ausführungen bezeichnete Glenn Jocher GitHub als „eine unglaubliche Art des Teilens – bei der Menschen, die man noch nie getroffen hat, zusammenkommen, um sich gegenseitig zu helfen und an der Arbeit der anderen mitzuwirken. Es ist eine großartige Community und wirklich ein toller Weg, um mit KI zu starten.“

Abb. 1. Glenn Jocher und Jing Qiu sprechen auf der Bühne der YV24.

Jing Qius Interesse an KI und seine Arbeit an Ultralytics YOLOv5 trugen dazu bei, das Modell zu verfeinern. Später spielte er eine Schlüsselrolle bei der Entwicklung von Ultralytics YOLOv8, das weitere Verbesserungen einführte. Er beschrieb es als eine unglaubliche Reise. Heute arbeitet Jing Qiu kontinuierlich an der Verbesserung von Modellen wie Ultralytics YOLO11.

YOLOv10: Optimiert für reale Leistung#

Ao Wang, der per Videoschalte aus China an der Podiumsdiskussion teilnahm, stellte sich als Doktorand vor. Ursprünglich studierte er Softwaretechnik, doch seine Leidenschaft für KI führte ihn zur Computer Vision und zum Deep Learning.

Seine erste Begegnung mit dem berühmten YOLO-Modell hatte er beim Experimentieren mit verschiedenen KI-Techniken und -Modellen. Er war beeindruckt von dessen Geschwindigkeit und Genauigkeit, was ihn dazu inspirierte, tiefer in computer vision tasks wie die Objekterkennung einzusteigen. Kürzlich hat Ao Wang zu YOLOv10 beigetragen, einer neueren Version des YOLO-Modells. Seine Forschung konzentrierte sich auf die Optimierung des Modells im Hinblick auf höhere Geschwindigkeit und Genauigkeit.

Der wesentliche Unterschied zwischen Generative AI und Vision AI#

Anschließend begann das Podium mit der Diskussion über Generative AI, wobei Jing Qiu darauf hinwies, dass Generative AI und Vision AI sehr unterschiedliche Zwecke verfolgen. Generative AI erschafft oder generiert Dinge wie Text, Bilder und Videos, während Vision AI analysiert, was bereits existiert, primär Bilder.

Glenn Jocher betonte, dass auch die Größe ein großer Unterschied ist. Generative AI Modelle sind riesig und enthalten oft Milliarden von Parametern – interne Einstellungen, die dem Modell helfen, aus Daten zu lernen. Computer-Vision-Modelle sind viel kleiner. Er sagte: „Das kleinste YOLO Modell, das wir haben, ist etwa tausendmal kleiner als das kleinste LLM [Large Language Model]. Also 3 Millionen Parameter im Vergleich zu drei Milliarden.“

Abb. 2. Die Podiumsdiskussion zu Generative AI und Vision AI auf der YV24.

Jing Qiu fügte hinzu, dass sich generative KI und computer vision in ihren training- und Bereitstellungsprozessen stark voneinander unterscheiden. Generative KI benötigt riesige, leistungsstarke Server für den Betrieb. Modelle wie YOLO hingegen sind auf Effizienz ausgelegt und können auf Standard-Hardware trainiert und bereitgestellt werden. Das macht Ultralytics YOLO models praktikabler für den realen Einsatz.

Obwohl sie unterschiedlich sind, beginnen diese beiden Bereiche miteinander zu verschmelzen. Glenn Jocher erläuterte, dass Generative AI neue Fortschritte in die Vision AI einbringt und Modelle intelligenter und effizienter macht.

Der Einfluss von Generative AI auf Computer Vision#

Generative AI hat sich schnell weiterentwickelt, und diese Durchbrüche beeinflussen viele andere Bereiche der künstlichen Intelligenz, einschließlich Computer Vision. Gehen wir als Nächstes einige faszinierende Erkenntnisse des Podiums dazu durch.

Hardware-Fortschritte ermöglichen KI-Innovationen#

Zu Beginn der Podiumsdiskussion erklärte Glenn Jocher, dass Ansätze des maschinellen Lernens schon lange existieren, die Computer jedoch nicht leistungsstark genug waren, um sie umzusetzen. KI-Ideen benötigten stärkere Hardware, um Realität zu werden.

Der Aufstieg der GPUs (Graphics Processing Units) in den letzten 20 Jahren mit ihren Möglichkeiten zur parallelen Verarbeitung hat alles verändert. Sie machten das Training von KI-Modellen viel schneller und effizienter, was dem Deep Learning eine rasante Entwicklung ermöglichte.

Heutzutage verbrauchen KI-Chips wie TPUs (Tensor Processing Units) und optimierte GPUs weniger Strom, während sie größere und komplexere Modelle verarbeiten. Dies hat KI zugänglicher und nützlicher für reale Anwendungen gemacht.

Mit jedem neuen Hardware-Fortschritt werden sowohl Generative AI als auch Computer-Vision-Anwendungen leistungsfähiger. Diese Fortschritte machen Echtzeit-KI schneller, effizienter und bereit für den Einsatz in immer mehr Branchen.

Wie Generative AI die Objekterkennungsmodelle prägt#

Auf die Frage, wie generative KI die computer vision beeinflusst, sagte Jing Qiu, dass transformers – Modelle, die KI dabei helfen, sich auf die wichtigsten Teile eines Bildes zu konzentrieren – die Art und Weise verändert haben, wie KI Bilder versteht und verarbeitet. Der erste große Schritt war DETR (Detection Transformer), das diesen neuen Ansatz für die Objekterkennung nutzte. Es verbesserte die Genauigkeit, hatte jedoch Leistungsprobleme, die es in einigen Fällen langsamer machten.

Um dies zu lösen, entwickelten Forscher hybride Modelle wie RT-DETR. Diese Modelle kombinieren Convolutional Neural Networks (CNNs, das sind Deep-Learning-Modelle, die automatisch Merkmale aus Bildern lernen und extrahieren) und Transformer, um ein Gleichgewicht zwischen Geschwindigkeit und Genauigkeit zu finden. Dieser Ansatz nutzt die Vorteile von Transformern und beschleunigt gleichzeitig die Objekterkennung.

Interessanterweise nutzt YOLOv10 transformatorbasierte Aufmerksamkeitschichten (Teile des Modells, die wie ein Scheinwerfer wirken, um die wichtigsten Bereiche in einem Bild hervorzuheben und gleichzeitig weniger relevante Details zu ignorieren), um seine Leistung zu steigern.

Ao Wang erwähnte auch, wie Generative AI die Art und Weise verändert, wie Modelle trainiert werden. Techniken wie Masked Image Modeling helfen der KI, effizienter aus Bildern zu lernen, was den Bedarf an großen, manuell beschrifteten Datensätzen reduziert. Dies macht das Computer-Vision-Training schneller und weniger ressourcenintensiv.

Die Zukunft von Generative AI und Vision AI#

Eine weitere zentrale Idee, die das Podium diskutierte, war, wie Generative AI und Vision AI zusammenkommen könnten, um leistungsfähigere Modelle zu entwickeln. Glenn Jocher erklärte, dass diese beiden Ansätze zwar unterschiedliche Stärken haben, ihre Kombination jedoch neue Möglichkeiten eröffnen könnte.

Vision AI Modelle wie YOLO unterteilen beispielsweise oft ein Bild in ein Raster, um Objekte zu identifizieren. Diese rasterbasierte Methode könnte Sprachmodellen helfen, ihre Fähigkeit zur punktgenauen Identifizierung und Beschreibung von Details zu verbessern – eine Herausforderung, vor der viele Sprachmodelle heute stehen. Im Grunde könnte die Zusammenführung dieser Techniken zu Systemen führen, die präzise erkennen und klar erklären können, was sie sehen.

Abb. 3. Die Zukunft von Generative AI und Vision AI. Bild vom Autor.

Wichtige Erkenntnisse#

Generative AI und Computer Vision entwickeln sich gemeinsam weiter. Während Generative AI Bilder und Videos erstellt, verbessert sie auch die Bild- und Videoanalyse, indem sie neue innovative Ideen einbringt, die Vision AI Modelle genauer und effizienter machen könnten.

In dieser aufschlussreichen YV24-Podiumsdiskussion teilten Glenn Jocher, Jing Qiu und Ao Wang ihre Gedanken darüber, wie diese Technologien die Zukunft gestalten. Mit besserer KI-Hardware werden Generative AI und Vision AI sich weiterentwickeln und zu noch größeren Innovationen führen. Diese beiden Felder arbeiten zusammen, um eine intelligentere, schnellere und nützlichere KI für den Alltag zu schaffen.

Tritt our community bei und erkunde unser GitHub repository, um mehr über Vision AI zu erfahren. Sieh dir our licensing options an, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie AI in manufacturing oder computer vision in self-driving? Besuche unsere Lösungsseiten, um mehr zu entdecken.