2024 beginnt mit einer Welle generativer KI

Die KI-Community scheint fast täglich für Schlagzeilen zu sorgen. Die ersten Monate des Jahres 2024 waren aufregend und vollgepackt mit neuen KI-Innovationen. Von leistungsstarken neuen Large Language Models bis hin zu Gehirnimplantaten – 2024 entwickelt sich zu einem erstaunlichen Jahr.

Wir erleben, wie KI ganze Branchen transformiert, Informationen leichter zugänglich macht und sogar die ersten Schritte zur Verschmelzung von Mensch und Maschine unternimmt. Lass uns das erste Quartal 2024 Revue passieren lassen und einen genaueren Blick auf die Fortschritte werfen, die in nur wenigen Monaten in der KI erzielt wurden.

LLMs liegen im Trend#

Large Language Models (LLMs), die darauf ausgelegt sind, menschliche Sprache auf Basis riesiger Textdatenmengen zu verstehen, zu generieren und zu manipulieren, standen im ersten Quartal 2024 im Mittelpunkt. Viele große Technologieunternehmen haben ihre eigenen LLM-Modelle veröffentlicht, jedes mit einzigartigen Fähigkeiten. Der unglaubliche Erfolg früherer LLMs wie GPT-3 befeuerte diesen Trend. Hier sind einige der bemerkenswertesten LLM-Veröffentlichungen von Anfang 2024.

Anthropic's Claude 3#

Anthropic hat am 14. März 2024 Claude 3 veröffentlicht. Das Modell Claude 3 ist in drei Versionen erhältlich: Opus, Sonnet und Haiku, die jeweils unterschiedliche Märkte und Zwecke bedienen. Haiku ist das schnellste Modell und für schnelle, grundlegende Antworten optimiert. Sonnet bringt Geschwindigkeit und Intelligenz in Einklang und richtet sich an Unternehmensanwendungen. Opus ist die fortschrittlichste Version, liefert eine beispiellose Intelligenz und Argumentationsfähigkeit und ist ideal für komplexe Aufgaben und das Erreichen von Top-Benchmarks.

Claude 3 bietet viele erweiterte Funktionen und Verbesserungen:

• Verbesserte mehrsprachige Konversationen: Erweiterte Fähigkeiten in Sprachen wie Spanisch, Japanisch und Französisch.
• Erweiterte Vision-Funktionen: Kann verschiedene visuelle Formate verarbeiten.
• Minimierte Ablehnungen: Zeigt mehr Verständnis bei weniger unnötigen Ablehnungen, was auf ein verbessertes Kontextverständnis hindeutet.
• Erweitertes Kontextfenster: Es bietet ein 200K-Kontextfenster, ist aber je nach Kundenbedarf in der Lage, Inputs von über 1 Million Tokens zu verarbeiten.

Abb. 1: Claude 3 besitzt ein besseres kontextbezogenes Bewusstsein als vorherige Versionen.

Databricks' DBRX#

Databricks DBRX ist ein von Databricks am 27. März 2024 veröffentlichtes, offenes Allzweck-LLM. DBRX schlägt sich bei verschiedenen Benchmarks, darunter Sprachverständnis, Programmierung und Mathematik, hervorragend. Es übertrifft andere etablierte Modelle und ist dabei etwa 40 % kleiner als vergleichbare Modelle.

Abb. 2: Vergleich von DBRX mit anderen Modellen.

DBRX wurde mittels Next-Token-Prediction mit einer fein abgestimmten Mixture-of-Experts (MoE)-Architektur trainiert, weshalb wir signifikante Verbesserungen bei der Trainings- und Inferenzleistung beobachten können. Die Architektur erlaubt es dem Modell, das nächste Wort in einer Sequenz präziser vorherzusagen, indem eine vielfältige Menge spezialisierter Teilmodelle (die "Experten") hinzugezogen wird. Diese Teilmodelle sind gut darin, unterschiedliche Arten von Informationen oder Aufgaben zu bewältigen.

Google’s Gemini 1.5#

Google stellte am 15. Februar 2024 Gemini 1.5 vor, ein recheneffizientes, multimodales KI-Modell, das umfangreiche Text-, Video- und Audiodaten analysieren kann. Das neueste Modell ist in Bezug auf Leistung, Effizienz und Fähigkeiten fortschrittlicher. Ein Hauptmerkmal von Gemini 1.5 ist der Durchbruch beim Verständnis langer Kontexte. Das Modell kann konsistent bis zu 1 Million Tokens verarbeiten. Die Fähigkeiten von Gemini 1.5 sind ebenfalls einer neuen MoE-basierten Architektur zu verdanken.

Abb. 3: Vergleich der Kontextlängen gängiger LLMs

Hier sind einige der interessantesten Funktionen von Gemini 1.5:

• Verbesserte Datenverarbeitung: Ermöglicht das direkte Hochladen großer PDFs, Code-Repositories oder langer Videos als Prompts. Das Modell kann über Modalitäten hinweg Schlussfolgerungen ziehen und Text ausgeben.
• Hochladen mehrerer Dateien und Abfragen: Entwickler können nun mehrere Dateien hochladen und Fragen dazu stellen.
• Einsetzbar für verschiedene Aufgaben: Es ist darauf optimiert, über diverse Aufgaben hinweg zu skalieren, und zeigt Verbesserungen in Bereichen wie Mathematik, Wissenschaft, logisches Denken, Mehrsprachigkeit, Videoverständnis und Code.

Atemberaubende Bilder von KI#

Das erste Quartal 2024 hat generative KI-Modelle hervorgebracht, die so realistische Bilder erstellen können, dass sie Debatten über die Zukunft sozialer Medien und den Fortschritt der KI ausgelöst haben. Lass uns einen Blick auf die Modelle werfen, die für Gesprächsstoff sorgen.

OpenAI’s Sora#

OpenAI, der Schöpfer von ChatGPT, kündigte am 15. Februar 2024 ein hochmodernes Deep-Learning-Modell für Text-zu-Video namens Sora an. Sora ist ein Text-zu-Video-Generator, der basierend auf textuellen Benutzeraufforderungen minutenlange Videos in hoher visueller Qualität erstellen kann.

Schau dir zum Beispiel den folgenden Prompt an.

“Eine wunderschön gestaltete Papercraft-Welt eines Korallenriffs, voller bunter Fische und Meeresbewohner.”

Und hier ist ein Frame aus dem ausgegebenen Video.

Abb. 4: Ein Bild aus einem von Sora generierten Video.

Die Architektur von Sora ermöglicht dies durch die Kombination von Diffusionsmodellen für die Texturgenerierung und Transformer-Modellen für die strukturelle Kohärenz. Bisher wurde der Zugriff auf Sora Red Teamern sowie einer ausgewählten Gruppe von visuellen Künstlern, Designern und Filmemachern gewährt, um Risiken zu verstehen und Feedback einzuholen.

Stability AI’s Stable Diffusion 3#

Stability AI hat am 22. Februar 2024 Stable Diffusion 3 angekündigt, ein Text-zu-Bild-Generierungsmodell. Das Modell verbindet Diffusion-Transformer-Architektur und Flow Matching. Ein technisches Whitepaper wurde noch nicht veröffentlicht, aber es gibt ein paar wesentliche Funktionen, auf die du achten solltest.

Abb. 5. Das Ausgabebild basierend auf dem Prompt: „Episches Anime-Artwork eines Zauberers auf einem Berg bei Nacht, der einen kosmischen Zauber in den dunklen Himmel wirkt, der aus bunter Energie den Schriftzug „Stable Diffusion 3“ formt“ (Quelle)

Das neueste Modell von Stable Diffusion bietet eine verbesserte Leistung, Bildqualität und Genauigkeit bei der Erstellung von Bildern mit mehreren Subjekten. Stable Diffusion 3 wird zudem eine Vielzahl von Modellen von 800 Millionen bis 8 Milliarden Parametern anbieten. Dies ermöglicht es Benutzern, basierend auf ihren spezifischen Anforderungen an Skalierbarkeit und Detailgrad zu wählen.

Google’s Lumiere#

Am 23. Januar 2024 hat Google Lumiere auf den Markt gebracht, ein Text-zu-Video-Diffusionsmodell. Lumiere verwendet eine Architektur namens Space-Time-U-Net oder kurz STUNet. Sie hilft Lumiere zu verstehen, wo sich Dinge befinden und wie sie sich in einem Video bewegen. Dadurch können flüssige und lebensechte Videos generiert werden.

Abb. 6: Ein Einzelbild aus einem Video, das basierend auf dem Prompt „Panda spielt zu Hause Ukulele“ generiert wurde.

Mit der Fähigkeit, 80 Frames pro Video zu generieren, verschiebt Lumiere Grenzen und setzt neue Standards für Videoqualität im KI-Bereich. Hier sind einige von Lumieres Funktionen:

• Bild-zu-Video: Ausgehend von einem Bild und einem Prompt kann Lumiere Bilder in Videos animieren.
• Stilisierte Generierung: Lumiere kann Videos in bestimmten Stilen unter Verwendung eines einzelnen Referenzbildes erstellen.
• Cinemagraphs: Lumiere kann bestimmte Bereiche innerhalb eines Bildes animieren, um dynamische Szenen zu erzeugen, wie zum Beispiel ein sich bewegendes Objekt, während der Rest der Szene statisch bleibt.
• Video-Inpainting: Es kann Teile eines Videos verändern, wie das Ändern der Kleidung von Personen darin oder das Anpassen von Hintergrunddetails.

Die Zukunft scheint angekommen zu sein#

Der Anfang des Jahres 2024 hat auch viele KI-Innovationen hervorgebracht, die sich anfühlen wie aus einem Science-Fiction-Film. Dinge, die wir zuvor als unmöglich bezeichnet hätten, werden jetzt bearbeitet. Die Zukunft fühlt sich mit den folgenden Entdeckungen gar nicht mehr so weit weg an.

Elon Musk’s Neuralink#

Elon Musks Unternehmen Neuralink hat am 29. Januar 2024 erfolgreich seinen drahtlosen Gehirnchip in einen Menschen implantiert. Dies ist ein riesiger Schritt in Richtung der Verbindung menschlicher Gehirne mit Computern. Elon Musk teilte mit, dass das erste Produkt von Neuralink mit dem Namen „Telepathy“ in der Pipeline ist.

Abb. 7: Das Neuralink-Implantat

Das Ziel ist es, Benutzern, insbesondere solchen, die die Funktionalität ihrer Gliedmaßen verloren haben, zu ermöglichen, Geräte mühelos durch ihre Gedanken zu steuern. Die potenziellen Anwendungen gehen über bloße Bequemlichkeit hinaus. Elon Musk stellt sich eine Zukunft vor, in der Menschen mit Lähmungen problemlos kommunizieren können.

Disney's HoloTile Floor#

Am 18. Januar 2024 stellte Walt Disney Imagineering den HoloTile Floor vor. Er wurde als der weltweit erste omnidirektionale Laufboden für mehrere Personen bezeichnet.

Abb. 8. Disney-Imagineer Lanny Smoot posiert auf seiner neuesten Innovation, dem HoloTile-Boden.

Er kann sich unter jeder Person oder jedem Objekt wie durch Telekinese bewegen, um ein immersives Virtual- und Augmented-Reality-Erlebnis zu schaffen. Man kann in jede Richtung gehen und dabei Kollisionen vermeiden. Disneys HoloTile Floor kann auch auf Theaterbühnen eingesetzt werden, um kreativ zu tanzen und sich zu bewegen.

Apple’s Vision Pro#

Am 2. Februar 2024 kam Apples mit Spannung erwartetes Vision Pro Headset auf den Markt. Es verfügt über eine Reihe von Funktionen und Anwendungen, die das Virtual- und Augmented-Reality-Erlebnis neu definieren sollen. Das Vision Pro Headset spricht ein vielfältiges Publikum an, indem es Unterhaltung, Produktivität und räumliches Rechnen verbindet. Apple gab stolz bekannt, dass bei der Markteinführung über 600 Apps, von Produktivitätstools bis hin zu Gaming- und Unterhaltungsdiensten, für das Vision Pro optimiert waren.

Cognition’s Devin#

Am 12. März 2024 veröffentlichte Cognition einen Software-Engineering-Assistenten namens Devin. Devin ist der weltweit erste Versuch eines autonomen KI-Softwareentwicklers. Im Gegensatz zu herkömmlichen Coding-Assistenten, die Vorschläge bieten oder spezifische Aufgaben erledigen, ist Devin darauf ausgelegt, ganze Softwareentwicklungsprojekte vom ersten Konzept bis zum Abschluss zu bewältigen.

Er kann neue Technologien erlernen, vollständige Apps erstellen und bereitstellen, Fehler finden und beheben, seine eigenen Modelle trainieren, zu Open-Source- und Produktiv-Codebases beitragen und sogar echte Entwicklungsjobs von Seiten wie Upwork annehmen.

Abb. 9: Vergleich von Devin mit anderen Modellen.

Devin wurde auf SWE-bench evaluiert, einem anspruchsvollen Benchmark, der Agenten auffordert, reale GitHub-Probleme in Open-Source-Projekten wie Django und scikit-learn zu lösen. Er löste korrekt 13,86 % der Probleme vollständig, verglichen mit dem bisherigen Bestwert von 1,96 %.

Ehrenhafte Erwähnungen#

Es ist so viel passiert, dass es unmöglich ist, alles in diesem Artikel abzudecken. Aber hier sind einige weitere ehrenhafte Erwähnungen.

• NVIDIAs am 21. März 2024 angekündigtes LATTE3D ist ein Text-zu-3D-KI-Modell, das sofort 3D-Darstellungen aus Text-Prompts erstellt.
• Midjourneys neuer Text-zu-Video-Generator, der von CEO David Holz angeteasert wurde, begann im Januar mit dem Training und wird in Kürze erwartet.
• Um die KI-PC-Revolution voranzutreiben, veröffentlichte Lenovo am 8. Januar 2024 das ThinkBook 13x mit E Ink Prism Technologie und leistungsstarke KI-Laptops.

Bleib mit uns über KI-Trends auf dem Laufenden!#

Der Anfang des Jahres 2024 brachte bahnbrechende Fortschritte in der KI und viele wichtige technologische Meilensteine. Aber das ist erst der Anfang dessen, was KI leisten kann. Wenn du mehr über die neuesten KI-Entwicklungen erfahren möchtest, bist du bei Ultralytics genau richtig.

Schau dir unser GitHub repository an, um unsere neuesten Beiträge zu Computer Vision und KI zu sehen. Du kannst auch einen Blick auf unsere Lösungsseiten werfen, um zu sehen, wie KI in Branchen wie der Fertigungsindustrie und dem Gesundheitswesen eingesetzt wird.