2024 beginnt mit einer Welle generativer KI

Die KI-Community sorgt scheinbar fast täglich für Schlagzeilen. Die ersten Monate des Jahres 2024 waren aufregend und voller neuer KI-Innovationen. Von leistungsstarken neuen großen Sprachmodellen bis hin zu Gehirnimplantaten für Menschen – 2024 entwickelt sich zu einem bedeutenden Jahr für KI.

Wir erleben, wie KI Branchen verändert, Informationen zugänglicher macht und sogar erste Schritte zur Verbindung unseres Geistes mit Maschinen ermöglicht. Wir werfen einen Blick zurück auf das erste Quartal 2024 und betrachten die Fortschritte, die in der KI in nur wenigen Monaten erzielt wurden.

Große Sprachmodelle liegen im Trend#

Große Sprachmodelle (LLMs), die anhand riesiger Textmengen darauf ausgelegt sind, menschliche Sprache zu verstehen, zu erzeugen und zu verändern, standen im ersten Quartal 2024 im Mittelpunkt. Viele große Technologieunternehmen veröffentlichten eigene LLMs mit jeweils einzigartigen Fähigkeiten. Der Erfolg früherer LLMs wie GPT-3 gab diesem Trend Auftrieb. Hier sind einige der bemerkenswertesten LLM-Veröffentlichungen von Anfang 2024.

Claude 3 von Anthropic#

Anthropic veröffentlichte Claude 3 am 4. März 2024. Das Modell Claude 3 ist in drei Versionen verfügbar: Opus, Sonnet und Haiku. Jede richtet sich an unterschiedliche Märkte und Einsatzzwecke. Haiku, das schnellste Modell, ist für schnelle, einfache Antworten optimiert. Sonnet verbindet Geschwindigkeit mit Intelligenz und richtet sich an den Unternehmenseinsatz. Opus, die leistungsfähigste Version, ist für komplexe Aufgaben zum logischen Schlussfolgern gedacht und führte bei seiner Veröffentlichung viele Benchmarks an.

Wie in unserem Überblick zur Claude-3-Modellkarte beschrieben, bietet Claude 3 mehrere Funktionen und Verbesserungen:

• Verbesserte mehrsprachige Gespräche: Bessere Fähigkeiten in Sprachen wie Spanisch, Japanisch und Französisch.
• Fortschrittliche Bildverarbeitungsfunktionen: Kann verschiedene visuelle Formate verarbeiten.
• Weniger Ablehnungen: Reagiert verständnisvoller und lehnt seltener unnötig ab, was auf ein verbessertes Kontextverständnis hinweist.
• Erweitertes Kontextfenster: Es bietet ein Kontextfenster von 200K, kann aber je nach Kundenbedarf Eingaben mit über 1 Million Tokens verarbeiten.

Abb. 1. Claude 3 erfasst den Kontext besser als frühere Versionen.

DBRX von Databricks#

Databricks DBRX ist ein offenes, allgemein einsetzbares LLM, das Databricks am 27. März 2024 veröffentlichte. DBRX schneidet bei verschiedenen Benchmarks gut ab, darunter beim Sprachverständnis, Programmieren und in Mathematik. Das Modell übertrifft andere etablierte Modelle und ist dabei etwa 40 % kleiner als vergleichbare Modelle.

Abb. 2. Vergleich von DBRX mit anderen Modellen.

DBRX wurde mit Next-Token-Vorhersage und einer fein abgestuften Mixture-of-Experts-Architektur (MoE) trainiert, wodurch sich die Effizienz beim Training und bei der Inferenz deutlich verbessert. Dank seiner Architektur kann das Modell das nächste Wort einer Sequenz genauer vorhersagen, indem es verschiedene spezialisierte Teilmodelle (die „Experten“) heranzieht. Diese Teilmodelle eignen sich für unterschiedliche Informationsarten und Aufgaben.

Googles Gemini 1.5#

Google stellte am 15. Februar 2024 Gemini 1.5 vor, ein rechenleistungsoptimiertes, multimodales KI-Modell, das umfangreiche Text-, Video- und Audiodaten analysieren kann. Das neueste Modell ist in Leistung, Effizienz und Fähigkeiten fortschrittlicher. Ein wesentliches Merkmal von Gemini 1.5 ist der Durchbruch beim Verständnis langer Kontexte. Das Modell kann zuverlässig bis zu einer Million Token verarbeiten. Seine Fähigkeiten verdankt Gemini 1.5 auch einer neuen Architektur auf Basis von MoE.

Abb. 3 Vergleich der Kontextlängen beliebter LLMs

Hier sind einige der interessantesten Funktionen von Gemini 1.5:

• Verbesserte Datenverarbeitung: Ermöglicht das direkte Hochladen großer PDFs, Code-Repositories oder langer Videos als Prompts. Das Modell kann über verschiedene Modalitäten hinweg Schlussfolgerungen ziehen und Text ausgeben.
• Mehrere Dateien hochladen und abfragen: Entwickler können jetzt mehrere Dateien hochladen und Fragen dazu stellen.
• Für verschiedene Aufgaben geeignet: Das Modell ist darauf optimiert, sich auf unterschiedliche Aufgaben skalieren zu lassen, und zeigt Verbesserungen in Bereichen wie Mathematik, Naturwissenschaften, logischem Denken, Mehrsprachigkeit, Videoverständnis und Code.

Atemberaubende KI-Visualisierungen#

Im ersten Quartal 2024 kamen generative KI-Modelle auf den Markt, die täuschend echte Bilder erstellen können und Diskussionen über die Zukunft der sozialen Medien und die Entwicklung von KI ausgelöst haben. Hier sind die Modelle, die diese Debatte prägen.

OpenAIs Sora#

OpenAI, das Unternehmen hinter ChatGPT, kündigte am 15. Februar 2024 ein hochmodernes Text-zu-Video-Deep-Learning-Modell namens Sora an. Sora ist ein Text-zu-Video-Generator, der anhand von Texteingaben der Nutzer Videos von bis zu einer Minute Länge und hoher visueller Qualität erzeugen kann.

Sieh dir zum Beispiel den folgenden Prompt an.

„Eine wunderschön gestaltete Welt aus Papierkunst in einem Korallenriff, voller bunter Fische und Meerestiere.“

Und hier ist ein Einzelbild aus dem erzeugten Video.

Abb. 4 Einzelbild aus einem von Sora erzeugten Video.

Die Architektur von Sora macht dies möglich, indem sie Diffusionsmodelle zur Texturerzeugung mit Transformer-Modellen für strukturelle Kohärenz kombiniert. Bisher wurde der Zugang zu Sora einem Red Team sowie einer ausgewählten Gruppe von bildenden Künstlern, Designern und Filmemachern gewährt, damit sie Risiken einschätzen und Feedback geben können.

Stable Diffusion 3 von Stability AI#

Stability AI kündigte am 22. Februar 2024 die Veröffentlichung von Stable Diffusion 3 an, einem Modell zur Bilderzeugung aus Text. Das Modell kombiniert eine Diffusion-Transformer-Architektur mit Flow Matching. Ein technisches Dokument dazu wurde noch nicht veröffentlicht, doch einige wichtige Funktionen zeichnen sich bereits ab.

Abb. 5. Das anhand des Prompts erzeugte Bild: „Episches Anime-Kunstwerk eines Zauberers auf einem Berg bei Nacht, der einen kosmischen Zauber in den dunklen Himmel wirkt, auf dem aus bunter Energie „Stable Diffusion 3“ steht“ (Quelle)

Das neueste Stable-Diffusion-Modell bietet eine verbesserte Leistung, Bildqualität und Genauigkeit bei der Erstellung von Bildern mit mehreren Motiven. Stable Diffusion 3 wird außerdem verschiedene Modelle mit 800 Millionen bis 8 Milliarden Parametern umfassen. Nutzer können je nach ihrem individuellen Bedarf an Skalierbarkeit und Detailgenauigkeit ein passendes Modell auswählen.

Googles Lumiere#

Am 23. Januar 2024 stellten Google-Forschende Lumiere vor, ein Diffusionsmodell zur Umwandlung von Text in Video. Lumiere verwendet eine Architektur namens Space-Time-U-Net, kurz STUNet. Sie hilft Lumiere zu verstehen, wo sich Dinge befinden und wie sie sich in einem Video bewegen. So kann das Modell flüssige und naturgetreue Videos erzeugen.

Abb. 6 Einzelbild aus einem Video, das anhand des Prompts „Panda spielt zu Hause Ukulele“ erzeugt wurde.

Lumiere kann bis zu 80 Bilder pro Video erzeugen und stellt damit einen bemerkenswerten Fortschritt bei der Qualität von KI-generierten Videos dar. Hier sind einige Funktionen von Lumiere:

• Bild-zu-Video: Ausgehend von einem Bild und einem Prompt kann Lumiere Bilder zu Videos animieren.
• Stilisierte Generierung: Lumiere kann mithilfe eines einzelnen Referenzbilds Videos in bestimmten Stilen erstellen.
• Cinemagraphs: Lumiere kann bestimmte Bereiche eines Bildes animieren und so dynamische Szenen erzeugen, in denen sich beispielsweise ein bestimmtes Objekt bewegt, während der Rest der Szene stillsteht.
• Video-Inpainting: Das Modell kann Teile eines Videos verändern, zum Beispiel die Kleidung der Personen darin oder Details des Hintergrunds.

Die Zukunft scheint schon da zu sein#

Anfang 2024 brachte auch viele KI-Innovationen, die wie aus einem Science-Fiction-Film wirken. Dinge, die wir früher für unmöglich gehalten hätten, werden jetzt entwickelt. Dank der folgenden Entdeckungen scheint die Zukunft nicht mehr weit entfernt.

Neuralink von Elon Musk#

Elon Musks Unternehmen Neuralink implantierte am 29. Januar 2024 erfolgreich seinen kabellosen Gehirnchip in einen Menschen. Das ist ein großer Schritt hin zur Verbindung menschlicher Gehirne mit Computern. Elon Musk teilte mit, dass Neuralinks erstes Produkt namens „Telepathy“ in Planung ist.

Abb. 7 Das Neuralink-Implantat

Ziel ist es, Nutzern – insbesondere Menschen, die die Funktionalität ihrer Gliedmaßen verloren haben – zu ermöglichen, Geräte mühelos mit ihren Gedanken zu steuern. Die möglichen Anwendungen gehen über mehr Komfort hinaus. Elon Musk stellt sich eine Zukunft vor, in der Menschen mit Lähmungen problemlos kommunizieren können.

Disneys HoloTile-Boden#

Am 18. Januar 2024 stellte Walt Disney Imagineering den HoloTile Floor vor. Er gilt als weltweit erster omnidirektionaler Laufbandboden für mehrere Personen.

Abb. 8. Disney Imagineer Lanny Smoot präsentiert seine neueste Innovation, den HoloTile-Boden.

Der Boden kann sich wie durch Telekinese unter jeder Person oder jedem Gegenstand bewegen und so ein immersives Virtual-Reality- und Augmented-Reality-Erlebnis ermöglichen. Du kannst in jede Richtung gehen und dabei Zusammenstöße vermeiden. Disneys HoloTile-Boden kann auch auf Theaterbühnen verlegt werden, um dort kreative Tanz- und Bewegungsabläufe zu ermöglichen.

Apples Vision Pro#

Am 2. Februar 2024 kam Apples mit Spannung erwartetes Vision-Pro-Headset auf den Markt. Es bietet zahlreiche Funktionen und Anwendungen, die das Virtual-Reality- und Augmented-Reality-Erlebnis neu definieren sollen. Das Vision-Pro-Headset spricht ein breites Publikum an, indem es Unterhaltung, Produktivität und räumliches Computing miteinander verbindet. Apple gab stolz bekannt, dass zum Marktstart über 600 Apps für Vision Pro optimiert waren – von Produktivitätswerkzeugen bis hin zu Spielen und Unterhaltungsdiensten.

Devin von Cognition#

Am 12. März 2024 veröffentlichte Cognition einen Softwareentwicklungsassistenten namens Devin. Devin ist der weltweit erste Versuch, einen autonomen KI-Softwareentwickler zu entwickeln. Anders als herkömmliche Programmierassistenten, die Vorschläge machen oder bestimmte Aufgaben erledigen, soll Devin ganze Softwareentwicklungsprojekte vom ersten Konzept bis zum Abschluss übernehmen.

Devin kann neue Technologien erlernen, vollständige Apps entwickeln und bereitstellen, Fehler finden und beheben, eigene Modelle trainieren, zu Open-Source- und Produktiv-Codebasen beitragen und sogar echte Entwicklungsaufträge auf Plattformen wie Upwork übernehmen.

Abb. 9 Vergleich von Devin mit anderen Modellen.

Devin wurde mit SWE-bench bewertet, einem anspruchsvollen Benchmark, bei dem Agenten reale GitHub-Issues aus Open-Source-Projekten wie Django und scikit-learn lösen müssen. Devin löste 13,86 % der Issues vollständig und korrekt. Der bisherige Spitzenwert lag bei 1,96 %.

Weitere bemerkenswerte Entwicklungen#

Es ist so viel passiert, dass sich in diesem Artikel nicht alles behandeln lässt. Hier sind aber noch einige weitere erwähnenswerte Punkte.

• LATTE3D von NVIDIA, angekündigt am 21. März 2024, ist ein KI-Modell zur 3D-Erzeugung aus Text, das aus Texteingaben sofort 3D-Darstellungen erstellt.
• Der neue Text-zu-Video-Generator von Midjourney, den CEO David Holz angekündigt hat, wird seit Januar trainiert und soll demnächst auf den Markt kommen.
• Lenovo trieb die KI-PC-Revolution voran und stellte am 8. Januar 2024 das ThinkBook 13x mit E Ink Prism-Technologie sowie leistungsstarke KI-Laptops vor.

Bleib mit uns über KI-Trends auf dem Laufenden!#

Zu Beginn des Jahres 2024 gab es bedeutende Fortschritte im Bereich KI und mehrere technologische Meilensteine. Doch das ist erst der Anfang dessen, was KI leisten kann. Wenn du mehr über die neuesten Entwicklungen im Bereich KI erfahren möchtest, bist du bei Ultralytics genau richtig.

Sieh dir unser GitHub-Repository an, um unsere neuesten Beiträge zu Computer Vision und KI zu entdecken. Auf unseren Lösungsseiten erfährst du außerdem, wie KI in Branchen wie der Fertigung und dem Gesundheitswesen eingesetzt wird.