Neuigkeiten aus der KI-Forschung von Meta FAIR: SAM 2.1 und CoTracker3

Die Forschung im Bereich künstliche Intelligenz (AI) schreitet schnell voran und bringt häufiger als je zuvor neue Durchbrüche hervor. In den vergangenen Wochen stellte das Fundamental-AI-Research-Team (FAIR) von Meta eine Reihe von Werkzeugen und Modellen vor, die Herausforderungen in verschiedenen KI-Bereichen angehen sollen. Diese Veröffentlichungen umfassen Aktualisierungen, die so unterschiedliche Bereiche wie das Gesundheitswesen, die Robotik und die erweiterte Realität beeinflussen könnten.

Zum Beispiel verbessert das aktualisierte Modell SAM 2.1 die Objektsegmentierung, sodass sich Objekte in Bildern und Videos leichter präzise erkennen und voneinander abgrenzen lassen. CoTracker3 konzentriert sich dagegen auf das Punkt-Tracking und hilft dabei, Punkte in Videobildern auch dann weiterzuverfolgen, wenn sich Objekte bewegen oder teilweise verdeckt werden.

Meta hat außerdem leichtere und schnellere Versionen seines Sprachmodells Llama für den effizienten Einsatz direkt auf Geräten vorgestellt sowie eine neue taktile Sensortechnologie für die Robotik. In diesem Artikel stellen wir die neuesten Veröffentlichungen von Meta FAIR vor und zeigen, was die einzelnen Werkzeuge bieten.

Metas verbessertes Segment Anything Model: SAM 2.1#

Die Objektsegmentierung, eine wichtige Computer-Vision-Aufgabe, ermöglicht es, einzelne Objekte in einem Bild oder Video zu erkennen und voneinander abzugrenzen. So lassen sich bestimmte relevante Bereiche leichter analysieren. Seit seiner Veröffentlichung wird Metas Segment Anything Model 2 (SAM 2) in verschiedenen Bereichen wie der medizinischen Bildgebung und der Meteorologie für die Objektsegmentierung eingesetzt. Aufbauend auf dem Feedback der Community hat Meta nun SAM 2.1 vorgestellt, eine verbesserte Version, die einige der mit dem ursprünglichen Modell aufgetretenen Herausforderungen bewältigen und insgesamt bessere Ergebnisse liefern soll.

Abb. 1 Benchmarking der Modellleistung von SAM 2.1.

SAM 2.1 enthält Aktualisierungen, die dank neuer Techniken zur Datenerweiterung einen besseren Umgang mit visuell ähnlichen und kleineren Objekten ermöglichen. Das Modell geht auch besser mit Verdeckungen um – also damit, dass Teile eines Objekts nicht sichtbar sind. Dazu wird es mit längeren Videosequenzen trainiert, sodass es sich Objekte im Zeitverlauf „merken“ und wiedererkennen kann, selbst wenn diese vorübergehend verdeckt sind. Wenn beispielsweise jemand eine Person filmt, die hinter einem Baum entlanggeht, kann SAM 2.1 die Person beim Verfolgen wiedererkennen, sobald sie auf der anderen Seite erscheint. Dabei nutzt das Modell die gespeicherte Position des Objekts und dessen Bewegung, um kurze Unterbrechungen der Sicht auszugleichen.

Zusätzlich zu diesen Aktualisierungen hat Meta die SAM 2 Developer Suite veröffentlicht. Sie enthält Open-Source-Trainingscode und eine vollständige Demo-Infrastruktur, sodass Entwickler SAM 2.1 mit eigenen Daten feinabstimmen und in verschiedene Anwendungen integrieren können.

CoTracker3: Metas Trackingmodell mit seinen Funktionen und Aktualisierungen#

Eine weitere interessante Computer-Vision-Aufgabe ist das Tracking von Punkten. Dabei werden bestimmte Punkte oder Merkmale über mehrere Videobilder hinweg verfolgt. Stell dir ein Video vor, in dem ein Radfahrer auf einer Strecke fährt: Mit Punkt-Tracking kann das Modell Punkte am Radfahrer, etwa am Helm oder an den Rädern, weiterverfolgen, selbst wenn sie kurzzeitig durch Hindernisse verdeckt werden.

Das Verfolgen von Punkten ist für Anwendungen wie die 3D-Rekonstruktion, die Robotik und die Videobearbeitung unverzichtbar. Herkömmliche Modelle benötigen oft komplexe Konfigurationen und große synthetische Datensätze. Das schränkt ihre Wirksamkeit in realen Einsatzszenarien ein.

Metas Tracking-Modell CoTracker3 begegnet diesen Einschränkungen mit einer vereinfachten Modellarchitektur. Außerdem führt es ein Verfahren mit Pseudo-Labels ein, mit dem das Modell aus echten, nicht annotierten Videos lernen kann. Dadurch wird CoTracker3 effizienter und lässt sich in der Praxis besser skalieren.

Abb. 2 Vergleich von CoTracker3 mit anderen Trackingmodellen.

Eine der Eigenschaften, die CoTracker3 auszeichnen, ist der gute Umgang mit Verdeckungen. Mithilfe der Track-übergreifenden Aufmerksamkeit, einem Verfahren, bei dem das Modell Informationen zwischen mehreren verfolgten Punkten austauscht, kann CoTracker3 die Position verdeckter Punkte anhand sichtbarer Punkte ableiten. Dadurch eignet sich CoTracker3 besonders gut für dynamische Umgebungen, etwa um eine Person durch eine belebte Szene zu verfolgen.

CoTracker3 bietet außerdem einen Online- und einen Offline-Modus. Der Online-Modus ermöglicht Tracking in Echtzeit, während sich der Offline-Modus für eine umfassendere Verfolgung über ganze Videosequenzen eignet, etwa für Aufgaben wie Videobearbeitung oder Animation.

Weitere Aktualisierungen und Forschung von Meta FAIR#

SAM 2.1 und CoTracker3 zeigen zwar Metas neueste Fortschritte im Bereich Computer Vision, doch auch in anderen Bereichen der KI, etwa der Verarbeitung natürlicher Sprache (NLP) und der Robotik, gibt es spannende Neuerungen. Sehen wir uns einige weitere aktuelle Entwicklungen von Meta FAIR an.

Metas Spirit LM: KI-Innovationen bei Sprach- und multimodalen Modellen#

Metas Spirit LM ist ein neues multimodales Sprachmodell, das Text- und Sprachfunktionen kombiniert und so natürlichere Interaktionen mit KI ermöglicht. Anders als herkömmliche Modelle, die nur Text oder nur Sprache verarbeiten, kann Spirit LM zwischen beiden wechseln.

Spirit LM kann Sprache auf eine menschenähnlichere Weise verstehen und erzeugen. So kann das Modell beispielsweise virtuelle Assistenten verbessern, die gesprochene oder geschriebene Sprache sowohl verstehen als auch darauf antworten, oder Barrierefreiheitstools unterstützen, die Sprache in Text und Text in Sprache umwandeln.

Abb. 3 Beispiel für Text-to-Speech mit Meta Spirit LM.

Darüber hinaus hat Meta Verfahren entwickelt, mit denen sich große Sprachmodelle effizienter machen lassen. Eines davon, Layer Skip, senkt den Rechenaufwand und Energieverbrauch, indem nur die für eine bestimmte Aufgabe erforderlichen Schichten aktiviert werden. Das ist besonders nützlich für Anwendungen auf Geräten mit begrenztem Speicher und geringer Leistung.

Um KI-Anwendungen noch besser auf solchen Geräten einzusetzen, hat Meta außerdem quantisierte Versionen seiner Llama-Modelle veröffentlicht. Diese Modelle sind komprimiert, damit sie auf Mobilgeräten schneller laufen, ohne an Genauigkeit einzubüßen.

Ein Blick auf die Zukunft der Optimierung mit Meta Lingua#

Da KI-Modelle immer größer und komplexer werden, ist die Optimierung ihres Trainingsprozesses entscheidend. Für diesen Zweck hat Meta Meta Lingua eingeführt, eine flexible und effiziente Codebasis, die das Training von großen Sprachmodellen erleichtert. Dank des modularen Aufbaus von Meta Lingua können Forschende ihre Experimente schnell anpassen und skalieren.

Forschende können weniger Zeit für die technische Einrichtung und mehr Zeit für die eigentliche Forschung aufwenden. Die Codebasis ist außerdem schlank und lässt sich leicht integrieren. Damit eignet sie sich sowohl für kleine Experimente als auch für umfangreiche Projekte. Meta Lingua beseitigt diese technischen Hürden und hilft Forschenden, schneller voranzukommen und neue Ideen leichter zu testen.

Abb. 4 Überblick über Meta Lingua.

Metas Verbesserungen bei der KI-Sicherheit#

Mit den Fortschritten im Quantencomputing entstehen neue Herausforderungen für die Datensicherheit. Anders als heutige Computer können Quantencomputer komplexe Berechnungen wahrscheinlich wesentlich schneller lösen. Dadurch könnten sie die derzeit zum Schutz sensibler Informationen verwendeten Verschlüsselungsverfahren knacken. Deshalb gewinnt die Forschung auf diesem Gebiet zunehmend an Bedeutung: Während wir uns auf die Zukunft des Quantencomputings vorbereiten, müssen neue Wege zum Schutz von Daten entwickelt werden.

Um dieser Herausforderung zu begegnen, hat Meta Salsa entwickelt, ein Werkzeug zur Stärkung der kryptografischen Sicherheit im Post-Quanten-Zeitalter. Salsa hilft Forschenden, KI-gestützte Angriffe zu testen und mögliche Schwachstellen aufzudecken. So können sie die Sicherheitslücken in kryptografischen Systemen besser verstehen und beheben. Durch die Simulation fortschrittlicher Angriffsszenarien liefert Salsa wertvolle Erkenntnisse, die zur Entwicklung stärkerer und widerstandsfähigerer Sicherheitsmaßnahmen für das Quantenzeitalter beitragen können.

KI bei Meta: Neueste Innovationen in der Robotik#

Metas neueste Arbeit in der Robotik konzentriert sich darauf, die Interaktion von KI mit der physischen Welt natürlicher zu gestalten. Dafür werden Tastsinn, Geschicklichkeit und Zusammenarbeit mit Menschen verbessert. Meta Digit 360 ist dabei ein fortschrittlicher taktiler Sensor, der Robotern einen ausgeprägten Tastsinn verleiht. Mit den Sensoren können Roboter Details wie Oberflächenbeschaffenheit, Druck und sogar die Form von Objekten erkennen. Auf Grundlage dieser Informationen können Roboter Objekte präziser handhaben – eine wichtige Fähigkeit etwa im Gesundheitswesen und in der Fertigung.

Hier sind einige der wichtigsten Funktionen von Meta Digit 360:

• Das System verfügt über 18 unterschiedliche Sensorfunktionen, mit denen sich vielfältige taktile Details erfassen lassen.
• Der Sensor kann Druckänderungen von nur 1 Millinewton erkennen und ermöglicht Robotern so, auf feine Texturen und subtile Bewegungen zu reagieren.
• Die Fingerspitzenoberfläche ist mit mehr als 8 Millionen Taxeln (winzigen Messpunkten) ausgestattet, die eine hochauflösende Karte der taktilen Informationen liefern.

Eine Erweiterung von Meta Digit 360 ist Meta Digit Plexus, eine Plattform, die verschiedene Tastsensoren in einer einzigen Roboterhand vereint. Dadurch können Roboter Tastreize von mehreren Punkten gleichzeitig verarbeiten – ähnlich wie Menschen mit ihren Händen Sinneseindrücke erfassen.

Abb. 5 Meta Digit Plexus.

Den Weg für das nächste Kapitel der KI bereiten#

Metas jüngste KI-Aktualisierungen reichen von Fortschritten bei Computer Vision mit SAM 2.1 und CoTracker3 bis hin zu neuen Entwicklungen bei Sprachmodellen und in der Robotik. Sie zeigen, wie KI die Theorie zunehmend hinter sich lässt und sich zu praktischen Lösungen mit konkretem Nutzen entwickelt.

Diese Tools sollen KI anpassungsfähiger und in verschiedenen Bereichen nützlicher machen. Sie helfen bei Aufgaben, die von der Segmentierung komplexer Bilder über das Verstehen menschlicher Sprache bis hin zur Zusammenarbeit mit uns in der physischen Welt reichen.

Indem Meta FAIR Barrierefreiheit und praktische Anwendungen in den Mittelpunkt stellt, bringt es uns einer Zukunft näher, in der KI reale Herausforderungen bewältigen und unseren Alltag auf sinnvolle Weise bereichern kann.

Interessierst du dich für KI? Tritt unserer Community bei, um die neuesten Nachrichten und Einblicke zu erhalten, und sieh dir unser GitHub-Repository an. Du kannst auch entdecken, wie Computer Vision in Bereichen wie selbstfahrenden Autos und der Landwirtschaft eingesetzt werden kann!