KI-Forschungs-Updates von Meta FAIR: SAM 2.1 und CoTracker3

Künstliche Intelligenz (KI) ist ein Forschungsfeld, das in letzter Zeit voller Begeisterung und Tatkraft ist, wobei new innovations und Durchbrüche schneller denn je auftauchen. In den vergangenen Wochen hat das Team Fundamental AI Research (FAIR) von Meta eine Reihe von Werkzeugen und models vorgestellt, die darauf abzielen, Herausforderungen in verschiedenen KI-Bereichen zu bewältigen. Diese Veröffentlichungen umfassen Aktualisierungen, die so unterschiedliche Bereiche wie healthcare, robotics und augmented reality beeinflussen könnten.

Beispielsweise verbessert das aktualisierte SAM 2.1-Modell die object segmentation, wodurch es einfacher wird, Objekte in images und Videos präzise zu identifizieren und voneinander zu trennen. Unterdessen konzentriert sich CoTracker3 auf das Punkt-tracking und hilft dabei, Punkte in Videoframes zu verfolgen, selbst wenn sich Objekte bewegen oder teilweise verdeckt werden.

Meta hat außerdem leichtere, schnellere Versionen seines Llama language model für die effiziente on-device use eingeführt, zusammen mit neuer Technologie zur Tastsensorik für die robotics. In diesem Artikel schauen wir uns diese neuesten Veröffentlichungen von Meta FAIR im Detail an und beleuchten, was jedes Werkzeug bietet. Lass uns anfangen!

Metas verbessertes Segment Anything Model: SAM 2.1#

Object segmentation, eine wichtige computer vision task, ermöglicht es, bestimmte Objekte innerhalb eines Bildes oder Videos zu identifizieren und abzutrennen, wodurch die Analyse spezifischer Interessensbereiche erleichtert wird. Seit seiner Veröffentlichung wird das Segment Anything Model 2 (SAM 2) von Meta für die Objektsegmentierung in verschiedenen Bereichen wie medical imaging und meteorology eingesetzt. Auf Basis von Feedback aus der Community hat Meta nun SAM 2.1 eingeführt, eine verbesserte Version, die darauf ausgelegt ist, einige der beim ursprünglichen Modell aufgetretenen Herausforderungen zu bewältigen und insgesamt eine stärkere performance zu liefern.

Fig 1. SAM 2.1 Model Performance Benchmarking.

SAM 2.1 enthält Aktualisierungen zur besseren Handhabung visuell ähnlicher und kleinerer Objekte dank neuer data augmentation-Techniken. Es verbessert zudem den Umgang des Modells mit Okklusionen (wenn Teile eines Objekts der Sicht entzogen sind), indem es anhand längerer Videosequenzen trainiert wird. Dies ermöglicht es ihm, Objekte über die Zeit hinweg zu „erinnern“ und zu erkennen, selbst wenn sie temporär blockiert sind. Wenn zum Beispiel jemand filming a video von einer Person macht, die hinter einem tree läuft, kann SAM 2.1 die Person beim Wiederauftauchen auf der anderen Seite track, indem es seine Erinnerung an die object’s position und movement nutzt, um Lücken zu schließen, wenn die Sicht kurzzeitig unterbrochen ist.

Neben diesen Updates hat Meta die SAM 2 Developer Suite veröffentlicht, die open-source Trainingscode und eine vollständige Demoinfrastruktur bereitstellt, damit Entwickler SAM 2.1 mit ihren eigenen data fine-tune und in eine Reihe von applications integrieren können.

CoTracker3: Metas Tracking-Modell sowie dessen Funktionen und Updates#

Eine weitere interessante computer vision-Aufgabe ist das Punkt-tracking. Dabei werden spezifische Punkte oder Merkmale über mehrere Frames in einem Video hinweg verfolgt. Stell dir ein Video von einem cyclist vor, der auf einer Strecke fährt – das Punkt-Tracking ermöglicht es dem Modell, track of points am Radfahrer, wie dem Helm oder den Rädern, beizubehalten, selbst wenn diese für einen Moment durch Hindernisse verdeckt werden.

Punkt-Tracking ist essenziell für Anwendungen wie 3D reconstruction, robotics und Videobearbeitung. Herkömmliche Modelle stützen sich oft auf komplexe Setups und große synthetische Datensätze, was ihre Effektivität bei der Anwendung auf reale Szenarien einschränkt.

Metas CoTracker3 tracking-Modell begegnet diesen Einschränkungen durch eine Vereinfachung der Modellarchitektur. Es führt zudem eine Pseudo-labeling technique ein, die es dem Modell ermöglicht, aus echten, unkommentierten Videos zu lernen, wodurch CoTracker3 für den praktischen Einsatz effizienter und skalierbarer wird.

Fig 2. Comparing CoTracker3 to Other Tracking Models.

Eines der Merkmale, die CoTracker3 hervorheben, ist seine Fähigkeit, gut mit Okklusionen umzugehen. Mithilfe von Cross-Track-Attention – einer Technik, die es dem Modell ermöglicht, Informationen über mehrere verfolgte Punkte hinweg auszutauschen – kann CoTracker3 die Positionen versteckter Punkte ableiten, indem es auf sichtbare verweist. Auf diese Weise ist CoTracker3 so konzipiert, dass es in dynamischen Umgebungen äußerst effektiv ist, wie zum Beispiel beim following a person durch eine überfüllte Szene.

CoTracker3 bietet außerdem sowohl Online- als auch Offlinemodi. Der Onlinemodus ermöglicht Echtzeit-Tracking, während der Offlinemodus für umfassenderes Tracking über gesamte Videosequenzen hinweg genutzt werden kann, was ideal für Aufgaben wie Videobearbeitung oder animation ist.

Weitere Updates und Forschung von Meta FAIR#

Während SAM 2.1 und CoTracker3 Metas neueste Fortschritte im Bereich computer vision demonstrieren, gibt es auch spannende Updates in anderen Bereichen der AI, wie zum Beispiel natural language processing (NLP) und robotics. Werfen wir einen Blick auf einige dieser anderen jüngsten Entwicklungen von Meta FAIR.

Metas Spirit LM: KI-Innovationen in Sprach- und multimodalen Modellen#

Metas Spirit LM ist ein neues multimodal-Sprachmodell, das text and speech-Funktionen kombiniert und interactions with AI natürlicher wirken lässt. Im Gegensatz zu herkömmlichen Modellen, die nur Text oder nur Sprache verarbeiten, kann Spirit LM nahtlos zwischen beiden wechseln.

Spirit LM kann Sprache auf eine Weise verstehen und generate language, die sich menschenähnlicher anfühlt. Beispielsweise kann es virtual assistants verbessern, die sowohl in gesprochener als auch in geschriebener Sprache zuhören und antworten können, oder accessibility tools unterstützen, die zwischen Sprache und Text konvertieren.

Fig 3. An Example of Text-to-Speech Using Meta Spirit LM.

Darüber hinaus hat Meta Techniken entwickelt, um große Sprachmodelle effizienter zu machen. Eine davon, Layer Skip genannt, hilft dabei, computational needs und energy costs zu reduzieren, indem nur die Schichten aktiviert werden, die für eine bestimmte Aufgabe erforderlich sind. Dies ist besonders nützlich für Anwendungen on devices mit begrenztem Speicher und Strom.

Um die Notwendigkeit, deploy AI-Anwendungen auf solchen Geräten bereitzustellen, noch einen Schritt weiterzuführen, hat Meta außerdem quantized Versionen seiner Llama models herausgebracht. Diese Modelle sind komprimiert, um auf mobile devices schneller zu laufen, ohne Einbußen bei der accuracy hinzunehmen.

Ein Blick in die Zukunft der Optimierung mit Meta Lingua#

Da AI models in Größe und Komplexität wachsen, ist die Optimierung ihres training-Prozesses entscheidend geworden. Im Hinblick auf die optimization hat Meta Meta Lingua eingeführt, eine flexible und effiziente Codebasis, die das Training von large language models erleichtert. Das modulare Design von Meta Lingua erlaubt es researchers, ihre Experimente schnell anzupassen und zu skalieren.

Forschende können weniger Zeit für das technische Setup und mehr Zeit für die eigentliche Forschung aufwenden. Die Codebasis ist zudem leichtgewichtig und einfach zu integrate, wodurch sie sich sowohl für kleine Experimente als auch für groß angelegte Projekte eignet. Durch das Beseitigen dieser technischen Hürden hilft Meta Lingua Forschern dabei, schneller Fortschritte zu erzielen und new ideas mit größerer Leichtigkeit zu testen.

Fig 4. An Overview of Meta Lingua.

Metas Verbesserungen bei der KI-Sicherheit#

Während die Quantencomputing-Technologie voranschreitet, bringt sie neue Herausforderungen für die data security mit sich. Im Gegensatz zu heutigen Computern werden Quantencomputer höchstwahrscheinlich in der Lage sein, komplexe Berechnungen viel schneller zu lösen. Das bedeutet, dass sie möglicherweise die Verschlüsselungsmethoden break the encryption, die derzeit zum protect sensibler Informationen verwendet werden, knacken könnten. Aus diesem Grund wird die Forschung auf diesem Gebiet immer wichtiger – die Entwicklung neuer Wege zum Schutz von Daten ist unerlässlich, während wir uns auf die Zukunft des Quantencomputings vorbereiten.

Um dem entgegenzuwirken, hat Meta Salsa entwickelt, ein Werkzeug zur Stärkung der post-quantenkryptografischen Sicherheit. Salsa hilft Forschern dabei, KI-gesteuerte Angriffe zu testen und potenzielle Schwachstellen zu identifizieren, sodass sie die Anfälligkeiten in kryptografischen Systemen besser verstehen und beheben können. Durch die Simulation fortschrittlicher Angriffsszenarien liefert Salsa wertvolle Erkenntnisse, die die Entwicklung stärkerer, widerstandsfähigerer security measures für das Quantenzeitalter leiten können.

KI bei Meta: Neueste Innovationen in der Robotik#

Metas jüngste Arbeit im Bereich robotics konzentriert sich darauf, KI dabei zu helfen, natürlicher mit der physischen Welt zu interagieren, indem die Berührungswahrnehmung, die Geschicklichkeit und die Zusammenarbeit mit Menschen verbessert werden. Insbesondere ist Meta Digit 360 ein fortschrittlicher Tastsensor, der Robotern einen verfeinerten Tastsinn verleiht. Die Sensoren helfen Robotern, Details wie Textur, Druck und sogar Objektformen zu erkennen. Anhand dieser Erkenntnisse können Roboter Objekte mit größerer Präzision handhaben; etwas, das in Bereichen wie healthcare und manufacturing von entscheidender Bedeutung ist.

Hier sind einige der wichtigsten Merkmale, die das Meta Digit 360 beinhaltet:

• Es ist mit 18 verschiedenen Sensorfunktionen ausgestattet, um eine breite Palette an taktilen Details erfassen zu können.
• Der Sensor kann Druckänderungen von nur 1 Millinewton erkennen, was es Robotern ermöglicht, auf feine Texturen und subtile Bewegungen zu reagieren.
• Es enthält über 8 Millionen Taxel (winzige Sensorpunkte) über die gesamte Oberfläche der Fingerspitze, was eine hochauflösende Karte an Tastinformationen liefert.

Eine Erweiterung des Meta Digit 360 ist das Meta Digit Plexus, eine Plattform, die verschiedene Tastsensoren in einer einzelnen Roboterhand integriert. Dieses Setup ermöglicht es Robotern, Tastinformationen von mehreren Punkten gleichzeitig zu verarbeiten, ähnlich wie menschliche Hände sensorische Daten sammeln.

Fig 5. The Meta Digit Plexus.

Die Weichen für das nächste Kapitel der KI gestellt#

Metas neueste KI-Updates, von Fortschritten in der Computer Vision mit SAM 2.1 und CoTracker3 bis hin zu neuen Entwicklungen bei Sprachmodellen und Robotik, zeigen, wie KI stetig von der Theorie zu praktischen, wirkungsvollen Lösungen übergeht.

Diese Tools sind darauf ausgelegt, KI anpassungsfähiger und nützlicher in verschiedenen Bereichen zu machen und bei allem zu helfen, von der Segmentierung komplexer Bilder bis hin zum Verständnis menschlicher Sprache und sogar der Zusammenarbeit mit uns in physischen Räumen.

Indem Meta FAIR Barrierefreiheit und praktische Anwendung in den Vordergrund stellt, bringt es uns einer Zukunft näher, in der KI reale Herausforderungen bewältigen und unseren Alltag auf sinnvolle Weise verbessern kann.

Bist du neugierig auf KI? Werde Teil von our community für die neuesten Updates und Einblicke, und schau dir unser GitHub repository an. Du kannst auch erkunden, wie computer vision in Branchen wie self-driving cars und agriculture eingesetzt werden kann!