Cập nhật nghiên cứu AI từ Meta FAIR: SAM 2.1 và CoTracker3

Trí tuệ nhân tạo (AI) là một lĩnh vực nghiên cứu gần đây đang thu hút rất nhiều sự quan tâm và năng lượng, với các new innovations và bước đột phá xuất hiện nhanh hơn bao giờ hết. Trong vài tuần qua, đội ngũ Nghiên cứu AI Cơ bản (FAIR) của Meta đã ra mắt một bộ công cụ và models nhằm giải quyết các thách thức trong các lĩnh vực khác nhau của AI. Những bản phát hành này bao gồm các bản cập nhật có thể ảnh hưởng đến các lĩnh vực đa dạng như healthcare, robotics và augmented reality.

Ví dụ, model SAM 2.1 được cập nhật giúp cải thiện object segmentation, giúp việc nhận diện và tách biệt các đối tượng trong images và video trở nên chính xác hơn. Trong khi đó, CoTracker3 tập trung vào việc tracking điểm, giúp theo dõi các điểm trong khung hình video ngay cả khi các đối tượng di chuyển hoặc bị che khuất một phần.

Meta cũng giới thiệu các phiên bản nhẹ hơn và nhanh hơn của Llama language model để sử dụng on-device use hiệu quả, cùng với công nghệ cảm ứng xúc giác mới cho robotics. Trong bài viết này, chúng ta sẽ phân tích các bản phát hành mới nhất từ Meta FAIR, xem xét những gì mỗi công cụ mang lại. Hãy cùng bắt đầu nhé!

Segment Anything Model nâng cao của Meta: SAM 2.1#

Object segmentation, một computer vision task quan trọng, giúp nhận diện và tách biệt các đối tượng riêng biệt trong một hình ảnh hoặc video, tạo điều kiện thuận lợi cho việc phân tích các khu vực quan tâm cụ thể. Kể từ khi ra mắt, Segment Anything Model 2 (SAM 2) của Meta đã được sử dụng cho việc phân đoạn đối tượng trên các lĩnh vực khác nhau như medical imaging và meteorology. Dựa trên phản hồi từ cộng đồng, Meta giờ đây đã giới thiệu SAM 2.1, một phiên bản cải tiến được thiết kế để giải quyết một số thách thức gặp phải với model gốc và mang lại performance tổng thể mạnh mẽ hơn.

Fig 1. Đánh giá hiệu năng model SAM 2.1.

SAM 2.1 bao gồm các cập nhật để xử lý tốt hơn các đối tượng có hình ảnh tương tự và nhỏ hơn, nhờ vào các kỹ thuật data augmentation mới. Model này cũng cải thiện cách xử lý tình trạng che khuất (khi các phần của đối tượng bị che khuất khỏi tầm nhìn) bằng cách huấn luyện trên các chuỗi video dài hơn, cho phép model "nhớ" và nhận diện đối tượng theo thời gian, ngay cả khi chúng tạm thời bị chặn. Ví dụ, nếu ai đó đang filming a video một người đi bộ phía sau một tree, SAM 2.1 có thể track người đó khi họ xuất hiện trở lại ở phía bên kia, sử dụng trí nhớ về object’s position và movement để lấp đầy các khoảng trống khi tầm nhìn bị gián đoạn ngắn.

Bên cạnh các cập nhật này, Meta đã phát hành SAM 2 Developer Suite, cung cấp mã huấn luyện open-source và cơ sở hạ tầng demo đầy đủ để các nhà phát triển có thể fine-tune SAM 2.1 với data của riêng họ và tích hợp nó vào hàng loạt applications.

CoTracker3: Model tracking của Meta cùng các tính năng và bản cập nhật#

Another interesting computer vision task is point tracking. It involves following specific points or features across multiple frames in a video. Consider a video of a cyclist riding along a track - point tracking lets the model keep track of points on the cyclist, like the helmet or wheels, even if they’re hidden by obstacles for a moment.

Point tracking is essential for applications like 3D reconstruction, robotics, and video editing. Traditional models often rely on complex setups and large synthetic datasets, which limits their effectiveness when applied to real-world scenarios.

Model CoTracker3 tracking của Meta giải quyết những hạn chế này bằng cách đơn giản hóa kiến trúc của model. Nó cũng giới thiệu kỹ thuật giả labeling technique cho phép model học từ các video thực tế, chưa được gán nhãn, giúp CoTracker3 trở nên hiệu quả và có khả năng mở rộng tốt hơn cho việc sử dụng thực tế.

Fig 2. So sánh CoTracker3 với các model tracking khác.

Một trong những tính năng làm cho CoTracker3 nổi bật là khả năng xử lý tốt tình trạng che khuất. Bằng cách sử dụng cơ chế chú ý chéo (cross-track attention), một kỹ thuật cho phép model chia sẻ thông tin qua nhiều điểm được theo dõi, CoTracker3 có thể suy luận vị trí của các điểm bị che khuất bằng cách tham chiếu đến các điểm hiển thị. Nhờ đó, CoTracker3 được thiết kế để mang lại hiệu quả cao trong các môi trường động, chẳng hạn như following a person qua một khung cảnh đông đúc.

CoTracker3 also offers both online and offline modes. The online mode provides real-time tracking, while the offline mode can be used for more comprehensive tracking across entire video sequences, ideal for tasks like video editing or animation.

Các cập nhật và nghiên cứu khác từ Meta FAIR#

Trong khi SAM 2.1 và CoTracker3 thể hiện những tiến bộ mới nhất của Meta trong lĩnh vực computer vision, thì cũng có những cập nhật thú vị trong các lĩnh vực khác của AI, chẳng hạn như natural language processing (NLP) và robotics. Hãy cùng xem xét một số phát triển gần đây khác từ Meta FAIR.

Spirit LM của Meta: Đổi mới AI trong các Model ngôn ngữ và Đa phương thức#

Meta’s Spirit LM is a new multimodal language model that combines text and speech capabilities, making interactions with AI feel more natural. Unlike traditional models that handle only text or only speech, Spirit LM can seamlessly switch between the two.

Spirit LM có thể hiểu và generate language theo những cách mang tính người hơn. Ví dụ, nó có thể cải thiện các virtual assistants có khả năng vừa lắng nghe vừa phản hồi bằng ngôn ngữ nói hoặc viết, hoặc hỗ trợ các accessibility tools chuyển đổi giữa giọng nói và văn bản.

Fig 3. Ví dụ về chuyển đổi văn bản thành giọng nói sử dụng Meta Spirit LM.

Moreover, Meta has developed techniques to make large language models more efficient. One of these, called Layer Skip, helps reduce computational needs and energy costs by only activating the layers that are necessary for a given task. This is especially useful for applications on devices with limited memory and power.

Đưa nhu cầu deploy AI applications trên các thiết bị đó tiến thêm một bước, Meta cũng đã tung ra các phiên bản quantized của các Llama models. Các model này được nén để chạy nhanh hơn trên các thiết bị di động mà không làm giảm accuracy.

Một cái nhìn về tương lai của tối ưu hóa với Meta Lingua#

As AI models grow in size and complexity, optimizing their training process has become crucial. With respect to optimization, Meta has introduced Meta Lingua, a flexible and efficient codebase that makes training large language models easier. Meta Lingua’s modular design lets researchers quickly customize and scale their experiments.

Researchers can spend less time on technical setup and more time on actual research. The codebase is also lightweight and easy to integrate, making it suitable for both small experiments and large-scale projects. By removing these technical hurdles, Meta Lingua helps researchers make faster progress and test new ideas with greater ease.

Fig 4. Tổng quan về Meta Lingua.

Các cải tiến của Meta về bảo mật AI#

Khi công nghệ điện toán lượng tử tiến bộ, nó mang lại những thách thức mới đối với data security. Không giống như các máy tính hiện nay, có khả năng các máy tính lượng tử sẽ có thể giải quyết các phép tính phức tạp nhanh hơn nhiều. Điều này có nghĩa là chúng có khả năng break the encryption các phương pháp hiện đang được sử dụng để protect thông tin nhạy cảm. Đó là lý do tại sao nghiên cứu trong lĩnh vực này ngày càng trở nên quan trọng - phát triển các cách thức mới để bảo vệ dữ liệu là điều cần thiết khi chúng ta chuẩn bị cho tương lai của điện toán lượng tử.

To address this, Meta has developed Salsa, a tool aimed at strengthening post-quantum cryptographic security. Salsa helps researchers test AI-driven attacks and identify potential weaknesses, enabling them to better understand and address the vulnerabilities in cryptographic systems. By simulating advanced attack scenarios, Salsa provides valuable insights that can guide the development of stronger, more resilient security measures for the quantum era.

AI tại Meta: Những đổi mới mới nhất trong robotics#

Công việc mới nhất của Meta trong lĩnh vực robotics tập trung vào việc giúp AI tương tác tự nhiên hơn với thế giới vật lý bằng cách nâng cao khả năng cảm nhận xúc giác, sự khéo léo và khả năng cộng tác với con người. Cụ thể, Meta Digit 360 là một cảm biến xúc giác tiên tiến mang lại cho robot cảm giác chạm tinh tế. Các cảm biến này giúp robot phát hiện các chi tiết như kết cấu, áp suất và thậm chí cả hình dạng đối tượng. Từ những thông tin chi tiết này, robot có thể xử lý các đối tượng với độ chính xác cao hơn; điều này đóng vai trò cốt lõi trong các lĩnh vực như healthcare và manufacturing.

Dưới đây là một số tính năng chính mà Meta Digit 360 bao gồm:

• Nó được trang bị 18 tính năng cảm biến riêng biệt để có thể nắm bắt được nhiều chi tiết xúc giác.
• Cảm biến có thể phát hiện những thay đổi áp lực nhỏ tới 1 millinewton, cho phép robot phản ứng với các kết cấu tinh tế và các chuyển động nhỏ.
• Nó bao gồm hơn 8 triệu taxels (các điểm cảm biến nhỏ) trên khắp bề mặt đầu ngón tay, cung cấp bản đồ có độ phân giải cao về thông tin xúc giác.

Một phần mở rộng của Meta Digit 360 là Meta Digit Plexus, một nền tảng tích hợp các cảm biến chạm khác nhau lên một bàn tay robot duy nhất. Thiết lập này cho phép robot xử lý thông tin xúc giác từ nhiều điểm cùng một lúc, tương tự như cách bàn tay con người thu thập dữ liệu cảm giác.

Fig 5. The Meta Digit Plexus.

Thiết lập nền móng cho chương tiếp theo của AI#

Các cập nhật AI mới nhất của Meta, từ những tiến bộ trong computer vision với SAM 2.1 và CoTracker3 đến các phát triển mới trong các model ngôn ngữ và robotics, cho thấy AI đang dần chuyển từ lý thuyết sang các giải pháp thiết thực và có tác động.

Các công cụ này được thiết kế để làm cho AI trở nên thích ứng và hữu ích hơn trong các lĩnh vực khác nhau, hỗ trợ mọi thứ từ việc phân đoạn hình ảnh phức tạp đến việc hiểu ngôn ngữ con người và thậm chí làm việc cùng chúng ta trong các không gian vật lý.

Bằng cách ưu tiên khả năng tiếp cận và ứng dụng thực tế, Meta FAIR đang đưa chúng ta đến gần hơn với một tương lai nơi AI có thể giải quyết các thách thức thực tế và nâng cao cuộc sống hàng ngày của chúng ta theo những cách có ý nghĩa.

Are you curious about AI? Join our community for the latest updates and insights, and check out our GitHub repository. You can also explore how computer vision can be used in industries like self-driving cars and agriculture!