Cập nhật nghiên cứu AI từ Meta FAIR: SAM 2.1 và CoTracker3

Nghiên cứu về trí tuệ nhân tạo (AI) đang tiến triển nhanh chóng, với những đột phá mới xuất hiện nhanh hơn bao giờ hết. Trong vài tuần qua, nhóm Nghiên cứu AI Nền tảng (FAIR) của Meta đã giới thiệu một bộ công cụ và model nhằm giải quyết thách thức trong nhiều lĩnh vực AI. Các sản phẩm này bao gồm những bản cập nhật có thể tác động đến các lĩnh vực đa dạng như chăm sóc sức khỏe, robot học và thực tế tăng cường.

Ví dụ, model SAM 2.1 được cập nhật cải thiện khả năng phân đoạn đối tượng, giúp xác định và tách riêng chính xác các đối tượng trong ảnh và video dễ dàng hơn. Trong khi đó, CoTracker3 tập trung vào theo dõi điểm, giúp theo dõi các điểm trong khung hình video ngay cả khi đối tượng di chuyển hoặc bị che khuất một phần.

Meta cũng đã giới thiệu các phiên bản nhẹ hơn, nhanh hơn của mô hình ngôn ngữ Llama để sử dụng hiệu quả trên thiết bị, cùng với công nghệ cảm biến xúc giác mới dành cho robot. Trong bài viết này, chúng ta sẽ phân tích các bản phát hành mới nhất từ Meta FAIR và tìm hiểu những gì mỗi công cụ cung cấp.

Segment Anything Model cải tiến của Meta: SAM 2.1#

Phân đoạn đối tượng, một tác vụ thị giác máy tính quan trọng, cho phép xác định và tách riêng các đối tượng khác nhau trong ảnh hoặc video, giúp phân tích những khu vực cụ thể cần quan tâm dễ dàng hơn. Kể từ khi ra mắt, Segment Anything Model 2 (SAM 2) của Meta đã được sử dụng để phân đoạn đối tượng trong nhiều lĩnh vực như chẩn đoán hình ảnh y tế và khí tượng học. Dựa trên phản hồi từ cộng đồng, Meta hiện đã giới thiệu SAM 2.1, phiên bản cải tiến được thiết kế để giải quyết một số thách thức gặp phải ở model gốc và mang lại hiệu suất tổng thể cao hơn.

Hình 1. Đánh giá hiệu năng model SAM 2.1.

SAM 2.1 bao gồm các bản cập nhật giúp xử lý tốt hơn những đối tượng nhỏ và có hình ảnh tương tự nhau nhờ các kỹ thuật tăng cường dữ liệu mới. Model cũng cải thiện khả năng xử lý hiện tượng che khuất (khi một phần đối tượng bị khuất khỏi tầm nhìn) bằng cách huấn luyện trên các chuỗi video dài hơn, cho phép model “ghi nhớ” và nhận diện đối tượng theo thời gian, ngay cả khi đối tượng tạm thời bị che khuất. Ví dụ, nếu ai đó quay video một người đi bộ phía sau cây, SAM 2.1 có thể theo dõi người đó khi họ xuất hiện ở phía bên kia, sử dụng bộ nhớ về vị trí và chuyển động của đối tượng để bù vào những khoảng trống khi tầm nhìn bị gián đoạn trong thời gian ngắn.

Cùng với những cập nhật này, Meta đã phát hành SAM 2 Developer Suite, cung cấp mã huấn luyện mã nguồn mở và hạ tầng demo đầy đủ để nhà phát triển có thể tinh chỉnh SAM 2.1 bằng dữ liệu của riêng mình và tích hợp model vào nhiều ứng dụng.

CoTracker3: Model theo dõi của Meta, các tính năng và bản cập nhật#

Một tác vụ thị giác máy tính thú vị khác là theo dõi điểm. Tác vụ này bao gồm việc theo dõi các điểm hoặc đặc trưng cụ thể qua nhiều khung hình trong video. Hãy xem xét video một người đi xe đạp trên đường đua: theo dõi điểm cho phép model theo dõi các điểm trên người đi xe đạp, chẳng hạn như mũ bảo hiểm hoặc bánh xe, ngay cả khi chúng bị chướng ngại vật che khuất trong chốc lát.

Theo dõi điểm là yếu tố thiết yếu trong các ứng dụng như dựng hình 3D, robotics và chỉnh sửa video. Các model truyền thống thường dựa vào những thiết lập phức tạp và tập dữ liệu tổng hợp lớn, làm hạn chế hiệu quả khi áp dụng vào các tình huống thực tế.

Model theo dõi CoTracker3 của Meta giải quyết những hạn chế này bằng cách đơn giản hóa kiến trúc model. Model cũng giới thiệu kỹ thuật gán nhãn giả, cho phép model học từ các video thực chưa được gán nhãn, giúp CoTracker3 hiệu quả và có khả năng mở rộng hơn khi sử dụng trong thực tế.

Hình 2. So sánh CoTracker3 với các model theo dõi khác.

Một trong những đặc điểm nổi bật của CoTracker3 là khả năng xử lý hiện tượng che khuất tốt. Sử dụng attention liên điểm theo dõi, một kỹ thuật cho phép model chia sẻ thông tin giữa nhiều điểm đang được theo dõi, CoTracker3 có thể suy luận vị trí của các điểm bị khuất bằng cách tham chiếu những điểm đang hiển thị. Nhờ vậy, CoTracker3 được thiết kế để hoạt động hiệu quả trong các môi trường biến động, chẳng hạn như theo dõi một người di chuyển qua đám đông.

CoTracker3 cũng hỗ trợ cả chế độ trực tuyến và ngoại tuyến. Chế độ trực tuyến cung cấp khả năng theo dõi theo thời gian thực, trong khi chế độ ngoại tuyến phù hợp để theo dõi toàn diện hơn trên các chuỗi video hoàn chỉnh, lý tưởng cho những tác vụ như chỉnh sửa video hoặc hoạt họa.

Các nghiên cứu và cập nhật khác từ Meta FAIR#

Trong khi SAM 2.1 và CoTracker3 thể hiện những tiến bộ mới nhất của Meta trong lĩnh vực thị giác máy tính, các lĩnh vực AI khác như xử lý ngôn ngữ tự nhiên (NLP) và robot cũng có những cập nhật đáng chú ý. Hãy cùng xem một số phát triển gần đây khác từ Meta FAIR.

Spirit LM của Meta: Đổi mới AI trong các model ngôn ngữ và đa phương thức#

Spirit LM của Meta là một model ngôn ngữ đa phương thức mới, kết hợp khả năng xử lý văn bản và giọng nói, giúp tương tác với AI tự nhiên hơn. Không giống các model truyền thống chỉ xử lý văn bản hoặc chỉ xử lý giọng nói, Spirit LM có thể chuyển đổi giữa hai dạng này.

Spirit LM có thể hiểu và tạo ngôn ngữ theo cách tự nhiên như con người hơn. Ví dụ, model có thể cải thiện trợ lý ảo có khả năng vừa nghe vừa phản hồi bằng ngôn ngữ nói hoặc viết, hoặc hỗ trợ các công cụ trợ năng chuyển đổi giữa giọng nói và văn bản.

Hình 3. Ví dụ chuyển văn bản thành giọng nói bằng Meta Spirit LM.

Ngoài ra, Meta đã phát triển các kỹ thuật giúp mô hình ngôn ngữ lớn hoạt động hiệu quả hơn. Một kỹ thuật trong số đó, có tên Layer Skip, giúp giảm nhu cầu tính toán và chi phí năng lượng bằng cách chỉ kích hoạt các lớp cần thiết cho một tác vụ cụ thể. Kỹ thuật này đặc biệt hữu ích cho các ứng dụng chạy trên thiết bị có bộ nhớ và năng lượng hạn chế.

Để tiến thêm một bước trong việc triển khai ứng dụng AI trên các thiết bị như vậy, Meta cũng đã phát hành các phiên bản lượng tử hóa của model Llama. Các model này được nén để chạy nhanh hơn trên thiết bị di động mà không làm giảm độ chính xác.

Tìm hiểu tương lai của tối ưu hóa với Meta Lingua#

Khi các model AI ngày càng lớn và phức tạp, việc tối ưu hóa quy trình huấn luyện trở nên thiết yếu. Về phương diện tối ưu hóa, Meta đã giới thiệu Meta Lingua, một codebase linh hoạt và hiệu quả giúp việc huấn luyện mô hình ngôn ngữ lớn dễ dàng hơn. Thiết kế mô-đun của Meta Lingua cho phép nhà nghiên cứu nhanh chóng tùy chỉnh và mở rộng quy mô thí nghiệm.

Nhà nghiên cứu có thể dành ít thời gian hơn cho việc thiết lập kỹ thuật và nhiều thời gian hơn cho nghiên cứu thực tế. Codebase này cũng gọn nhẹ, dễ tích hợp, phù hợp cho cả thí nghiệm nhỏ lẫn dự án quy mô lớn. Bằng cách loại bỏ những trở ngại kỹ thuật này, Meta Lingua giúp nhà nghiên cứu đạt tiến triển nhanh hơn và thử nghiệm ý tưởng mới dễ dàng hơn.

Hình 4. Tổng quan về Meta Lingua.

Những cải tiến của Meta về bảo mật AI#

Khi công nghệ điện toán lượng tử phát triển, những thách thức mới về bảo mật dữ liệu cũng xuất hiện. Không giống máy tính hiện nay, máy tính lượng tử có khả năng giải các phép tính phức tạp nhanh hơn nhiều. Điều này có nghĩa là chúng có thể phá vỡ các phương pháp mã hóa hiện đang được dùng để bảo vệ thông tin nhạy cảm. Vì vậy, nghiên cứu trong lĩnh vực này ngày càng quan trọng: phát triển các phương thức mới để bảo vệ dữ liệu là điều thiết yếu khi chúng ta chuẩn bị cho tương lai của điện toán lượng tử.

Để giải quyết vấn đề này, Meta đã phát triển Salsa, một công cụ nhằm tăng cường bảo mật mật mã hậu lượng tử. Salsa giúp nhà nghiên cứu kiểm thử các cuộc tấn công dựa trên AI và xác định những điểm yếu tiềm ẩn, từ đó hiểu rõ hơn và xử lý các lỗ hổng trong hệ thống mật mã. Bằng cách mô phỏng các tình huống tấn công tiên tiến, Salsa cung cấp thông tin chuyên sâu hữu ích, hỗ trợ phát triển các biện pháp bảo mật mạnh hơn và có khả năng chống chịu cao hơn trong kỷ nguyên lượng tử.

AI tại Meta: Những đổi mới mới nhất trong robotics#

Công trình mới nhất của Meta trong lĩnh vực robot tập trung vào việc giúp AI tương tác tự nhiên hơn với thế giới vật lý bằng cách nâng cao khả năng cảm nhận xúc giác, sự khéo léo và khả năng cộng tác với con người. Cụ thể, Meta Digit 360 là cảm biến xúc giác tiên tiến giúp robot có cảm giác chạm tinh tế hơn. Các cảm biến này giúp robot phát hiện những chi tiết như kết cấu, áp lực và thậm chí cả hình dạng vật thể. Dựa trên những thông tin này, robot có thể xử lý vật thể chính xác hơn, yếu tố thiết yếu trong các lĩnh vực như chăm sóc sức khỏe và sản xuất.

Dưới đây là một số tính năng chính của Meta Digit 360:

• Thiết bị được trang bị 18 tính năng cảm biến riêng biệt, cho phép thu nhận nhiều loại chi tiết xúc giác.
• Cảm biến có thể phát hiện những thay đổi áp suất nhỏ tới 1 millinewton, cho phép robot phản ứng với kết cấu tinh tế và chuyển động rất nhỏ.
• Thiết bị có hơn 8 triệu taxel (điểm cảm biến nhỏ) trên bề mặt đầu ngón tay, cung cấp bản đồ thông tin xúc giác có độ phân giải cao.

Meta Digit Plexus là phần mở rộng của Meta Digit 360, một nền tảng tích hợp nhiều cảm biến xúc giác trên cùng một bàn tay robot. Thiết lập này cho phép robot xử lý đồng thời thông tin xúc giác từ nhiều điểm, tương tự cách bàn tay con người thu thập dữ liệu cảm giác.

Hình 5. Meta Digit Plexus.

Mở đường cho chương tiếp theo của AI#

Các cập nhật AI mới nhất của Meta, từ những tiến bộ trong thị giác máy tính với SAM 2.1 và CoTracker3 đến các phát triển mới trong model ngôn ngữ và robotics, cho thấy AI đang dần chuyển từ lý thuyết sang các giải pháp thực tiễn có tác động thiết thực.

Các công cụ này được thiết kế để giúp AI thích ứng và hữu ích hơn trong nhiều lĩnh vực, hỗ trợ mọi việc từ phân đoạn hình ảnh phức tạp đến hiểu ngôn ngữ con người, thậm chí làm việc cùng chúng ta trong môi trường vật lý.

Bằng cách ưu tiên khả năng tiếp cận và ứng dụng thực tế, Meta FAIR đang đưa chúng ta đến gần hơn với tương lai nơi AI có thể giải quyết các thách thức thực tế và cải thiện cuộc sống hằng ngày một cách thiết thực.

Bạn quan tâm đến AI? Hãy tham gia cộng đồng của chúng tôi để cập nhật tin tức và thông tin chuyên sâu mới nhất, đồng thời xem repository GitHub của chúng tôi. Bạn cũng có thể tìm hiểu cách ứng dụng thị giác máy tính trong các ngành như xe tự lái và nông nghiệp!