Các cập nhật nghiên cứu AI từ Meta FAIR: SAM 2.1 và CoTracker3

Trí tuệ nhân tạo (AI) là một lĩnh vực nghiên cứu gần đây đang tràn đầy sự sôi động và hứng khởi, với các đổi mới và đột phá xuất hiện nhanh hơn bao giờ hết. Trong vài tuần qua, nhóm Nghiên cứu AI nền tảng (FAIR) của Meta đã công bố một loạt công cụ và model nhằm giải quyết các thách thức trong nhiều lĩnh vực khác nhau của AI. Những bản phát hành này bao gồm các cập nhật có thể tác động đến những lĩnh vực đa dạng như chăm sóc sức khỏe, robotics và thực tế tăng cường.

Chẳng hạn, model SAM 2.1 được cập nhật đã cải thiện khả năng phân đoạn đối tượng, giúp xác định và tách riêng các đối tượng trong ảnh và video một cách chính xác hơn. Trong khi đó, CoTracker3 tập trung vào tracking điểm, giúp theo dõi các điểm trong từng khung hình video ngay cả khi đối tượng di chuyển hoặc bị che khuất một phần.

Meta cũng đã giới thiệu các phiên bản model ngôn ngữ Llama nhẹ hơn, nhanh hơn để sử dụng hiệu quả trên thiết bị, cùng với công nghệ cảm biến xúc giác mới cho robotics. Trong bài viết này, chúng ta sẽ phân tích các bản phát hành mới nhất từ Meta FAIR và xem mỗi công cụ cung cấp những gì. Hãy bắt đầu!

Segment Anything Model nâng cấp của Meta: SAM 2.1#

Phân đoạn đối tượng, một tác vụ computer vision quan trọng, cho phép xác định và tách riêng các đối tượng khác nhau trong một ảnh hoặc video, từ đó giúp phân tích các khu vực quan tâm cụ thể dễ dàng hơn. Kể từ khi ra mắt, Segment Anything Model 2 (SAM 2) của Meta đã được sử dụng để phân đoạn đối tượng trong nhiều lĩnh vực như chẩn đoán hình ảnh y khoa và khí tượng học. Dựa trên phản hồi từ cộng đồng, Meta hiện đã giới thiệu SAM 2.1, một phiên bản cải tiến được thiết kế để giải quyết một số thách thức gặp phải ở model ban đầu và mang lại hiệu năng tổng thể tốt hơn.

Hình 1. Đánh giá hiệu năng model SAM 2.1.

SAM 2.1 bao gồm các cập nhật giúp xử lý tốt hơn những đối tượng có hình ảnh tương tự và đối tượng nhỏ hơn, nhờ các kỹ thuật tăng cường dữ liệu mới. Model cũng cải thiện cách xử lý hiện tượng che khuất (khi một phần đối tượng bị khuất khỏi tầm nhìn) bằng cách được huấn luyện trên các chuỗi video dài hơn, cho phép model "ghi nhớ" và nhận diện đối tượng theo thời gian, ngay cả khi chúng tạm thời bị che khuất. Ví dụ, nếu ai đó đang quay video một người đi bộ phía sau một cái cây, SAM 2.1 có thể theo dõi người đó khi họ xuất hiện trở lại ở phía bên kia, sử dụng thông tin ghi nhớ về vị trí của đối tượng và chuyển động để lấp đầy khoảng trống khi tầm nhìn bị gián đoạn trong thời gian ngắn.

Bên cạnh những cập nhật này, Meta đã phát hành SAM 2 Developer Suite, cung cấp mã huấn luyện nguồn mở và hạ tầng demo đầy đủ để các nhà phát triển có thể fine-tune SAM 2.1 bằng dữ liệu của riêng mình và tích hợp model vào nhiều ứng dụng.

CoTracker3: model tracking của Meta cùng các tính năng và cập nhật#

Một tác vụ computer vision thú vị khác là tracking điểm. Tác vụ này bao gồm việc theo dõi các điểm hoặc đặc trưng cụ thể qua nhiều khung hình trong video. Hãy hình dung một video về một người đi xe đạp đang chạy dọc theo đường đua — tracking điểm cho phép model theo dõi các điểm trên người đi xe đạp, chẳng hạn như mũ bảo hiểm hoặc bánh xe, ngay cả khi chúng bị chướng ngại vật che khuất trong chốc lát.

Tracking điểm rất quan trọng đối với các ứng dụng như tái tạo 3D, robotics và biên tập video. Các model truyền thống thường dựa vào những thiết lập phức tạp và các bộ dữ liệu tổng hợp lớn, làm hạn chế hiệu quả của chúng khi áp dụng vào các tình huống thực tế.

Model tracking CoTracker3 của Meta giải quyết những hạn chế này bằng cách đơn giản hóa kiến trúc model. Model cũng giới thiệu một kỹ thuật gán nhãn giả, cho phép học từ các video thực tế chưa được gán nhãn, giúp CoTracker3 hiệu quả và có khả năng mở rộng hơn trong sử dụng thực tế.

Hình 2. So sánh CoTracker3 với các model tracking khác.

Một trong những tính năng giúp CoTracker3 nổi bật là khả năng xử lý che khuất tốt. Sử dụng attention xuyên track, một kỹ thuật cho phép model chia sẻ thông tin giữa nhiều điểm đang được tracking, CoTracker3 có thể suy luận vị trí của các điểm bị che khuất bằng cách tham chiếu những điểm hiển thị. Nhờ đó, CoTracker3 được thiết kế để đạt hiệu quả cao trong các môi trường biến động, chẳng hạn như theo dõi một người đi qua một khung cảnh đông đúc.

CoTracker3 cũng cung cấp cả chế độ online và offline. Chế độ online cung cấp khả năng tracking theo thời gian thực, trong khi chế độ offline có thể được sử dụng để tracking toàn diện trên toàn bộ chuỗi video, phù hợp với các tác vụ như biên tập video hoặc animation.

Các cập nhật và nghiên cứu khác từ Meta FAIR#

Trong khi SAM 2.1 và CoTracker3 thể hiện những tiến bộ mới nhất của Meta trong computer vision, các lĩnh vực AI khác cũng có những cập nhật đáng chú ý, chẳng hạn như xử lý ngôn ngữ tự nhiên (NLP) và robotics. Hãy cùng xem xét một số phát triển gần đây khác từ Meta FAIR.

Spirit LM của Meta: Những đổi mới AI trong model ngôn ngữ và đa phương thức#

Spirit LM của Meta là một model ngôn ngữ đa phương thức mới, kết hợp các khả năng văn bản và giọng nói, giúp tương tác với AI trở nên tự nhiên hơn. Không giống các model truyền thống chỉ xử lý văn bản hoặc chỉ xử lý giọng nói, Spirit LM có thể chuyển đổi liền mạch giữa hai dạng này.

Spirit LM có thể hiểu và tạo ngôn ngữ theo cách giống con người hơn. Ví dụ, model có thể nâng cao trợ lý ảo có khả năng vừa lắng nghe vừa phản hồi bằng ngôn ngữ nói hoặc viết, hoặc hỗ trợ công cụ trợ năng chuyển đổi giữa giọng nói và văn bản.

Hình 3. Ví dụ về chuyển văn bản thành giọng nói bằng Meta Spirit LM.

Ngoài ra, Meta đã phát triển các kỹ thuật giúp model ngôn ngữ lớn hoạt động hiệu quả hơn. Một trong số đó, có tên Layer Skip, giúp giảm nhu cầu tính toán và chi phí năng lượng bằng cách chỉ kích hoạt những layer cần thiết cho một tác vụ nhất định. Điều này đặc biệt hữu ích cho các ứng dụng trên thiết bị có bộ nhớ và công suất hạn chế.

Để đáp ứng tốt hơn nhu cầu triển khai ứng dụng AI trên những thiết bị như vậy, Meta cũng đã phát hành các phiên bản lượng tử hóa của các model Llama. Các model này được nén để chạy nhanh hơn trên thiết bị di động mà không làm giảm độ chính xác.

Khám phá tương lai của việc tối ưu hóa với Meta Lingua#

Khi model AI ngày càng lớn và phức tạp, việc tối ưu hóa quy trình huấn luyện đã trở nên thiết yếu. Về tối ưu hóa, Meta đã giới thiệu Meta Lingua, một codebase linh hoạt và hiệu quả giúp việc huấn luyện model ngôn ngữ lớn trở nên dễ dàng hơn. Thiết kế module của Meta Lingua cho phép nhà nghiên cứu nhanh chóng tùy chỉnh và mở rộng quy mô các thử nghiệm của mình.

Các nhà nghiên cứu có thể dành ít thời gian hơn cho việc thiết lập kỹ thuật và nhiều thời gian hơn cho nghiên cứu thực tế. Codebase này cũng nhẹ và dễ tích hợp, phù hợp với cả các thử nghiệm nhỏ lẫn dự án quy mô lớn. Bằng cách loại bỏ những trở ngại kỹ thuật này, Meta Lingua giúp các nhà nghiên cứu tiến bộ nhanh hơn và dễ dàng kiểm thử ý tưởng mới hơn.

Hình 4. Tổng quan về Meta Lingua.

Những cải tiến của Meta trong lĩnh vực bảo mật AI#

Khi công nghệ máy tính lượng tử phát triển, nó mang đến những thách thức mới đối với bảo mật dữ liệu. Không giống máy tính ngày nay, máy tính lượng tử nhiều khả năng sẽ có thể giải các phép tính phức tạp nhanh hơn rất nhiều. Điều này có nghĩa là chúng có thể phá vỡ các phương thức mã hóa hiện đang được sử dụng để bảo vệ thông tin nhạy cảm. Vì vậy, nghiên cứu trong lĩnh vực này ngày càng trở nên quan trọng — phát triển những phương thức mới để bảo vệ dữ liệu là điều thiết yếu khi chúng ta chuẩn bị cho tương lai của máy tính lượng tử.

Để giải quyết vấn đề này, Meta đã phát triển Salsa, một công cụ nhằm tăng cường bảo mật mật mã hậu lượng tử. Salsa giúp các nhà nghiên cứu kiểm thử các cuộc tấn công do AI thực hiện và xác định những điểm yếu tiềm ẩn, qua đó cho phép họ hiểu rõ hơn và xử lý các lỗ hổng trong hệ thống mật mã. Bằng cách mô phỏng những kịch bản tấn công tiên tiến, Salsa cung cấp các thông tin hữu ích định hướng phát triển những biện pháp bảo mật mạnh hơn và bền vững hơn cho kỷ nguyên lượng tử.

AI tại Meta: Những đổi mới mới nhất trong robotics#

Công trình mới nhất của Meta trong lĩnh vực robotics tập trung vào việc giúp AI tương tác tự nhiên hơn với thế giới vật lý bằng cách nâng cao khả năng cảm nhận xúc giác, sự khéo léo và cộng tác với con người. Cụ thể, Meta Digit 360 là một cảm biến xúc giác tiên tiến, mang lại cho robot cảm nhận tinh tế hơn về xúc giác. Các cảm biến này giúp robot phát hiện những chi tiết như kết cấu, áp lực và thậm chí cả hình dạng của vật thể. Từ những thông tin này, robot có thể thao tác với vật thể chính xác hơn; điều này rất quan trọng trong các lĩnh vực như chăm sóc sức khỏe và sản xuất.

Dưới đây là một số tính năng chính của Meta Digit 360:

• Thiết bị được trang bị 18 tính năng cảm biến riêng biệt, cho phép thu nhận nhiều loại thông tin xúc giác.
• Cảm biến có thể phát hiện thay đổi áp lực nhỏ đến 1 millinewton, cho phép robot phản ứng với các kết cấu tinh tế và chuyển động nhẹ.
• Thiết bị bao gồm hơn 8 triệu taxel (các điểm cảm biến siêu nhỏ) trên bề mặt đầu ngón tay, cung cấp bản đồ thông tin xúc giác có độ phân giải cao.

Một phần mở rộng của Meta Digit 360 là Meta Digit Plexus, một nền tảng tích hợp nhiều cảm biến xúc giác trên cùng một bàn tay robot. Thiết lập này cho phép robot xử lý thông tin xúc giác từ nhiều điểm cùng lúc, tương tự cách bàn tay con người thu thập dữ liệu cảm giác.

Hình 5. Meta Digit Plexus.

Mở ra chương tiếp theo của AI#

Các cập nhật AI mới nhất của Meta, từ những tiến bộ trong computer vision với SAM 2.1 và CoTracker3 đến các phát triển mới trong model ngôn ngữ và robotics, cho thấy AI đang từng bước chuyển từ lý thuyết sang những giải pháp thực tiễn, tạo ra tác động rõ rệt.

Những công cụ này được thiết kế để giúp AI dễ thích ứng và hữu ích hơn trong nhiều lĩnh vực, hỗ trợ mọi việc từ phân đoạn các ảnh phức tạp đến hiểu ngôn ngữ con người và thậm chí làm việc cùng chúng ta trong không gian vật lý.

Bằng cách ưu tiên khả năng tiếp cận và ứng dụng trong thực tế, Meta FAIR đang đưa chúng ta đến gần hơn với một tương lai nơi AI có thể giải quyết các thách thức thực tế và cải thiện cuộc sống hằng ngày theo những cách thiết thực.

Bạn có quan tâm đến AI không? Hãy tham gia cộng đồng của chúng tôi để cập nhật những thông tin và hiểu biết mới nhất, đồng thời xem repository GitHub của chúng tôi. Bạn cũng có thể tìm hiểu cách computer vision được ứng dụng trong các ngành như xe tự lái và nông nghiệp!