Khám phá SAM 3: Segment Anything Model mới của Meta AI

Ngày 19 tháng 11 năm 2025, Meta AI phát hành Segment Anything Model 3, còn gọi là SAM 3. Phiên bản mới này của Segment Anything Model giới thiệu những cách mới để phát hiện, phân đoạn và theo dõi đối tượng trong ảnh và video thực tế bằng prompt văn bản, prompt trực quan và ảnh mẫu.

Model SAM 3 phát triển dựa trên SAM và SAM 2, đồng thời mang đến các cải tiến và tính năng mới như phân đoạn khái niệm, phát hiện với tập từ vựng mở và theo dõi video theo thời gian thực. Model có thể hiểu các cụm danh từ ngắn, theo dõi đối tượng qua các khung hình và nhận diện những khái niệm hiếm hoặc có mức độ chi tiết cao mà các model trước đây chưa xử lý ổn định.

Trong khuôn khổ đợt phát hành SAM 3, Meta cũng giới thiệu SAM 3D. Bộ model thế hệ mới này tái dựng đối tượng, cảnh và toàn bộ cơ thể người từ một ảnh duy nhất, đồng thời mở rộng hệ sinh thái Segment Anything sang khả năng hiểu 3D. Những bổ sung này mở ra các ứng dụng mới trong thị giác máy tính, robot học, chỉnh sửa phương tiện và quy trình sáng tạo.

Trong bài viết này, chúng ta sẽ tìm hiểu SAM 3 là gì, điểm khác biệt so với SAM 2, cách model hoạt động và các ứng dụng thực tế của model.

SAM 3 là gì? Tìm hiểu Segment Anything Model 3 của Meta#

SAM 3 là model thị giác máy tính tiên tiến nhất, có thể nhận diện, tách và theo dõi đối tượng trong ảnh và video dựa trên các chỉ dẫn đơn giản. Thay vì dựa vào danh sách nhãn cố định, SAM 3 hiểu ngôn ngữ tự nhiên và tín hiệu trực quan, giúp bạn dễ dàng chỉ định cho model biết cần tìm gì.

Ví dụ, với SAM 3, bạn có thể nhập một cụm từ ngắn như “xe buýt trường học màu vàng” hoặc “mèo vằn”, nhấp vào một đối tượng hoặc đánh dấu một ví dụ trong ảnh. Sau đó, model sẽ phát hiện mọi đối tượng khớp và tạo các mask phân đoạn rõ nét (đường viền trực quan cho biết chính xác những pixel nào thuộc về một đối tượng). SAM 3 cũng có thể theo dõi các đối tượng đó qua các khung hình video, giữ chúng nhất quán khi di chuyển.

SAM 3D hỗ trợ tái dựng 3D từ một ảnh duy nhất#

Một điểm đáng chú ý khác trong thông báo của Meta AI là SAM 3D, mở rộng dự án Segment Anything sang khả năng hiểu 3D. SAM 3D có thể lấy một ảnh 2D duy nhất và tái dựng hình dạng, tư thế hoặc cấu trúc của một đối tượng hay cơ thể người trong không gian ba chiều. Nói cách khác, model có thể ước tính cách một vật thể chiếm lĩnh không gian dù chỉ có một góc nhìn.

SAM 3D được phát hành dưới dạng hai model riêng biệt: SAM 3D Objects, chuyên tái dựng các vật dụng thường ngày với hình học và kết cấu; và SAM 3D Body, ước tính hình dáng và tư thế cơ thể người từ một ảnh duy nhất. Cả hai model đều sử dụng đầu ra phân đoạn từ SAM 3, sau đó tạo biểu diễn 3D khớp với diện mạo và vị trí của đối tượng trong ảnh gốc.

Hình 1. Ví dụ sử dụng SAM 3D. (Nguồn: Tạo bằng công cụ thử nghiệm Segment Anything của Meta AI)

SAM 3: Các tính năng mới hợp nhất phát hiện, phân đoạn và theo dõi#

Dưới đây là một số cập nhật chính mà SAM 3 giới thiệu nhằm kết hợp phát hiện, phân đoạn và theo dõi trong một model thống nhất:

• Tác vụ phân đoạn khái niệm: Trong SAM và SAM 2, việc phân đoạn đối tượng phụ thuộc vào các lời nhắc trực quan như thao tác nhấp hoặc hộp giới hạn. SAM 3 bổ sung khả năng phân đoạn đối tượng dựa trên một cụm từ ngắn hoặc một vùng ảnh mẫu được cắt từ ảnh. Nhờ đó, model có thể nhận diện mọi đối tượng phù hợp mà không cần nhấp vào từng đối tượng.
• Lời nhắc văn bản với từ vựng mở: Khác với các phiên bản trước, SAM 3 có thể diễn giải các cụm từ ngắn bằng ngôn ngữ tự nhiên. Điều này loại bỏ nhu cầu sử dụng danh sách nhãn cố định và cho phép model xử lý các khái niệm cụ thể hơn hoặc ít phổ biến hơn.
• Một model cho phát hiện, phân đoạn và theo dõi: SAM 3 hợp nhất phát hiện, phân đoạn và theo dõi trong một model, loại bỏ nhu cầu dùng các hệ thống riêng biệt để tìm đối tượng, tạo mask phân đoạn và theo dõi đối tượng qua các khung hình video. Điều này tạo ra quy trình làm việc nhất quán và tinh gọn hơn cho cả ảnh lẫn video; dù SAM 2 cũng hỗ trợ một số khả năng theo dõi, SAM 3 mang lại hiệu năng mạnh mẽ và đáng tin cậy hơn đáng kể.
• Kết quả ổn định hơn trong cảnh phức tạp: Vì SAM 3 có thể kết hợp văn bản, ảnh ví dụ và lời nhắc trực quan, model xử lý cảnh lộn xộn hoặc có nhiều đối tượng lặp lại đáng tin cậy hơn các phiên bản trước vốn chỉ dựa vào thao tác nhấp trực quan.

Hình 2. SAM 3 giới thiệu khả năng phân đoạn khái niệm bằng văn bản hoặc ảnh ví dụ. (Nguồn)

So sánh SAM 3 với SAM 2 và SAM 1#

Hãy tưởng tượng bạn đang xem một video safari có nhiều loài động vật khác nhau và chỉ muốn phát hiện, phân đoạn những con voi. Tác vụ này sẽ được xử lý như thế nào qua các phiên bản SAM khác nhau?

Với SAM, bạn cần nhấp thủ công vào từng con voi trong mỗi khung hình để tạo mask phân đoạn. Model không có khả năng theo dõi, vì vậy mỗi khung hình mới đều cần thao tác nhấp mới.

Với SAM 2, bạn có thể nhấp một lần vào một con voi, nhận mask của nó và để model theo dõi chính con voi đó xuyên suốt video. Tuy nhiên, nếu muốn phân đoạn nhiều con voi (các đối tượng cụ thể), bạn vẫn cần thực hiện thao tác nhấp riêng, vì bản thân SAM 2 không hiểu các danh mục như “voi”.

Với SAM 3, quy trình trở nên đơn giản hơn nhiều. Bạn có thể nhập “voi” hoặc vẽ hộp giới hạn quanh một con voi để làm ví dụ; model sẽ tự động tìm mọi con voi trong video, phân đoạn chúng và theo dõi nhất quán qua các khung hình. SAM 3 vẫn hỗ trợ các lời nhắc bằng thao tác nhấp và hộp giới hạn như những phiên bản trước, nhưng giờ đây còn có thể phản hồi lời nhắc văn bản và ảnh mẫu, điều mà SAM và SAM 2 chưa làm được.

Cách model SAM 3 hoạt động#

Tiếp theo, hãy cùng tìm hiểu kỹ hơn cách model SAM 3 hoạt động và cách model được huấn luyện.

Tổng quan về kiến trúc model SAM 3#

SAM 3 kết hợp nhiều thành phần để hỗ trợ lời nhắc khái niệm và lời nhắc trực quan trong cùng một hệ thống. Cốt lõi của model là Meta Perception Encoder, bộ mã hóa ảnh-văn bản mã nguồn mở thống nhất của Meta.

Bộ mã hóa này có thể xử lý cả hình ảnh lẫn các cụm danh từ ngắn. Nói đơn giản, điều này giúp SAM 3 liên kết các đặc trưng ngôn ngữ và hình ảnh hiệu quả hơn các phiên bản Segment Anything Model trước đây.

Trên bộ mã hóa này, SAM 3 tích hợp một bộ phát hiện dựa trên dòng model Transformer DETR. Bộ phát hiện xác định các đối tượng trong ảnh và giúp hệ thống xác định đối tượng nào tương ứng với lời nhắc của người dùng.

Cụ thể, để phân đoạn video, SAM 3 sử dụng một thành phần theo dõi được phát triển dựa trên kho nhớ và bộ mã hóa bộ nhớ từ SAM 2. Nhờ vậy, model có thể lưu giữ thông tin về đối tượng qua các khung hình để nhận diện lại và theo dõi đối tượng theo thời gian.

Hình 3. Cách phân đoạn mọi thứ bằng khái niệm hoạt động (Nguồn: scontent)

Công cụ dữ liệu có khả năng mở rộng đằng sau Segment Anything Model 3#

Để huấn luyện SAM 3, Meta cần lượng dữ liệu được gán nhãn lớn hơn nhiều so với dữ liệu hiện có trên internet. Việc tạo mask phân đoạn chất lượng cao và nhãn văn bản ở quy mô lớn rất khó; việc phác đường viền đầy đủ cho mọi đối tượng thuộc một khái niệm trong ảnh và video cũng tốn nhiều thời gian và chi phí.

Để giải quyết vấn đề này, Meta xây dựng một công cụ dữ liệu mới kết hợp chính SAM 3, các model AI bổ sung và người gán nhãn cùng làm việc. Quy trình bắt đầu bằng một pipeline gồm các hệ thống AI, trong đó có SAM 3 và một model tạo chú thích dựa trên Llama.

Các hệ thống này quét những bộ sưu tập ảnh và video lớn, tạo chú thích, chuyển chú thích thành nhãn văn bản và tạo các ứng viên mask phân đoạn ban đầu. Sau đó, người gán nhãn và AI sẽ đánh giá các ứng viên này.

Các bộ gán nhãn AI được huấn luyện để đạt độ chính xác ngang bằng hoặc cao hơn con người trong những tác vụ như kiểm tra chất lượng mask và xác minh mức độ bao phủ khái niệm sẽ lọc bỏ các trường hợp đơn giản. Con người chỉ xử lý những ví dụ khó hơn mà model vẫn có thể gặp trở ngại.

Hình 4. Công cụ dữ liệu SAM 3 (Nguồn)

Cách tiếp cận này giúp Meta tăng đáng kể tốc độ gán nhãn. Khi để các bộ gán nhãn AI xử lý những trường hợp đơn giản, pipeline nhanh hơn khoảng năm lần với lời nhắc phủ định và nhanh hơn 36% với lời nhắc khẳng định trong các lĩnh vực có mức độ chi tiết cao.

Hiệu quả này giúp mở rộng tập dữ liệu lên hơn bốn triệu khái niệm riêng biệt. Vòng lặp liên tục giữa đề xuất của AI, chỉnh sửa của con người và dự đoán cập nhật từ model cũng cải thiện chất lượng nhãn theo thời gian, đồng thời giúp SAM 3 học được tập hợp khái niệm trực quan và dựa trên văn bản rộng hơn nhiều.

Những cải thiện về hiệu năng của SAM 3#

Xét về hiệu năng, SAM 3 cải thiện rõ rệt so với các model trước. Trên benchmark SA-Co mới của Meta, dùng để đánh giá khả năng phát hiện và phân đoạn khái niệm với từ vựng mở, SAM 3 đạt hiệu năng xấp xỉ gấp đôi các hệ thống trước đây trên cả ảnh lẫn video.

Model này cũng đạt kết quả ngang bằng hoặc cao hơn SAM 2 trong các tác vụ trực quan tương tác như point-to-mask và mask-to-masklet. Meta báo cáo mức cải thiện bổ sung trên các bài đánh giá khó hơn như LVIS zero-shot (trong đó model phải nhận diện các danh mục hiếm mà không có mẫu huấn luyện) và đếm đối tượng (đánh giá xem tất cả các thực thể của một đối tượng có được phát hiện hay không), cho thấy khả năng khái quát hóa tốt hơn giữa các miền.

Ngoài những cải thiện về độ chính xác, SAM 3 còn hiệu quả, xử lý một ảnh có hơn 100 đối tượng được phát hiện trong khoảng 30 mili giây trên GPU H200 và duy trì tốc độ gần thời gian thực khi theo dõi nhiều đối tượng trong video. Với prompt văn bản, SAM 3 và phiên bản mới hơn là SAM 3.1 cũng được so sánh với các model thị giác-ngôn ngữ về khả năng phát hiện đối tượng trong thế giới thực trên Bảng xếp hạng VLM của Ultralytics.

Các ứng dụng của Segment Anything Model 3#

Giờ đây khi đã hiểu rõ hơn về SAM 3, hãy cùng tìm hiểu cách model được sử dụng trong các ứng dụng thực tế, từ suy luận nâng cao theo hướng dẫn bằng văn bản đến nghiên cứu khoa học và các sản phẩm của Meta.

Xử lý truy vấn văn bản phức tạp bằng SAM 3 Agent#

SAM 3 cũng có thể được sử dụng như một công cụ bên trong một model ngôn ngữ đa phương thức lớn hơn, mà Meta gọi là SAM 3 Agent. Thay vì đưa cho SAM 3 một cụm từ ngắn như “voi”, agent có thể chia một câu hỏi phức tạp hơn thành các lời nhắc nhỏ mà SAM 3 hiểu được.

Ví dụ, nếu người dùng hỏi: “Vật thể nào trong ảnh được dùng để điều khiển và dẫn dắt ngựa?”, agent sẽ thử nhiều cụm danh từ khác nhau, gửi chúng đến SAM 3 và kiểm tra xem các mask nào hợp lý. Agent tiếp tục tinh chỉnh cho đến khi tìm được vật thể phù hợp.

Ngay cả khi không được huấn luyện trên các tập dữ liệu suy luận chuyên biệt, SAM 3 Agent vẫn đạt kết quả tốt trên các benchmark được thiết kế cho truy vấn văn bản phức tạp như ReasonSeg và OmniLabel. Điều này cho thấy SAM 3 có thể hỗ trợ các hệ thống cần kết hợp khả năng hiểu ngôn ngữ với phân đoạn hình ảnh chi tiết.

Các ứng dụng khoa học và bảo tồn của SAM 3#

Đáng chú ý, SAM 3 đã được sử dụng trong các môi trường nghiên cứu cần nhãn hình ảnh chi tiết. Meta hợp tác với Conservation X Labs và Osa Conservation để xây dựng SA-FARI, một tập dữ liệu giám sát động vật hoang dã công khai với hơn 10.000 video từ bẫy ảnh.

Mọi động vật trong từng khung hình đều được gán nhãn bằng hộp giới hạn và mask phân đoạn, một công việc sẽ cực kỳ tốn thời gian nếu thực hiện thủ công. Tương tự, trong nghiên cứu đại dương, SAM 3 đang được sử dụng cùng với FathomNet và MBARI để tạo mask phân đoạn đối tượng cho hình ảnh dưới nước và hỗ trợ các benchmark đánh giá mới.

Các tập dữ liệu như vậy giúp nhà khoa học phân tích cảnh quay video hiệu quả hơn và nghiên cứu động vật cũng như môi trường sống vốn khó theo dõi trên quy mô lớn. Nhà nghiên cứu cũng có thể dùng những tài nguyên này để xây dựng model riêng cho nhận diện loài, phân tích hành vi và giám sát sinh thái tự động.

Cách Meta triển khai SAM 3 trên các sản phẩm của mình#

Ngoài các ứng dụng nghiên cứu, SAM 3 còn hỗ trợ những tính năng và trường hợp sử dụng mới trên các sản phẩm tiêu dùng của Meta. Dưới đây là một số cách công nghệ này đang được tích hợp:

• Chỉnh sửa trên Instagram: Nhà sáng tạo có thể áp dụng hiệu ứng cho một người hoặc vật thể cụ thể trong video mà không cần xử lý thủ công từng khung hình.
• Ứng dụng Meta AI và meta.ai trên web: SAM 3 hỗ trợ các công cụ mới để chỉnh sửa, cải thiện và phối lại ảnh cũng như video.
• “Xem trong phòng” trên Facebook Marketplace: SAM 3 kết hợp với SAM 3D để mọi người xem thử đồ nội thất hoặc vật trang trí trong nhà mình chỉ bằng một ảnh duy nhất.
• Kính nghiên cứu Aria Gen 2: Segment Anything Model 3 giúp phân đoạn và theo dõi bàn tay, đồ vật từ góc nhìn thứ nhất, hỗ trợ nghiên cứu thực tế tăng cường (AR), robot học và AI theo ngữ cảnh.

Điểm chính cần ghi nhớ#

SAM 3 là một bước tiến đáng chú ý trong lĩnh vực phân đoạn. Model giới thiệu phân đoạn khái niệm, lời nhắc văn bản với từ vựng mở và khả năng theo dõi được cải thiện. Với hiệu năng mạnh hơn rõ rệt trên cả ảnh lẫn video, cùng sự bổ sung của SAM 3D, bộ model mở ra những khả năng mới cho AI thị giác, công cụ sáng tạo, nghiên cứu khoa học và sản phẩm thực tế.

Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về AI. Nếu muốn xây dựng dự án AI thị giác của riêng mình, hãy xem các tùy chọn cấp phép của chúng tôi. Truy cập các trang giải pháp để tìm hiểu thêm về những ứng dụng như AI trong chăm sóc sức khỏe và AI thị giác trong bán lẻ.