Khám phá SAM 3: Segment Anything Model mới của Meta AI

Vào ngày 19 tháng 11 năm 2025, Meta AI đã phát hành Segment Anything Model 3, còn được gọi là SAM 3. Phiên bản mới nhất này của Segment Anything Model giới thiệu các phương thức mới để phát hiện, phân đoạn và theo dõi đối tượng trong hình ảnh và video thực tế bằng cách sử dụng các text prompt, visual prompt và các ví dụ hình ảnh.

Model SAM 3 được xây dựng dựa trên SAM và SAM 2, mang đến những cải tiến và tính năng mới như phân đoạn khái niệm (concept segmentation), phát hiện từ vựng mở (open vocabulary detection) và theo dõi video thời gian thực. Model có thể hiểu các cụm danh từ ngắn, theo dõi đối tượng qua nhiều khung hình và xác định các khái niệm chi tiết hoặc hiếm gặp mà các model trước đó không thể xử lý ổn định bằng.

Là một phần trong đợt phát hành SAM 3, Meta cũng giới thiệu SAM 3D. Bộ model thế hệ tiếp theo này tái tạo các đối tượng, cảnh quan và toàn bộ cơ thể người từ một hình ảnh duy nhất và mở rộng hệ sinh thái Segment Anything sang khả năng hiểu 3D. Những bổ sung này mở ra các ứng dụng mới trong computer vision, robotics, chỉnh sửa phương tiện truyền thông và các quy trình công việc sáng tạo.

Trong bài viết này, chúng ta sẽ tìm hiểu SAM 3 là gì, điểm khác biệt giữa nó và SAM 2, cách thức hoạt động của model cũng như các ứng dụng thực tế của nó. Hãy cùng bắt đầu!

Link to this sectionSAM 3 là gì? Tìm hiểu về Segment Anything Model 3 của Meta#

SAM 3 là một computer vision model tiên tiến có khả năng xác định, tách biệt và theo dõi các đối tượng trong hình ảnh và video dựa trên các chỉ dẫn đơn giản. Thay vì phụ thuộc vào một danh sách nhãn cố định, SAM 3 hiểu ngôn ngữ tự nhiên và các tín hiệu trực quan, giúp người dùng dễ dàng truyền đạt cho model những gì bạn muốn tìm.

Ví dụ, với SAM 3, bạn có thể nhập một cụm từ ngắn như “yellow school bus” hoặc “a striped cat”, nhấp vào một đối tượng hoặc làm nổi bật một ví dụ trong hình ảnh. Model sau đó sẽ phát hiện mọi đối tượng khớp với yêu cầu và tạo ra các segmentation mask sạch (một đường viền trực quan hiển thị chính xác các pixel thuộc về một đối tượng). SAM 3 cũng có thể theo dõi các đối tượng đó qua các khung hình video, giữ cho chúng nhất quán khi chúng di chuyển.

Link to this sectionSAM 3D hỗ trợ tái tạo 3D từ ảnh đơn#

Một phần thú vị khác trong thông báo của Meta AI là SAM 3D, mở rộng dự án Segment Anything sang lĩnh vực 3D understanding. SAM 3D có thể lấy một hình ảnh 2D duy nhất và tái tạo hình dạng, tư thế hoặc cấu trúc của một đối tượng hoặc cơ thể người trong không gian ba chiều. Nói cách khác, model có thể ước tính cách một vật thể chiếm không gian ngay cả khi chỉ có một góc nhìn duy nhất.

SAM 3D đã được phát hành dưới dạng hai model khác nhau: SAM 3D Objects, chuyên tái tạo các vật dụng hàng ngày với hình học và kết cấu, và SAM 3D Body, chuyên ước tính hình dạng và tư thế cơ thể người từ một hình ảnh. Cả hai model đều sử dụng kết quả phân đoạn từ SAM 3, sau đó tạo ra một biểu diễn 3D khớp với ngoại hình và vị trí của đối tượng trong ảnh gốc.

Hình 1. Ví dụ về cách sử dụng SAM 3D. (Nguồn: Được tạo bằng trình chơi thử segment anything của Meta AI)

Link to this sectionSAM 3: Các tính năng mới hợp nhất phát hiện, phân đoạn và theo dõi#

Dưới đây là một số cập nhật chính mà SAM 3 giới thiệu để hợp nhất việc phát hiện, phân đoạn và theo dõi thành một model duy nhất:

• Tác vụ phân đoạn khái niệm: Trong SAM và SAM 2, phân đoạn đối tượng phụ thuộc vào các visual prompt như nhấp chuột hoặc hộp bao (box). SAM 3 bổ sung khả năng phân đoạn đối tượng dựa trên một cụm từ văn bản ngắn hoặc một ví dụ cắt ra từ hình ảnh. Điều này có nghĩa là model có thể xác định tất cả các phiên bản khớp mà không cần phải nhấp chuột cho từng cái một.
• Text prompt từ vựng mở: Khác với các phiên bản trước, SAM 3 có thể diễn giải các cụm từ ngôn ngữ tự nhiên ngắn. Điều này loại bỏ nhu cầu về danh sách nhãn cố định và giúp model có thể xử lý các khái niệm cụ thể hơn hoặc ít phổ biến hơn.
• Một model cho phát hiện, phân đoạn và theo dõi: SAM 3 hợp nhất phát hiện, phân đoạn và theo dõi vào một model duy nhất, loại bỏ nhu cầu sử dụng các hệ thống riêng biệt để tìm kiếm đối tượng, tạo segmentation mask và theo dõi chúng qua các khung hình video. Điều này tạo ra quy trình làm việc nhất quán và hợp lý hơn cho cả hình ảnh và video, và mặc dù SAM 2 cũng cung cấp một số khả năng theo dõi, SAM 3 mang lại hiệu suất mạnh mẽ và đáng tin cậy hơn đáng kể.
• Kết quả ổn định hơn trong các cảnh phức tạp: Vì SAM 3 có thể kết hợp văn bản, hình ảnh ví dụ và visual prompt, nó có thể xử lý các cảnh lộn xộn hoặc lặp đi lặp lại đáng tin cậy hơn so với các phiên bản trước chỉ dựa vào các thao tác nhấp chuột trực quan.

Hình 2. SAM 3 giới thiệu phân đoạn khái niệm bằng văn bản hoặc ví dụ hình ảnh. (Nguồn)

Link to this sectionSo sánh SAM 3 vs SAM 2 vs SAM 1#

Giả sử bạn đang xem một video về safari với nhiều loài động vật khác nhau và bạn muốn phát hiện và phân đoạn chỉ những con voi. Tác vụ này sẽ trông như thế nào qua các phiên bản SAM khác nhau?

Với SAM, bạn sẽ cần nhấp chuột thủ công vào từng con voi trong mỗi khung hình để tạo segmentation mask. Không có tính năng theo dõi, vì vậy mỗi khung hình mới đều yêu cầu các thao tác nhấp chuột mới.

Với SAM 2, bạn có thể nhấp chuột một lần vào một con voi, nhận mask của nó và model sẽ theo dõi đúng con voi đó trong suốt video. Tuy nhiên, bạn vẫn cần thực hiện các thao tác nhấp chuột riêng biệt nếu muốn phân đoạn nhiều con voi (các đối tượng cụ thể), vì SAM 2 không tự hiểu các danh mục như “con voi”.

Với SAM 3, quy trình làm việc trở nên đơn giản hơn nhiều. Bạn có thể nhập “elephant” hoặc vẽ một bounding box quanh một con voi để làm ví dụ, và model sẽ tự động tìm mọi con voi trong video, phân đoạn và theo dõi chúng nhất quán qua các khung hình. Nó vẫn hỗ trợ các prompt dạng nhấp chuột và hộp bao được sử dụng trong các phiên bản trước, nhưng giờ đây nó cũng có thể phản hồi với các text prompt và hình ảnh ví dụ, điều mà SAM và SAM 2 không thể thực hiện được.

Link to this sectionCách thức hoạt động của model SAM 3#

Tiếp theo, hãy cùng tìm hiểu sâu hơn về cách model SAM 3 hoạt động và cách nó được đào tạo.

Link to this sectionTổng quan về kiến trúc model của SAM 3#

SAM 3 kết hợp nhiều thành phần để hỗ trợ concept prompt và visual prompt trong một hệ thống duy nhất. Ở cốt lõi, model sử dụng Meta Perception Encoder, đây là bộ mã hóa hình ảnh-văn bản nguồn mở hợp nhất của Meta.

Bộ mã hóa này có thể xử lý cả hình ảnh và cụm danh từ ngắn. Nói một cách đơn giản, điều này cho phép SAM 3 liên kết các tính năng ngôn ngữ và thị giác hiệu quả hơn so với các phiên bản Segment Anything Model trước đó.

Trên nền tảng bộ mã hóa này, SAM 3 bao gồm một detector dựa trên họ model transformer DETR. Bộ phát hiện này xác định các đối tượng trong hình ảnh và giúp hệ thống xác định đối tượng nào tương ứng với prompt của người dùng.

Cụ thể, đối với phân đoạn video, SAM 3 sử dụng một thành phần theo dõi được xây dựng dựa trên ngân hàng bộ nhớ và bộ mã hóa bộ nhớ từ SAM 2. Điều này cho phép model lưu giữ thông tin về các đối tượng qua các khung hình để có thể tái nhận dạng và theo dõi chúng theo thời gian.

Hình 3. Cách thức hoạt động của việc phân đoạn mọi thứ với các khái niệm (Nguồn: scontent)

Link to this sectionCông cụ dữ liệu có khả năng mở rộng đứng sau Segment Anything Model 3#

Để đào tạo SAM 3, Meta cần lượng dữ liệu được chú thích nhiều hơn nhiều so với những gì hiện có trên internet. Các segmentation mask và nhãn văn bản chất lượng cao rất khó tạo ra ở quy mô lớn, và việc phác thảo đầy đủ từng phiên bản của một khái niệm trong hình ảnh và video rất chậm và tốn kém.

Để giải quyết vấn đề này, Meta đã xây dựng một công cụ dữ liệu mới kết hợp chính SAM 3, các model AI bổ sung và các cộng tác viên chú thích là con người làm việc cùng nhau. Quy trình làm việc bắt đầu với một pipeline gồm các hệ thống AI, bao gồm SAM 3 và một model tạo caption dựa trên Llama.

Các hệ thống này quét các bộ sưu tập hình ảnh và video lớn, tạo caption, chuyển đổi các caption đó thành nhãn văn bản và tạo ra các ứng viên segmentation mask ban đầu. Sau đó, những người chú thích là con người và AI sẽ đánh giá các ứng viên này.

Các AI chú thích, được đào tạo để khớp hoặc thậm chí vượt qua độ chính xác của con người trong các tác vụ như kiểm tra chất lượng mask và xác minh phạm vi khái niệm, sẽ lọc bỏ các trường hợp đơn giản. Con người chỉ tham gia vào các ví dụ khó hơn nơi mà model có thể vẫn còn gặp trở ngại.

Hình 4. Công cụ dữ liệu SAM 3 (Nguồn)

Cách tiếp cận này mang lại cho Meta sự thúc đẩy lớn về tốc độ chú thích. Bằng cách để AI chú thích xử lý các trường hợp dễ, pipeline trở nên nhanh hơn khoảng năm lần đối với các negative prompt và nhanh hơn 36% đối với các positive prompt trong các lĩnh vực chi tiết.

Sự hiệu quả này giúp việc mở rộng tập dữ liệu lên hơn bốn triệu khái niệm độc nhất trở nên khả thi. Vòng lặp liên tục gồm các đề xuất từ AI, sự sửa chữa của con người và dự đoán cập nhật của model cũng cải thiện chất lượng nhãn theo thời gian và giúp SAM 3 học được một tập hợp các khái niệm trực quan và dựa trên văn bản rộng hơn nhiều.

Link to this sectionNhững cải tiến về hiệu suất của SAM 3#

Về hiệu suất, SAM 3 mang lại sự cải thiện rõ rệt so với các model trước đó. Trên benchmark SA-Co mới của Meta, đánh giá khả năng phát hiện và phân đoạn khái niệm từ vựng mở, SAM 3 đạt hiệu suất gấp khoảng hai lần các hệ thống trước đó trong cả hình ảnh và video.

Nó cũng khớp hoặc vượt trội so với SAM 2 trong các tác vụ tương tác trực quan như point-to-mask và mask-to-masklet. Meta báo cáo các bước tiến bổ sung trong các đánh giá khó hơn như zero-shot LVIS (nơi các model phải nhận dạng các danh mục hiếm mà không cần ví dụ đào tạo) và đếm đối tượng (đo lường liệu tất cả các phiên bản của một đối tượng có được phát hiện hay không), nhấn mạnh khả năng tổng quát hóa mạnh mẽ hơn trên các lĩnh vực.

Ngoài những cải tiến về độ chính xác này, SAM 3 còn rất hiệu quả, xử lý một hình ảnh với hơn 100 đối tượng được phát hiện trong khoảng 30 mili giây trên một GPU H200 và duy trì tốc độ gần thời gian thực khi theo dõi nhiều đối tượng trong video.

Link to this sectionCác ứng dụng của Segment Anything Model 3#

Giờ đây, khi chúng ta đã hiểu rõ hơn về SAM 3, hãy cùng điểm qua cách nó đang được sử dụng trong các ứng dụng thực tế, từ lập luận dựa trên văn bản nâng cao đến nghiên cứu khoa học và các sản phẩm riêng của Meta.

Link to this sectionXử lý các truy vấn văn bản phức tạp bằng SAM 3 Agent#

SAM 3 cũng có thể được sử dụng như một công cụ bên trong một multimodal language model lớn hơn, được Meta gọi là SAM 3 Agent. Thay vì cung cấp cho SAM 3 một cụm từ ngắn như “con voi”, agent có thể chia một câu hỏi phức tạp hơn thành các prompt nhỏ hơn mà SAM 3 hiểu được.

Ví dụ, nếu người dùng hỏi, “Đối tượng nào trong ảnh được dùng để điều khiển và dẫn dắt một con ngựa?”, agent sẽ thử các cụm danh từ khác nhau, gửi chúng đến SAM 3 và kiểm tra xem mask nào có ý nghĩa. Nó tiếp tục tinh chỉnh cho đến khi tìm thấy đúng đối tượng.

Ngay cả khi không được đào tạo trên các tập dữ liệu lập luận đặc biệt, SAM 3 Agent vẫn hoạt động tốt trên các benchmark được thiết kế cho các truy vấn văn bản phức tạp, như ReasonSeg và OmniLabel. Điều này cho thấy SAM 3 có thể hỗ trợ các hệ thống cần cả khả năng hiểu ngôn ngữ và phân đoạn thị giác chi tiết.

Link to this sectionCác ứng dụng khoa học và bảo tồn của SAM 3#

Thật thú vị, SAM 3 đã được sử dụng trong các môi trường nghiên cứu nơi các nhãn thị giác chi tiết là rất quan trọng. Meta đã hợp tác với Conservation X Labs và Osa Conservation để xây dựng SA-FARI, một tập dữ liệu theo dõi động vật hoang dã công cộng với hơn 10.000 video từ bẫy ảnh.

Mỗi con vật trong mọi khung hình đều được dán nhãn bằng các hộp và segmentation mask, một việc vốn cực kỳ tốn thời gian nếu thực hiện thủ công. Tương tự, trong nghiên cứu đại dương, SAM 3 đang được sử dụng cùng với FathomNet và MBARI để tạo các instance segmentation mask cho underwater imagery và hỗ trợ các benchmark đánh giá mới.

Các tập dữ liệu như vậy giúp các nhà khoa học phân tích cảnh quay video hiệu quả hơn và nghiên cứu các loài động vật cũng như môi trường sống vốn khó theo dõi ở quy mô lớn. Các nhà nghiên cứu cũng có thể sử dụng những tài nguyên này để xây dựng model riêng cho việc nhận dạng loài, phân tích hành vi và giám sát sinh thái tự động.

Link to this sectionCách Meta triển khai SAM 3 trên các sản phẩm của mình#

Ngoài các mục đích nghiên cứu, SAM 3 cũng đang cung cấp sức mạnh cho các tính năng mới và các trường hợp sử dụng trên các sản phẩm tiêu dùng của Meta. Dưới đây là cái nhìn thoáng qua về một số cách mà nó đã được tích hợp:

• Chỉnh sửa trên Instagram: Người sáng tạo có thể áp dụng hiệu ứng cho một người hoặc đối tượng cụ thể trong video mà không cần thao tác từng khung hình một cách thủ công.
• Ứng dụng Meta AI và meta.ai trên web: SAM 3 hỗ trợ các công cụ mới để sửa đổi, cải thiện và phối lại hình ảnh và video.
• Tính năng “View in Room” trên Facebook Marketplace: SAM 3 hoạt động cùng với SAM 3D để cho phép mọi người xem trước đồ nội thất hoặc đồ trang trí trong nhà của họ bằng một bức ảnh duy nhất.
• Aria Gen 2 kính nghiên cứu: Segment Anything Model 3 giúp phân đoạn và theo dõi tay và các đối tượng từ góc nhìn thứ nhất, hỗ trợ nghiên cứu AR (Augmented Reality), robotics và AI theo ngữ cảnh.

Link to this sectionCác điểm chính cần lưu ý#

SAM 3 là một bước tiến thú vị trong lĩnh vực phân đoạn. Nó giới thiệu phân đoạn khái niệm, text prompt từ vựng mở và cải thiện khả năng theo dõi. Với hiệu suất vượt trội rõ rệt trên cả hình ảnh và video, cùng với sự bổ sung của SAM 3D, bộ model này mở ra những khả năng mới cho vision AI, các công cụ sáng tạo, nghiên cứu khoa học và các sản phẩm thực tế.

Hãy tham gia cộng đồng của chúng tôi và khám phá GitHub repository để tìm hiểu thêm về AI. Nếu bạn đang muốn xây dựng dự án vision AI của riêng mình, hãy kiểm tra các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về các ứng dụng như AI trong y tế và Vision AI trong bán lẻ bằng cách truy cập các trang giải pháp của chúng tôi.