Các ứng dụng của Segment Anything Model 2 của Meta AI (SAM 2)

Vào ngày 29 tháng 7 năm 2024, Meta AI đã phát hành phiên bản thứ hai của Mô hình Phân đoạn mọi thứ, SAM 2. Model mới có thể xác định chính xác pixel nào thuộc về một đối tượng mục tiêu trong cả hình ảnh và video! Điểm nổi bật là model có khả năng liên tục theo dõi một đối tượng qua mọi khung hình của video theo thời gian thực. SAM 2 mở ra những khả năng đầy hứa hẹn cho chỉnh sửa video, trải nghiệm thực tế hỗn hợp và chú thích dữ liệu hình ảnh nhanh hơn để huấn luyện các hệ thống thị giác máy tính.

Kế thừa thành công của SAM ban đầu, vốn đã được sử dụng trong các lĩnh vực như khoa học biển, ảnh vệ tinh và y học, SAM 2 giải quyết các thách thức như đối tượng chuyển động nhanh và thay đổi về diện mạo. Độ chính xác và hiệu suất được cải thiện giúp model trở thành công cụ linh hoạt cho nhiều ứng dụng. Trong bài viết này, chúng ta sẽ tập trung vào nơi SAM 2 có thể được ứng dụng và lý do điều đó quan trọng đối với cộng đồng AI.

SAM 2 là gì?#

Mô hình Phân đoạn mọi thứ 2 là một foundation model tiên tiến, hỗ trợ phân đoạn hình ảnh theo prompt, hay PVS, trong cả hình ảnh và video. PVS là kỹ thuật trong đó model có thể phân đoạn hoặc xác định các phần khác nhau của hình ảnh hay video dựa trên những prompt hoặc đầu vào cụ thể do người dùng cung cấp. Các prompt này có thể ở dạng điểm nhấp, bounding box hoặc mask làm nổi bật khu vực cần quan tâm. Sau đó, model tạo ra một mask phân đoạn bao quanh khu vực được chỉ định.

Kiến trúc SAM 2 kế thừa SAM ban đầu bằng cách mở rộng từ phân đoạn hình ảnh để bao gồm cả phân đoạn video. Model có một bộ giải mã mask nhẹ, sử dụng dữ liệu hình ảnh và prompt để tạo mask phân đoạn. Đối với video, SAM 2 giới thiệu một hệ thống bộ nhớ giúp ghi nhớ thông tin từ các khung hình trước đó, đảm bảo theo dõi chính xác theo thời gian. Hệ thống bộ nhớ bao gồm các thành phần lưu trữ và truy xuất thông tin chi tiết về những đối tượng đang được phân đoạn. SAM 2 cũng có thể xử lý hiện tượng che khuất, theo dõi đối tượng qua nhiều khung hình và quản lý các prompt không rõ ràng bằng cách tạo ra nhiều mask khả dĩ. Kiến trúc tiên tiến của SAM 2 giúp model hoạt động hiệu quả trong cả môi trường hình ảnh tĩnh và động.

Cụ thể, đối với phân đoạn video, SAM 2 đạt độ chính xác cao hơn với số lần tương tác của người dùng ít hơn ba lần so với các phương pháp trước đây. Đối với phân đoạn hình ảnh, SAM 2 vượt trội hơn Mô hình Phân đoạn mọi thứ (SAM) ban đầu, nhanh hơn sáu lần và chính xác hơn. Cải tiến này đã được trình bày trong bài báo nghiên cứu về SAM 2 trên 37 dataset khác nhau, trong đó có 23 dataset từng được dùng để đánh giá SAM.

Hình 1. So sánh SAM và SAM 2.

Đáng chú ý, SAM 2 của Meta AI được phát triển bằng cách tạo ra dataset phân đoạn video lớn nhất từ trước đến nay, có tên là dataset SA-V. Dataset quy mô lớn này bao gồm hơn 50.000 video và 35,5 triệu mask phân đoạn, được thu thập thông qua đóng góp tương tác của người dùng. Những người chú thích đã cung cấp prompt và các chỉnh sửa để giúp model học từ nhiều tình huống và loại đối tượng khác nhau.

Các ứng dụng của Mô hình Phân đoạn mọi thứ 2#

Nhờ khả năng phân đoạn hình ảnh và video tiên tiến, SAM 2 có thể được sử dụng trong nhiều ngành khác nhau. Hãy cùng khám phá một số ứng dụng trong đó.

SAM 2 hỗ trợ Thực tế tăng cường (AR) và Thực tế ảo (VR)#

Model phân đoạn mới của Meta AI có thể được sử dụng cho các ứng dụng Thực tế tăng cường (AR) và Thực tế ảo (VR). Chẳng hạn, SAM 2 có thể xác định và phân đoạn chính xác các đối tượng trong thế giới thực, khiến tương tác với các đối tượng ảo trở nên chân thực hơn. Model hữu ích trong nhiều lĩnh vực như trò chơi, giáo dục và đào tạo, nơi tương tác chân thực giữa các yếu tố ảo và thực là điều thiết yếu.

Khi các thiết bị như kính AR ngày càng tiên tiến, khả năng của SAM 2 có thể sớm được tích hợp vào chúng. Hãy hình dung bạn đeo kính và quan sát xung quanh phòng khách. Khi kính phân đoạn và nhận diện bát nước của chú chó, kính có thể nhắc bạn đổ thêm nước, như minh họa trong hình bên dưới. Hoặc nếu bạn đang nấu một công thức mới, kính có thể xác định các nguyên liệu trên mặt bàn bếp và cung cấp hướng dẫn cùng mẹo theo từng bước, cải thiện trải nghiệm nấu ăn và đảm bảo bạn có sẵn mọi thứ cần thiết.

Hình 2. SAM 2 có thể sớm được sử dụng trong kính AR.

Ảnh sonar với Mô hình Phân đoạn mọi thứ 2#

Nghiên cứu sử dụng model SAM đã cho thấy model có thể được ứng dụng trong các lĩnh vực chuyên biệt như ảnh sonar. Ảnh sonar có những thách thức riêng do độ phân giải thấp, mức nhiễu cao và hình dạng phức tạp của các đối tượng trong ảnh. Bằng cách fine-tune SAM trên ảnh sonar, các nhà nghiên cứu đã chứng minh khả năng phân đoạn chính xác nhiều đối tượng dưới nước như rác thải biển, cấu trúc địa chất và các đối tượng đáng quan tâm khác. Ảnh dưới nước chính xác và đáng tin cậy có thể được sử dụng trong nghiên cứu biển, khảo cổ học dưới nước, quản lý nghề cá và giám sát cho các tác vụ như lập bản đồ môi trường sống, phát hiện hiện vật và phát hiện mối đe dọa.

Hình 3. Ví dụ về việc sử dụng SAM đã fine-tune để phân đoạn ảnh sonar.

Vì SAM 2 kế thừa và cải thiện nhiều thách thức mà SAM gặp phải, model có tiềm năng nâng cao hơn nữa việc phân tích ảnh sonar. Khả năng phân đoạn chính xác có thể hỗ trợ nhiều ứng dụng hàng hải, bao gồm nghiên cứu khoa học và nghề cá. Chẳng hạn, SAM 2 có thể phác thảo hiệu quả các cấu trúc dưới nước, phát hiện rác thải biển và xác định đối tượng trong ảnh sonar hướng về phía trước, góp phần giúp hoạt động khám phá và giám sát dưới nước chính xác, hiệu quả hơn.

Dưới đây là những lợi ích tiềm năng khi sử dụng SAM 2 để phân tích ảnh sonar:

• Hiệu quả: Giảm thời gian và công sức cần thiết cho việc phân đoạn thủ công, giúp các chuyên gia tập trung nhiều hơn vào phân tích và ra quyết định.
• Tính nhất quán: Cung cấp kết quả phân đoạn nhất quán và có thể tái lập, điều thiết yếu đối với nghiên cứu và giám sát biển quy mô lớn.
• Tính linh hoạt: Có khả năng xử lý nhiều loại ảnh sonar, hữu ích cho các ứng dụng đa dạng trong khoa học biển và công nghiệp.

Bằng cách tích hợp SAM 2 vào quy trình ảnh sonar, ngành hàng hải có thể đạt hiệu quả, độ chính xác và độ tin cậy cao hơn trong hoạt động khám phá và phân tích dưới nước, từ đó mang lại kết quả tốt hơn cho nghiên cứu biển.

Sử dụng SAM 2 trong phương tiện tự hành#

Một ứng dụng khác của SAM 2 là trong phương tiện tự hành. SAM 2 có thể xác định chính xác người đi bộ, các phương tiện khác, biển báo giao thông và chướng ngại vật theo thời gian thực. Mức độ chi tiết mà SAM 2 cung cấp rất cần thiết để đưa ra quyết định điều hướng an toàn và tránh va chạm. Bằng cách xử lý chính xác dữ liệu hình ảnh, SAM 2 giúp tạo bản đồ chi tiết, đáng tin cậy về môi trường và đưa ra quyết định tốt hơn.

Hình 4. Sử dụng phân đoạn để hiểu tình hình giao thông.

Khả năng hoạt động tốt trong các điều kiện ánh sáng khác nhau, khi thời tiết thay đổi và trong môi trường động giúp SAM 2 trở nên đáng tin cậy đối với phương tiện tự hành. Dù là đường phố đô thị đông đúc hay đường cao tốc phủ sương, SAM 2 vẫn có thể liên tục xác định và phân đoạn đối tượng một cách chính xác để phương tiện phản ứng phù hợp với nhiều tình huống.

Tuy nhiên, cần lưu ý một số hạn chế. Với các đối tượng phức tạp, chuyển động nhanh, đôi khi SAM 2 có thể bỏ sót chi tiết nhỏ và dự đoán có thể trở nên không ổn định giữa các khung hình. Ngoài ra, SAM 2 đôi khi có thể nhầm lẫn nhiều đối tượng có ngoại hình tương tự trong những cảnh đông đúc. Đây là lý do việc tích hợp thêm các cảm biến và công nghệ khác đóng vai trò then chốt trong các ứng dụng lái xe tự hành.

Giám sát môi trường với sự hỗ trợ của SAM 2#

Giám sát môi trường bằng thị giác máy tính có thể phức tạp, đặc biệt khi thiếu dữ liệu đã được chú thích, nhưng chính điều đó cũng khiến đây trở thành một ứng dụng thú vị của SAM 2. SAM 2 có thể được sử dụng để theo dõi và phân tích những thay đổi trong cảnh quan tự nhiên bằng cách phân đoạn và xác định chính xác các đặc điểm môi trường như rừng, vùng nước, khu vực đô thị và vùng đất nông nghiệp từ ảnh vệ tinh hoặc drone. Cụ thể, phân đoạn chính xác giúp giám sát nạn phá rừng, quá trình đô thị hóa và những thay đổi trong việc sử dụng đất theo thời gian, cung cấp dữ liệu giá trị cho bảo tồn môi trường và quy hoạch.

Dưới đây là một số lợi ích khi sử dụng model như SAM 2 để phân tích những thay đổi môi trường theo thời gian:

• Phát hiện sớm: Xác định các dấu hiệu suy thoái môi trường ngay từ sớm, cho phép can thiệp kịp thời để ngăn thiệt hại tiếp diễn.
• Quản lý tài nguyên: Hỗ trợ quản lý hiệu quả tài nguyên thiên nhiên bằng cách cung cấp thông tin chi tiết về tình trạng của nhiều đặc điểm môi trường khác nhau.
• Bảo tồn đa dạng sinh học: Hỗ trợ theo dõi động vật hoang dã và giám sát đa dạng sinh học, góp phần vào các nỗ lực bảo tồn và bảo vệ các loài có nguy cơ tuyệt chủng.
• Ứng phó với thảm họa: Hỗ trợ đánh giá tác động của các thảm họa tự nhiên như lũ lụt, cháy rừng và bão, cho phép ứng phó nhanh chóng, hiệu quả với thảm họa và lập kế hoạch phục hồi.

Chỉnh sửa video với SAM 2: Tự mình dùng thử#

Bản demo Segment Anything 2 là cách tuyệt vời để dùng thử model trên video. Sử dụng khả năng PVS của SAM 2, chúng tôi đã lấy một video YouTube cũ của Ultralytics, phân đoạn ba đối tượng hoặc người trong video và pixelate chúng. Theo cách truyền thống, việc loại ba người khỏi một video như vậy sẽ tốn thời gian, nhàm chán và yêu cầu tạo mask thủ công cho từng khung hình. Tuy nhiên, SAM 2 đơn giản hóa quy trình này. Chỉ với vài cú nhấp trong bản demo, bạn có thể bảo vệ danh tính của ba đối tượng cần quan tâm chỉ trong vài giây.

Hình 6. Dùng thử Bản demo SAM 2.

Bản demo cũng cho phép bạn thử một số hiệu ứng hình ảnh khác nhau, chẳng hạn như chiếu spotlight vào các đối tượng bạn chọn để theo dõi và xóa các đối tượng đang được theo dõi. Nếu bạn thích bản demo và sẵn sàng bắt đầu đổi mới với SAM 2, hãy xem trang tài liệu model SAM 2 của Ultralytics để biết hướng dẫn chi tiết về cách trực tiếp sử dụng model. Khám phá các tính năng, các bước cài đặt và ví dụ để tận dụng tối đa tiềm năng của SAM 2 trong dự án của bạn!

Tổng kết#

Mô hình Phân đoạn mọi thứ 2 của Meta AI (SAM 2) đang chuyển đổi lĩnh vực phân đoạn video và hình ảnh. Khi các tác vụ như theo dõi đối tượng được cải thiện, chúng ta đang khám phá những cơ hội mới trong chỉnh sửa video, thực tế hỗn hợp, nghiên cứu khoa học và chẩn đoán hình ảnh y khoa. Bằng cách đơn giản hóa các tác vụ phức tạp và tăng tốc quá trình chú thích, SAM 2 đang trên đà trở thành một công cụ quan trọng đối với cộng đồng AI. Khi tiếp tục khám phá và đổi mới với các model như SAM 2, chúng ta có thể kỳ vọng thêm nhiều ứng dụng và tiến bộ đột phá trong nhiều lĩnh vực!

Tìm hiểu thêm về AI bằng cách khám phá repository GitHub của chúng tôi và tham gia cộng đồng. Xem các trang giải pháp của chúng tôi để biết thông tin chi tiết về AI trong lĩnh vực sản xuất và chăm sóc sức khỏe. 🚀