Các ứng dụng của Mô hình phân đoạn mọi thứ 2 (SAM 2) của Meta AI

Ngày 29 tháng 7 năm 2024, Meta AI phát hành phiên bản thứ hai của Segment Anything Model, SAM 2. Model mới có thể xác định chính xác pixel nào thuộc về đối tượng mục tiêu trong cả hình ảnh lẫn video. Model cũng có thể theo dõi nhất quán một đối tượng qua tất cả các khung hình của video theo thời gian thực. SAM 2 mở ra nhiều khả năng hấp dẫn cho chỉnh sửa video, trải nghiệm thực tế hỗn hợp và gán nhãn dữ liệu hình ảnh nhanh hơn để huấn luyện các hệ thống thị giác máy tính.

Tiếp nối thành công của SAM bản gốc, vốn được ứng dụng trong các lĩnh vực như khoa học biển, ảnh vệ tinh và y học, SAM 2 xử lý các thách thức như đối tượng chuyển động nhanh và thay đổi diện mạo. Độ chính xác và hiệu quả được cải thiện giúp SAM 2 trở thành công cụ linh hoạt cho nhiều ứng dụng. Trong bài viết này, chúng ta sẽ tập trung vào các lĩnh vực có thể ứng dụng SAM 2 và lý do SAM 2 quan trọng đối với cộng đồng AI.

SAM 2 là gì?#

Segment Anything Model 2 là một model nền tảng tiên tiến, hỗ trợ phân đoạn hình ảnh có thể điều khiển bằng prompt (PVS) trên cả hình ảnh lẫn video. PVS là kỹ thuật cho phép model phân đoạn hoặc xác định các phần khác nhau của hình ảnh hay video dựa trên prompt hoặc dữ liệu đầu vào cụ thể do người dùng cung cấp. Prompt có thể ở dạng điểm nhấp, hộp hoặc mask làm nổi bật vùng cần quan tâm. Sau đó, model tạo ra một mask phân đoạn phác họa vùng được chỉ định.

Kiến trúc SAM 2 phát triển từ SAM ban đầu, mở rộng từ phân đoạn ảnh để bao gồm cả phân đoạn video. Kiến trúc này có bộ giải mã mask gọn nhẹ, sử dụng dữ liệu hình ảnh và prompt để tạo mask phân đoạn. Với video, SAM 2 giới thiệu hệ thống bộ nhớ giúp ghi nhớ thông tin từ các khung hình trước đó, đảm bảo theo dõi chính xác theo thời gian. Hệ thống bộ nhớ gồm các thành phần lưu trữ và truy xuất thông tin chi tiết về những đối tượng đang được phân đoạn. SAM 2 cũng có thể xử lý hiện tượng che khuất, theo dõi đối tượng qua nhiều khung hình và xử lý prompt chưa rõ ràng bằng cách tạo ra một số mask khả thi. Kiến trúc tiên tiến của SAM 2 mang lại năng lực vượt trội trong cả môi trường hình ảnh tĩnh lẫn động.

Cụ thể, trong phân đoạn video, SAM 2 đạt độ chính xác cao hơn với số lần tương tác của người dùng ít hơn ba lần so với các phương pháp trước đây. Với phân đoạn ảnh, SAM 2 vượt trội hơn Segment Anything Model (SAM) ban đầu, nhanh hơn sáu lần và chính xác hơn. Cải tiến này được trình bày trong bài nghiên cứu về SAM 2 trên 37 tập dữ liệu khác nhau, trong đó có 23 tập mà SAM từng được kiểm thử.

Hình 1. So sánh SAM và SAM 2.

Điều đáng chú ý là SAM 2 của Meta AI được phát triển bằng cách tạo ra bộ dữ liệu phân đoạn video lớn nhất từ trước đến nay, bộ dữ liệu SA-V. Bộ dữ liệu đồ sộ này bao gồm hơn 50.000 video và 35,5 triệu mask phân đoạn, được thu thập thông qua đóng góp tương tác của người dùng. Người gán nhãn đã cung cấp prompt và chỉnh sửa để giúp model học từ nhiều tình huống và loại đối tượng khác nhau.

Ứng dụng của Segment Anything Model 2#

Nhờ các khả năng tiên tiến về phân đoạn ảnh và video, SAM 2 có thể được ứng dụng trong nhiều ngành. Hãy cùng tìm hiểu một số ứng dụng.

SAM 2 hỗ trợ Thực tế tăng cường (AR) và Thực tế ảo (VR)#

Model phân đoạn mới của Meta AI có thể được sử dụng trong các ứng dụng Thực tế tăng cường (AR) và Thực tế ảo (VR). Chẳng hạn, SAM 2 có thể nhận diện và phân đoạn chính xác các vật thể trong thế giới thực, giúp tương tác với vật thể ảo chân thực hơn. Công nghệ này có thể hữu ích trong nhiều lĩnh vực như trò chơi, giáo dục và huấn luyện, nơi tương tác chân thực giữa các yếu tố ảo và thực là điều thiết yếu.

Khi các thiết bị như kính AR ngày càng tiên tiến, khả năng của SAM 2 có thể sớm được tích hợp vào những thiết bị này. Hãy tưởng tượng bạn đeo kính và quan sát quanh phòng khách. Khi kính phân đoạn và nhận ra bát nước của chó, kính có thể nhắc bạn đổ thêm nước như minh họa trong ảnh bên dưới. Hoặc khi nấu một công thức mới, kính có thể nhận diện nguyên liệu trên mặt bàn bếp, rồi cung cấp hướng dẫn từng bước và mẹo nấu ăn, giúp trải nghiệm nấu nướng tốt hơn và đảm bảo bạn có sẵn mọi thứ cần thiết.

Hình 2. SAM 2 có thể sớm được sử dụng trong kính AR.

Hình ảnh sonar với Segment Anything Model 2#

Nghiên cứu sử dụng model SAM cho thấy model này có thể được ứng dụng trong các lĩnh vực chuyên biệt như tạo ảnh sonar. Tạo ảnh sonar có những thách thức riêng do độ phân giải thấp, mức nhiễu cao và hình dạng phức tạp của các đối tượng trong ảnh. Bằng cách fine-tune SAM trên ảnh sonar, các nhà nghiên cứu đã chứng minh khả năng phân đoạn chính xác nhiều đối tượng dưới nước như rác thải biển, cấu trúc địa chất và các vật thể đáng quan tâm khác. Hình ảnh dưới nước chính xác và đáng tin cậy có thể được sử dụng trong nghiên cứu biển, khảo cổ học dưới nước, quản lý nghề cá và giám sát cho các tác vụ như lập bản đồ môi trường sống, phát hiện cổ vật và nhận diện mối đe dọa.

Hình 3. Ví dụ sử dụng SAM đã fine-tune để phân đoạn ảnh sonar.

Vì SAM 2 kế thừa và cải thiện nhiều khía cạnh còn hạn chế của SAM, model có tiềm năng nâng cao hơn nữa khả năng phân tích ảnh sonar. Khả năng phân đoạn chính xác của SAM 2 có thể hỗ trợ nhiều ứng dụng dưới nước, bao gồm nghiên cứu khoa học và ngư nghiệp. Chẳng hạn, SAM 2 có thể phác họa chính xác các cấu trúc dưới nước, phát hiện rác thải biển và nhận diện đối tượng trong ảnh sonar hướng về phía trước, góp phần giúp hoạt động thăm dò và giám sát dưới nước chính xác, hiệu quả hơn.

Sau đây là những lợi ích tiềm năng khi sử dụng SAM 2 để phân tích hình ảnh sonar:

• Hiệu quả: Giảm thời gian và công sức cần thiết cho việc phân đoạn thủ công, giúp chuyên gia tập trung hơn vào phân tích và ra quyết định.
• Tính nhất quán: Cung cấp kết quả phân đoạn nhất quán và có thể tái lập, yếu tố thiết yếu đối với hoạt động nghiên cứu và giám sát biển trên quy mô lớn.
• Tính linh hoạt: Có khả năng xử lý nhiều loại ảnh sonar, phù hợp với các ứng dụng đa dạng trong khoa học biển và công nghiệp.

Tích hợp SAM 2 vào quy trình xử lý hình ảnh sonar giúp ngành hàng hải nâng cao hiệu quả, độ chính xác và độ tin cậy trong hoạt động khám phá và phân tích dưới nước, qua đó mang lại kết quả tốt hơn cho nghiên cứu biển.

Sử dụng SAM 2 trên phương tiện tự hành#

Một ứng dụng khác của SAM 2 là trong xe tự hành. SAM 2 có thể nhận diện chính xác người đi bộ, phương tiện khác, biển báo giao thông và chướng ngại vật theo thời gian thực. Mức độ chi tiết mà SAM 2 cung cấp là yếu tố thiết yếu để đưa ra quyết định điều hướng an toàn và tránh va chạm. Bằng cách xử lý chính xác dữ liệu hình ảnh, SAM 2 giúp tạo bản đồ môi trường chi tiết, đáng tin cậy và đưa ra quyết định tốt hơn.

Hình 4. Sử dụng phân đoạn để hiểu tình hình giao thông.

Khả năng hoạt động tốt trong nhiều điều kiện ánh sáng, thời tiết thay đổi và môi trường biến động giúp SAM 2 trở thành lựa chọn đáng tin cậy cho phương tiện tự hành. Dù là đường phố đô thị đông đúc hay đường cao tốc phủ sương mù, SAM 2 vẫn có thể nhận diện và phân đoạn đối tượng chính xác, nhất quán để phương tiện phản hồi phù hợp với nhiều tình huống.

Tuy nhiên, cần lưu ý một số hạn chế. Với các đối tượng phức tạp di chuyển nhanh, đôi khi SAM 2 có thể bỏ sót chi tiết nhỏ và dự đoán thiếu ổn định giữa các frame. Ngoài ra, SAM 2 đôi khi nhầm lẫn các đối tượng có ngoại hình tương tự trong cảnh đông đúc. Những thách thức này cho thấy việc tích hợp thêm cảm biến và công nghệ là yếu tố then chốt trong các ứng dụng lái xe tự hành.

Giám sát môi trường với sự hỗ trợ của SAM 2#

Giám sát môi trường bằng computer vision có thể gặp nhiều khó khăn, đặc biệt khi thiếu dữ liệu được gán nhãn; tuy nhiên, đây cũng là yếu tố khiến ứng dụng này trở nên thú vị đối với SAM 2. SAM 2 có thể theo dõi và phân tích những thay đổi của cảnh quan tự nhiên bằng cách phân đoạn và nhận diện chính xác các đặc điểm môi trường như rừng, vùng nước, khu đô thị và đất nông nghiệp từ ảnh vệ tinh hoặc ảnh drone. Cụ thể, phân đoạn chính xác hỗ trợ giám sát nạn phá rừng, đô thị hóa và những thay đổi về sử dụng đất theo thời gian, cung cấp dữ liệu có giá trị cho công tác bảo tồn môi trường và quy hoạch.

Hình 5. Sử dụng SAM 2 để giám sát môi trường.

Sau đây là một số lợi ích khi sử dụng model như SAM 2 để phân tích những thay đổi của môi trường theo thời gian:

• Phát hiện sớm: Nhận diện các dấu hiệu suy thoái môi trường từ sớm, cho phép can thiệp kịp thời để ngăn ngừa thiệt hại thêm.
• Quản lý tài nguyên: Hỗ trợ quản lý tài nguyên thiên nhiên hiệu quả bằng cách cung cấp thông tin chi tiết về hiện trạng của nhiều yếu tố môi trường.
• Bảo tồn đa dạng sinh học: Hỗ trợ theo dõi động vật hoang dã và giám sát đa dạng sinh học, góp phần vào các nỗ lực bảo tồn và bảo vệ các loài có nguy cơ tuyệt chủng.
• Ứng phó thảm họa: Hỗ trợ đánh giá tác động của các thảm họa tự nhiên như lũ lụt, cháy rừng và bão, giúp ứng phó nhanh chóng, hiệu quả và lập kế hoạch phục hồi sau thảm họa.

Chỉnh sửa video với SAM 2: Tự trải nghiệm#

Bản demo Segment Anything 2 là cách tuyệt vời để thử model trên video. Sử dụng khả năng PVS của SAM 2, chúng tôi đã lấy một video YouTube cũ của Ultralytics, phân đoạn được ba đối tượng hoặc người trong video và làm nhòe pixel chúng. Theo cách truyền thống, việc chỉnh sửa để loại bỏ ba người khỏi video như vậy sẽ tốn thời gian, nhàm chán và đòi hỏi phải tạo mask thủ công cho từng frame. Tuy nhiên, SAM 2 đơn giản hóa quy trình này. Chỉ với vài cú nhấp chuột trên bản demo, bạn có thể bảo vệ danh tính của ba đối tượng cần quan tâm chỉ trong vài giây.

Hình 6. Trải nghiệm bản demo SAM 2.

Bản demo cũng cho phép bạn thử một số hiệu ứng hình ảnh, chẳng hạn như chiếu đèn rọi vào các đối tượng được chọn để theo dõi và xóa các đối tượng đang được theo dõi. Nếu bạn thích bản demo và sẵn sàng bắt đầu đổi mới với SAM 2, hãy xem trang tài liệu model SAM 2 của Ultralytics để biết hướng dẫn chi tiết và bắt tay sử dụng model. Khám phá các tính năng, bước cài đặt và ví dụ để tận dụng tối đa tiềm năng của SAM 2 trong dự án. Sau đó, Meta đã phát hành SAM 3, bổ sung tính năng phân đoạn khái niệm bằng prompt văn bản.

Tổng kết#

Segment Anything Model 2 (SAM 2) của Meta AI đang thay đổi lĩnh vực phân đoạn video và hình ảnh. Khi các tác vụ như theo dõi đối tượng được cải thiện, chúng ta đang khám phá những cơ hội mới trong chỉnh sửa video, thực tế hỗn hợp, nghiên cứu khoa học và chẩn đoán hình ảnh y tế. Bằng cách đơn giản hóa các tác vụ phức tạp và tăng tốc độ gán nhãn, SAM 2 đang trở thành công cụ quan trọng đối với cộng đồng AI. Khi tiếp tục khám phá và đổi mới với các model như SAM 2, chúng ta có thể kỳ vọng sẽ có thêm nhiều ứng dụng và tiến bộ trong các lĩnh vực khác nhau.

Tìm hiểu thêm về AI bằng cách khám phá repository GitHub và tham gia cộng đồng của chúng tôi. Xem các trang giải pháp của chúng tôi để tìm hiểu chi tiết về AI trong lĩnh vực sản xuất và y tế.