Các ứng dụng của Segment Anything Model 2 (SAM 2) từ Meta AI

Vào ngày 29 tháng 7 năm 2024, Meta AI đã phát hành phiên bản thứ hai của Segment Anything Model, SAM 2. Mô hình mới có thể xác định chính xác các điểm ảnh nào thuộc về một đối tượng mục tiêu trong cả hình ảnh và video! Điểm tuyệt vời nhất là mô hình có khả năng liên tục theo dõi một đối tượng trên tất cả các khung hình của video theo thời gian thực. SAM 2 mở ra những khả năng thú vị cho chỉnh sửa video, trải nghiệm thực tế hỗn hợp, và chú thích dữ liệu trực quan nhanh hơn để huấn luyện các hệ thống computer vision.

Dựa trên thành công của SAM nguyên bản, vốn đã được sử dụng trong các lĩnh vực như khoa học biển, hình ảnh vệ tinh, và y học, SAM 2 giải quyết các thách thức như vật thể di chuyển nhanh và sự thay đổi về ngoại hình. Độ chính xác và hiệu suất được cải thiện của nó biến nó thành một công cụ đa năng cho một loạt các ứng dụng. Trong bài viết này, chúng ta sẽ tập trung vào việc SAM 2 có thể được áp dụng ở đâu và lý do tại sao nó quan trọng đối với cộng đồng AI.

SAM 2 là gì?#

Segment Anything Model 2 là một mô hình nền tảng tiên tiến hỗ trợ phân đoạn trực quan dựa trên prompt hay PVS trong cả hình ảnh và video. PVS là một kỹ thuật trong đó một mô hình có thể phân đoạn hoặc nhận dạng các phần khác nhau của hình ảnh hoặc video dựa trên các prompt hoặc đầu vào cụ thể do người dùng cung cấp. Các prompt này có thể ở dạng các cú nhấp chuột, hộp kiểm, hoặc mặt nạ làm nổi bật vùng quan tâm. Sau đó, mô hình sẽ tạo ra một mặt nạ phân đoạn phác thảo khu vực đã chỉ định.

Kiến trúc của SAM 2 được xây dựng dựa trên SAM gốc bằng cách mở rộng từ phân đoạn hình ảnh sang cả phân đoạn video. Nó sở hữu một bộ giải mã mask (mask decoder) gọn nhẹ, sử dụng dữ liệu hình ảnh và các prompt để tạo ra các segmentation mask. Đối với video, SAM 2 giới thiệu một hệ thống bộ nhớ (memory system) giúp nó ghi nhớ thông tin từ các khung hình trước đó, đảm bảo khả năng theo dõi chính xác theo thời gian. Hệ thống bộ nhớ này bao gồm các thành phần lưu trữ và truy xuất chi tiết về các đối tượng đang được phân đoạn. SAM 2 cũng có thể xử lý các trường hợp bị che khuất, theo dõi đối tượng qua nhiều khung hình và quản lý các prompt mơ hồ bằng cách tạo ra nhiều mask khả thi. Kiến trúc tiên tiến của SAM 2 giúp nó đạt hiệu suất cao trong cả môi trường hình ảnh tĩnh và động.

Cụ thể, đối với phân đoạn video, SAM 2 đạt độ chính xác cao hơn với lượng tương tác của người dùng ít hơn ba lần so với các phương pháp trước đó. Đối với phân đoạn hình ảnh, SAM 2 vượt trội hơn Segment Anything Model (SAM) nguyên bản, nhanh hơn sáu lần và chính xác hơn. Cải tiến này đã được thể hiện trong bài báo nghiên cứu về SAM 2 trên 37 tập dữ liệu khác nhau, bao gồm 23 tập dữ liệu mà SAM trước đó đã được thử nghiệm.

Fig 1. So sánh SAM và SAM 2.

Đáng chú ý, SAM 2 của Meta AI được phát triển bằng cách tạo ra tập dữ liệu phân đoạn video lớn nhất từ trước đến nay, tập dữ liệu SA-V. Tập dữ liệu quy mô lớn này bao gồm hơn 50.000 video và 35,5 triệu mặt nạ phân đoạn, được thu thập thông qua sự đóng góp mang tính tương tác của người dùng. Các chuyên gia chú thích đã cung cấp các prompt và bản sửa lỗi để giúp mô hình học hỏi từ rất nhiều kịch bản và loại đối tượng khác nhau.

Các ứng dụng của Segment Anything Model 2#

Nhờ khả năng tiên tiến trong việc phân đoạn hình ảnh và video, SAM 2 có thể được sử dụng trong nhiều ngành công nghiệp. Hãy cùng khám phá một số ứng dụng này.

SAM 2 thúc đẩy Augmented Reality (AR) và Virtual Reality (VR)#

Mô hình phân đoạn mới của Meta AI có thể được sử dụng cho các ứng dụng Thực tế Tăng cường (AR) và Thực tế Ảo (VR). Ví dụ, SAM 2 có thể nhận dạng và phân đoạn chính xác các đối tượng trong thế giới thực và giúp việc tương tác với các đối tượng ảo trở nên chân thực hơn. Nó có thể hữu ích trong nhiều lĩnh vực như gaming, giáo dục, và huấn luyện, nơi sự tương tác thực tế giữa các yếu tố ảo và thực là điều thiết yếu.

Với các thiết bị như kính AR ngày càng trở nên tiên tiến, các khả năng của SAM 2 có thể sớm được tích hợp vào chúng. Hãy tưởng tượng khi bạn đeo kính và nhìn quanh phòng khách. Khi chiếc kính phân đoạn và nhận diện bát nước của thú cưng, nó có thể nhắc bạn đổ thêm nước, như hình minh họa bên dưới. Hoặc nếu bạn đang nấu một công thức mới, chiếc kính có thể nhận diện các nguyên liệu trên mặt bếp và cung cấp hướng dẫn từng bước cùng các mẹo nhỏ, giúp cải thiện trải nghiệm nấu ăn và đảm bảo bạn luôn có sẵn các vật dụng cần thiết.

Fig 2. SAM 2 có thể sớm được sử dụng trong kính AR.

Hình ảnh sonar với Segment Anything Model 2#

Nghiên cứu sử dụng mô hình SAM đã chỉ ra rằng nó có thể được áp dụng trong các lĩnh vực chuyên biệt như hình ảnh sonar. Hình ảnh sonar đi kèm với những thách thức độc đáo do độ phân giải thấp, mức độ nhiễu cao, và hình dạng phức tạp của các đối tượng bên trong hình ảnh. Bằng cách tinh chỉnh SAM cho hình ảnh sonar, các nhà nghiên cứu đã chứng minh khả năng phân đoạn chính xác các đối tượng dưới nước khác nhau như rác thải biển, các cấu trúc địa chất, và các mục tiêu quan tâm khác. Hình ảnh dưới nước chính xác và đáng tin cậy có thể được sử dụng trong nghiên cứu biển, khảo cổ học dưới nước, quản lý nghề cá, và giám sát cho các tác vụ như lập bản đồ môi trường sống, phát hiện hiện vật, và phát hiện mối đe dọa.

Fig 3. Ví dụ về việc sử dụng SAM đã tinh chỉnh để phân đoạn hình ảnh sonar.

Vì SAM 2 xây dựng dựa trên và khắc phục nhiều thách thức mà SAM gặp phải, nó có tiềm năng cải thiện hơn nữa việc phân tích hình ảnh sonar. Khả năng phân đoạn chính xác của nó có thể hỗ trợ trong các ứng dụng biển khác nhau, bao gồm nghiên cứu khoa học và nghề cá. Ví dụ, SAM 2 có thể phác thảo hiệu quả các cấu trúc dưới nước, phát hiện rác thải biển, và nhận dạng các đối tượng trong hình ảnh sonar hướng tới phía trước, góp phần thăm dò và giám sát dưới nước chính xác và hiệu quả hơn.

Dưới đây là các lợi ích tiềm năng của việc sử dụng SAM 2 để phân tích hình ảnh sonar:

• Hiệu quả: Giảm thời gian và công sức cần thiết cho việc phân đoạn thủ công, cho phép các chuyên gia tập trung nhiều hơn vào phân tích và ra quyết định.
• Tính nhất quán: Cung cấp kết quả phân đoạn nhất quán và có thể tái tạo, điều cần thiết cho nghiên cứu và giám sát biển quy mô lớn.
• Tính linh hoạt: Có khả năng xử lý nhiều loại hình ảnh sonar khác nhau, giúp nó hữu ích cho các ứng dụng đa dạng trong khoa học và công nghiệp hàng hải.

Bằng cách tích hợp SAM 2 vào các quy trình hình ảnh sonar, ngành hàng hải có thể đạt được hiệu suất, độ chính xác và độ tin cậy cao hơn trong việc khám phá và phân tích dưới nước, từ đó dẫn đến kết quả tốt hơn trong nghiên cứu biển.

Sử dụng SAM 2 trong các phương tiện tự lái#

Một ứng dụng khác của SAM 2 là trong xe tự hành. SAM 2 có thể nhận dạng chính xác các đối tượng như người đi bộ, các phương tiện khác, biển báo giao thông, và chướng ngại vật trong thời gian thực. Mức độ chi tiết mà SAM 2 có thể cung cấp là điều cần thiết để đưa ra các quyết định điều hướng an toàn và tránh va chạm. Bằng cách xử lý dữ liệu trực quan một cách chính xác, SAM 2 giúp tạo ra một bản đồ chi tiết và đáng tin cậy về môi trường và dẫn đến việc ra quyết định tốt hơn.

Hình 4. Sử dụng phân đoạn để hiểu lưu lượng giao thông.

Khả năng hoạt động tốt trong các điều kiện ánh sáng khác nhau, sự thay đổi thời tiết và môi trường động của SAM 2 khiến nó trở nên đáng tin cậy cho các phương tiện tự lái. Cho dù là trên một đường phố đô thị đông đúc hay một đường cao tốc có sương mù, SAM 2 đều có thể xác định và phân đoạn đối tượng một cách nhất quán và chính xác để phương tiện có thể phản ứng đúng cách với các tình huống khác nhau.

Tuy nhiên, cần lưu ý một số hạn chế. Đối với các đối tượng phức tạp, di chuyển nhanh, SAM 2 đôi khi có thể bỏ lỡ các chi tiết nhỏ và dự đoán của nó có thể trở nên thiếu ổn định giữa các khung hình. Ngoài ra, SAM 2 đôi khi có thể nhầm lẫn nhiều đối tượng trông giống nhau trong các cảnh quay đông đúc. Những thách thức này là lý do tại sao việc tích hợp thêm các cảm biến và công nghệ khác là rất quan trọng trong các ứng dụng lái xe tự động.

Giám sát môi trường với sự trợ giúp của SAM 2#

Giám sát môi trường bằng computer vision có thể phức tạp, đặc biệt là khi thiếu dữ liệu được chú thích, nhưng đó cũng là điều làm cho nó trở thành một ứng dụng thú vị cho SAM 2. SAM 2 có thể được sử dụng để theo dõi và phân tích những thay đổi trong cảnh quan tự nhiên bằng cách phân đoạn và nhận dạng chính xác các đặc điểm môi trường khác nhau như rừng, thể nước, khu vực đô thị, và đất nông nghiệp từ hình ảnh vệ tinh hoặc máyδrone. Cụ thể, việc phân đoạn chính xác giúp giám sát nạn phá rừng, quá trình đô thị hóa, và những thay đổi trong việc sử dụng đất theo thời gian để cung cấp dữ liệu có giá trị cho việc bảo tồn môi trường và lập kế hoạch.

Dưới đây là một số lợi ích của việc sử dụng model như SAM 2 để phân tích những thay đổi môi trường theo thời gian:

• Phát hiện sớm: Nhận diện những dấu hiệu đầu tiên của sự suy thoái môi trường, cho phép can thiệp kịp thời để ngăn chặn hư hại thêm.
• Quản lý tài nguyên: Hỗ trợ quản lý tài nguyên thiên nhiên một cách hiệu quả bằng cách cung cấp thông tin chi tiết về trạng thái của các đặc điểm môi trường khác nhau.
• Bảo tồn đa dạng sinh học: Giúp theo dõi động vật hoang dã và giám sát đa dạng sinh học, đóng góp vào các nỗ lực bảo tồn và bảo vệ các loài nguy cấp.
• Phản ứng thiên tai: Hỗ trợ đánh giá tác động của thiên tai như lũ lụt, cháy rừng và bão, cho phép lập kế hoạch phản ứng và phục hồi sau thiên tai nhanh chóng và hiệu quả.

Chỉnh sửa video với SAM 2: Hãy tự mình trải nghiệm#

Segment Anything 2 Demo là một cách tuyệt vời để dùng thử mô hình trên một video. Sử dụng các tính năng PVS của SAM 2, chúng tôi đã lấy một video YouTube của Ultralytics cũ và có thể phân đoạn ba đối tượng hoặc người trong video và làm mờ điểm ảnh của họ. Theo truyền thống, việc chỉnh sửa ba cá nhân khỏi một video như vậy sẽ tốn thời gian và tẻ nhạt, đòi hỏi phải tạo mặt nạ thủ công từng khung hình. Tuy nhiên, SAM 2 đơn giản hóa quá trình này. Với một vài cú nhấp chuột trên bản demo, bạn có thể bảo vệ danh tính của ba đối tượng quan tâm chỉ trong vòng vài giây.

Hình 6. Trải nghiệm bản demo SAM 2.

Bản demo cũng cho phép bạn dùng thử một số hiệu ứng hình ảnh khác nhau, như tạo hiệu ứng tiêu điểm (spotlight) lên các đối tượng bạn chọn để theo dõi và xóa các đối tượng đang được theo dõi. Nếu bạn thích bản demo và đã sẵn sàng bắt đầu đổi mới với SAM 2, hãy xem trang tài liệu mô hình Ultralytics SAM 2 để biết hướng dẫn chi tiết về cách làm việc thực tế với mô hình. Khám phá các tính năng, các bước cài đặt, và các ví dụ để tận dụng tối đa tiềm năng của SAM 2 trong các dự án của bạn!

Tóm tắt#

Segment Anything Model 2 (SAM 2) từ Meta AI đang thay đổi cách thức phân đoạn hình ảnh và video. Khi các tác vụ như theo dõi đối tượng ngày càng cải thiện, chúng ta đang khám phá những cơ hội mới trong chỉnh sửa video, thực tế hỗn hợp, nghiên cứu khoa học và chẩn đoán hình ảnh y tế. Bằng cách làm cho các tác vụ phức tạp trở nên dễ dàng hơn và tăng tốc quá trình chú giải, SAM 2 chắc chắn sẽ trở thành một công cụ quan trọng cho cộng đồng AI. Khi chúng ta tiếp tục khám phá và đổi mới với các model như SAM 2, chúng ta có thể mong đợi nhiều ứng dụng đột phá và tiến bộ hơn nữa trong các lĩnh vực khác nhau!

Tìm hiểu thêm về AI bằng cách khám phá kho lưu trữ GitHub của chúng tôi và tham gia cộng đồng của chúng tôi. Hãy xem các trang giải pháp của chúng tôi để có thông tin chi tiết về AI trong lĩnh vực sản xuất và y tế. 🚀