Mask R-CNN là gì và nó hoạt động như thế nào?

Các đổi mới như robot trong nhà kho, xe tự lái di chuyển an toàn trên những con phố đông đúc, máy bay không người lái kiểm tra mùa màng và các hệ thống AI kiểm tra sản phẩm trong nhà máy đang trở nên phổ biến hơn khi việc áp dụng AI ngày càng tăng. Một công nghệ then chốt thúc đẩy những đổi mới này là computer vision, một nhánh của AI cho phép máy móc hiểu và diễn giải dữ liệu hình ảnh.

Ví dụ, object detection là một tác vụ computer vision giúp xác định và định vị các đối tượng trong hình ảnh bằng cách sử dụng bounding box. Mặc dù bounding box cung cấp thông tin hữu ích, chúng chỉ cung cấp ước tính sơ bộ về vị trí của đối tượng và không thể nắm bắt được hình dạng hoặc ranh giới chính xác của đối tượng đó. Điều này làm cho chúng kém hiệu quả hơn trong các ứng dụng đòi hỏi sự nhận dạng chính xác.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển các segmentation model có khả năng nắm bắt các đường viền chính xác của đối tượng, cung cấp chi tiết ở cấp độ pixel để phát hiện và phân tích chính xác hơn.

Mask R-CNN là một trong những model đó. Được giới thiệu vào năm 2017 bởi Facebook AI Research (FAIR), nó được xây dựng dựa trên các model trước đó như R-CNN, Fast R-CNN và Faster R-CNN. Là một cột mốc quan trọng trong lịch sử của computer vision, Mask R-CNN đã mở đường cho các model tiên tiến hơn, chẳng hạn như Ultralytics YOLO11.

Trong bài viết này, chúng ta sẽ khám phá Mask R-CNN là gì, cách nó hoạt động, các ứng dụng của nó và những cải tiến nào đã xuất hiện sau đó, dẫn đến sự ra đời của YOLO11.

Link to this sectionTổng quan về Mask R-CNN#

Mask R-CNN, viết tắt của Mask Region-based Convolutional Neural Network, là một deep learning model được thiết kế cho các computer vision tasks như object detection và instance segmentation.

Instance segmentation vượt xa object detection truyền thống bằng cách không chỉ xác định các đối tượng trong hình ảnh mà còn phác thảo chính xác từng đối tượng. Nó gán một label duy nhất cho mọi đối tượng được phát hiện và nắm bắt hình dạng chính xác của đối tượng đó ở cấp độ pixel. Cách tiếp cận chi tiết này giúp phân biệt rõ ràng giữa các đối tượng chồng chéo và xử lý chính xác các hình dạng phức tạp.

Mask R-CNN xây dựng dựa trên Faster R-CNN, vốn thực hiện việc phát hiện và gắn label cho đối tượng nhưng không xác định được hình dạng chính xác của chúng. Mask R-CNN cải tiến điều này bằng cách xác định các pixel chính xác tạo nên mỗi đối tượng, cho phép phân tích hình ảnh chi tiết và chính xác hơn nhiều.

Fig 1. So sánh object detection và instance segmentation.

Link to this sectionXem xét kiến trúc của Mask R-CNN và cách nó hoạt động#

Mask R-CNN thực hiện cách tiếp cận từng bước để phát hiện và phân đoạn đối tượng một cách chính xác. Nó bắt đầu bằng việc trích xuất các đặc trưng chính bằng cách sử dụng deep neural network (một model nhiều lớp học từ dữ liệu), sau đó xác định các khu vực đối tượng tiềm năng với region proposal network (một thành phần gợi ý các vùng đối tượng có khả năng), và cuối cùng tinh chỉnh các khu vực này bằng cách tạo ra các segmentation mask chi tiết (các đường viền chính xác của đối tượng) nắm bắt được hình dạng chính xác của mỗi đối tượng.

Tiếp theo, chúng ta sẽ đi qua từng bước để hiểu rõ hơn về cách Mask R-CNN hoạt động.

Fig 2. Tổng quan về kiến trúc của Mask R-CNN (Nguồn: researchgate.net).

Link to this sectionBắt đầu với việc trích xuất đặc trưng#

Bước đầu tiên trong kiến trúc của Mask R-CNN là chia nhỏ hình ảnh thành các phần chính để model có thể hiểu những gì có trong đó. Hãy nghĩ về nó giống như khi bạn nhìn vào một bức ảnh và tự nhiên nhận thấy các chi tiết như hình dạng, màu sắc và cạnh. Model thực hiện điều tương tự bằng cách sử dụng một deep neural network được gọi là "backbone" (thường là ResNet-50 hoặc ResNet-101), đóng vai trò như đôi mắt để quét hình ảnh và chọn ra các chi tiết chính.

Vì các đối tượng trong hình ảnh có thể rất nhỏ hoặc rất lớn, Mask R-CNN sử dụng Feature Pyramid Network. Điều này giống như việc có các kính lúp khác nhau cho phép model nhìn thấy cả chi tiết nhỏ và bức tranh toàn cảnh, đảm bảo rằng các đối tượng ở mọi kích thước đều được chú ý.

Sau khi các features được trích xuất quan trọng này, model sau đó chuyển sang định vị các đối tượng tiềm năng trong hình ảnh, tạo tiền đề cho việc phân tích sâu hơn.

Link to this sectionGợi ý các khu vực tiềm năng có đối tượng trong hình ảnh#

Sau khi hình ảnh đã được xử lý để lấy các đặc trưng chính, Region Proposal Network sẽ tiếp quản. Phần này của model nhìn vào hình ảnh và gợi ý các khu vực có khả năng chứa đối tượng.

Nó thực hiện điều này bằng cách tạo ra nhiều vị trí đối tượng khả dĩ được gọi là anchors. Sau đó, network đánh giá các anchor này và chọn ra những anchor triển vọng nhất để phân tích thêm. Bằng cách này, model chỉ tập trung vào các khu vực có nhiều khả năng thú vị nhất, thay vì kiểm tra từng điểm duy nhất trong hình ảnh.

Fig 3. Ví dụ về Region Proposal Network.

Link to this sectionNâng cao các đặc trưng đã trích xuất#

Với các khu vực chính đã được xác định, bước tiếp theo là tinh chỉnh các chi tiết được trích xuất từ các vùng này. Các model trước đó đã sử dụng một phương pháp được gọi là ROI Pooling (Region of Interest Pooling) để lấy các đặc trưng từ mỗi khu vực, nhưng kỹ thuật này đôi khi dẫn đến sự sai lệch nhỏ khi thay đổi kích thước vùng, khiến nó kém hiệu quả - đặc biệt là đối với các đối tượng nhỏ hơn hoặc chồng chéo.

Mask R-CNN cải thiện điều này bằng cách sử dụng kỹ thuật gọi là ROI Align (Region of Interest Align). Thay vì làm tròn tọa độ như ROI Pooling, ROI Align sử dụng bilinear interpolation để ước tính giá trị pixel chính xác hơn. Bilinear interpolation là một phương pháp tính toán giá trị pixel mới bằng cách tính trung bình giá trị của bốn láng giềng gần nhất, tạo ra các chuyển đổi mượt mà hơn. Điều này giữ cho các đặc trưng được căn chỉnh chính xác với hình ảnh gốc, dẫn đến việc object detection và segmentation chính xác hơn.

Ví dụ, trong một trận bóng đá, hai cầu thủ đứng gần nhau có thể bị nhầm lẫn với nhau vì bounding box của họ chồng lên nhau. ROI Align giúp tách biệt họ bằng cách giữ cho hình dạng của họ riêng biệt.

Fig 4. Mask R-CNN sử dụng ROI Align.

Link to this sectionPhân loại đối tượng và dự đoán mask của chúng#

Khi ROI Align xử lý hình ảnh, bước tiếp theo là phân loại các đối tượng và tinh chỉnh vị trí của chúng. Model xem xét từng vùng được trích xuất và quyết định đối tượng nào có trong đó. Nó gán một điểm số xác suất cho các danh mục khác nhau và chọn kết quả phù hợp nhất.

Đồng thời, nó điều chỉnh các bounding box để phù hợp hơn với các đối tượng. Các hộp ban đầu có thể không được đặt lý tưởng, vì vậy điều này giúp cải thiện độ chính xác bằng cách đảm bảo mỗi hộp bao quanh chặt chẽ đối tượng được phát hiện.

Cuối cùng, Mask R-CNN thực hiện một bước bổ sung: nó tạo ra một segmentation mask chi tiết cho từng đối tượng song song.

Link to this sectionMask R-CNN và các ứng dụng thời gian thực#

Khi model này ra mắt, nó đã nhận được rất nhiều sự phấn khích từ cộng đồng AI và sớm được sử dụng trong nhiều ứng dụng khác nhau. Khả năng phát hiện và phân đoạn đối tượng trong thời gian thực đã làm cho nó trở thành một yếu tố thay đổi cuộc chơi trên nhiều ngành công nghiệp khác nhau.

Ví dụ, theo dõi động vật nguy cấp trong tự nhiên là một công việc đầy thách thức. Nhiều loài di chuyển qua các khu rừng rậm rạp, gây khó khăn cho các nhà bảo tồn trong việc theo dõi chúng. Các phương pháp truyền thống sử dụng bẫy ảnh, máy bay không người lái và hình ảnh vệ tinh, nhưng việc phân loại tất cả dữ liệu này bằng tay rất tốn thời gian. Việc nhận dạng sai và bỏ lỡ các lần xuất hiện có thể làm chậm nỗ lực bảo tồn.

Bằng cách nhận ra các đặc điểm độc đáo như sọc hổ, đốm hươu cao cổ hoặc hình dạng tai voi, Mask R-CNN có thể phát hiện và phân đoạn động vật trong hình ảnh và video với độ chính xác cao hơn. Ngay cả khi động vật bị cây cối che khuất một phần hoặc đứng gần nhau, model vẫn có thể tách biệt chúng và nhận dạng từng cá thể, giúp việc giám sát động vật hoang dã nhanh chóng và đáng tin cậy hơn.

Fig 5. Phát hiện và phân đoạn động vật sử dụng Mask R-CNN.

Link to this sectionNhững hạn chế của Mask R-CNN#

Bất chấp tầm quan trọng lịch sử của nó trong việc phát hiện và phân đoạn đối tượng, Mask R-CNN cũng có một số nhược điểm chính. Dưới đây là một số thách thức liên quan đến Mask R-CNN:

• Nhu cầu tính toán cao: Nó dựa vào GPU mạnh mẽ, có thể khiến việc chạy trở nên đắt đỏ và chậm chạp khi xử lý lượng dữ liệu lớn.
• Tốc độ xử lý chậm hơn: Quy trình đa giai đoạn của nó khiến nó chậm hơn so với các real-time model nhanh hơn như YOLO, vốn có thể không lý tưởng cho các tác vụ nhạy cảm về thời gian.
• Phụ thuộc vào dữ liệu chất lượng cao: Model hoạt động tốt nhất với hình ảnh rõ nét, được dán nhãn tốt. Hình ảnh bị mờ hoặc thiếu sáng có thể làm giảm đáng kể độ chính xác của nó.
• Việc triển khai phức tạp: Kiến trúc đa giai đoạn có thể gây khó khăn khi thiết lập và tối ưu hóa, đặc biệt là khi làm việc với các tập dữ liệu lớn hoặc tài nguyên hạn chế.

Link to this sectionTừ Mask R-CNN đến Ultralytics YOLO11#

Mask R-CNN rất tuyệt vời cho các tác vụ phân đoạn, nhưng nhiều ngành công nghiệp đang tìm cách áp dụng computer vision trong khi ưu tiên tốc độ và hiệu suất thời gian thực. Yêu cầu này đã dẫn đến việc các nhà nghiên cứu phát triển các one-stage model giúp phát hiện đối tượng trong một lần truyền qua duy nhất, cải thiện đáng kể hiệu quả.

Không giống như quy trình nhiều bước của Mask R-CNN, các computer vision model one-stage như YOLO (You Only Look Once) tập trung vào các tác vụ computer vision thời gian thực. Thay vì xử lý việc phát hiện và phân đoạn riêng biệt, các model YOLO có thể phân tích hình ảnh trong một lần thực hiện. Điều này làm cho nó lý tưởng cho các ứng dụng như lái xe tự động, chăm sóc sức khỏe, sản xuất và robot, nơi việc ra quyết định nhanh là rất quan trọng.

Cụ thể, YOLO11 tiến xa hơn bằng cách vừa nhanh vừa chính xác. Nó sử dụng ít hơn 22% tham số so với YOLOv8m nhưng vẫn đạt được mAP (mean average precision) cao hơn trên tập dữ liệu COCO, nghĩa là nó phát hiện đối tượng chính xác hơn. Tốc độ xử lý được cải thiện giúp nó trở thành lựa chọn tốt cho các ứng dụng thời gian thực, nơi mỗi mili giây đều có giá trị.

Fig 6. Hiệu suất của YOLO11 so với các model khác.

Link to this sectionCác điểm chính cần lưu ý#

Nhìn lại lịch sử của computer vision, Mask R-CNN được công nhận là một bước đột phá lớn trong việc phát hiện và phân đoạn đối tượng. Nó mang lại kết quả rất chính xác ngay cả trong các môi trường phức tạp, nhờ vào quy trình đa bước chi tiết của nó.

Tuy nhiên, chính quy trình này làm cho nó chậm hơn so với các real-time model như YOLO. Khi nhu cầu về tốc độ và hiệu quả tăng lên, nhiều ứng dụng hiện nay sử dụng các one-stage model như Ultralytics YOLO11, vốn cung cấp khả năng phát hiện đối tượng nhanh chóng và chính xác. Trong khi Mask R-CNN rất quan trọng trong việc tìm hiểu sự tiến hóa của computer vision, xu hướng hướng tới các giải pháp thời gian thực làm nổi bật nhu cầu ngày càng tăng đối với các giải pháp computer vision nhanh hơn và hiệu quả hơn.

Hãy tham gia cộng đồng đang phát triển của chúng tôi! Khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Bạn đã sẵn sàng bắt đầu các dự án thị giác máy tính của riêng mình chưa? Hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá AI trong nông nghiệp và AI thị giác trong chăm sóc sức khỏe bằng cách truy cập các trang giải pháp của chúng tôi!