Mask R-CNN là gì và nó hoạt động như thế nào?

Các đổi mới như robot trong kho hàng, xe tự lái di chuyển an toàn qua các con phố đông đúc, máyδrón giám sát cây trồng và các hệ thống AI kiểm tra sản phẩm trong nhà máy đang trở nên phổ biến hơn khi việc áp dụng AI gia tăng. Một công nghệ cốt lõi thúc đẩy những đổi mới này là computer vision, một nhánh của AI cho phép máy móc hiểu và diễn giải dữ liệu trực quan.

Ví dụ, object detection là một tác vụ computer vision giúp xác định và định vị các đối tượng trong hình ảnh bằng cách sử dụng bounding box. Mặc dù bounding box cung cấp thông tin hữu ích, chúng chỉ cung cấp ước tính sơ bộ về vị trí của đối tượng và không thể nắm bắt được hình dạng hoặc ranh giới chính xác của đối tượng đó. Điều này làm cho chúng kém hiệu quả hơn trong các ứng dụng đòi hỏi sự nhận dạng chính xác.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển các segmentation model có khả năng nắm bắt các đường viền chính xác của đối tượng, cung cấp chi tiết ở cấp độ pixel để phát hiện và phân tích chính xác hơn.

Mask R-CNN là một trong những model như vậy. Được giới thiệu vào năm 2017 bởi Facebook AI Research (FAIR), nó được phát triển dựa trên các model trước đó như R-CNN, Fast R-CNN và Faster R-CNN. Là một cột mốc quan trọng trong lịch sử của computer vision, Mask R-CNN đã dọn đường cho các model tiên tiến hơn, chẳng hạn như Ultralytics YOLO11.

Trong bài viết này, chúng ta sẽ khám phá Mask R-CNN là gì, cách hoạt động, các ứng dụng và những cải tiến sau đó, dẫn đến Ultralytics YOLO11.

Tổng quan về Mask R-CNN#

Mask R-CNN, viết tắt của Mask Region-based Convolutional Neural Network, là một deep learning model được thiết kế cho các computer vision tasks như object detection và instance segmentation.

Instance segmentation vượt xa object detection truyền thống bằng cách không chỉ xác định các đối tượng trong hình ảnh mà còn phác thảo chính xác từng đối tượng. Nó gán một label duy nhất cho mọi đối tượng được phát hiện và nắm bắt hình dạng chính xác của đối tượng đó ở cấp độ pixel. Cách tiếp cận chi tiết này giúp phân biệt rõ ràng giữa các đối tượng chồng chéo và xử lý chính xác các hình dạng phức tạp.

Mask R-CNN xây dựng dựa trên Faster R-CNN, vốn thực hiện việc phát hiện và gắn label cho đối tượng nhưng không xác định được hình dạng chính xác của chúng. Mask R-CNN cải tiến điều này bằng cách xác định các pixel chính xác tạo nên mỗi đối tượng, cho phép phân tích hình ảnh chi tiết và chính xác hơn nhiều.

Fig 1. So sánh object detection và instance segmentation.

Xem xét kiến trúc của Mask R-CNN và cách nó hoạt động#

Mask R-CNN thực hiện cách tiếp cận từng bước để phát hiện và phân đoạn đối tượng một cách chính xác. Nó bắt đầu bằng việc trích xuất các đặc trưng chính bằng cách sử dụng deep neural network (một model nhiều lớp học từ dữ liệu), sau đó xác định các khu vực đối tượng tiềm năng với region proposal network (một thành phần gợi ý các vùng đối tượng có khả năng), và cuối cùng tinh chỉnh các khu vực này bằng cách tạo ra các segmentation mask chi tiết (các đường viền chính xác của đối tượng) nắm bắt được hình dạng chính xác của mỗi đối tượng.

Tiếp theo, chúng ta sẽ đi qua từng bước để hiểu rõ hơn về cách Mask R-CNN hoạt động.

Fig 2. Tổng quan về kiến trúc của Mask R-CNN (Nguồn: researchgate.net).

Bắt đầu với việc trích xuất đặc trưng#

Bước đầu tiên trong kiến trúc của Mask R-CNN là chia nhỏ hình ảnh thành các phần chính để model có thể hiểu những gì có trong đó. Hãy nghĩ về nó giống như khi bạn nhìn vào một bức ảnh và tự nhiên nhận thấy các chi tiết như hình dạng, màu sắc và cạnh. Model thực hiện điều tương tự bằng cách sử dụng một deep neural network được gọi là "backbone" (thường là ResNet-50 hoặc ResNet-101), đóng vai trò như đôi mắt để quét hình ảnh và chọn ra các chi tiết chính.

Vì các đối tượng trong hình ảnh có thể rất nhỏ hoặc rất lớn, Mask R-CNN sử dụng Feature Pyramid Network. Điều này giống như việc có các kính lúp khác nhau cho phép model nhìn thấy cả chi tiết nhỏ và bức tranh toàn cảnh, đảm bảo rằng các đối tượng ở mọi kích thước đều được chú ý.

Sau khi các features được extracted quan trọng này, model sẽ tiếp tục xác định vị trí của các đối tượng tiềm năng trong hình ảnh, tạo nền tảng cho việc phân tích tiếp theo.

Gợi ý các khu vực tiềm năng có đối tượng trong hình ảnh#

Sau khi hình ảnh đã được xử lý để lấy các đặc trưng chính, Region Proposal Network sẽ tiếp quản. Phần này của model nhìn vào hình ảnh và gợi ý các khu vực có khả năng chứa đối tượng.

Nó thực hiện điều này bằng cách tạo ra nhiều vị trí đối tượng có thể có được gọi là anchors. Sau đó, mạng lưới đánh giá các anchors này và chọn ra những cái triển vọng nhất để phân tích thêm. Bằng cách này, model chỉ tập trung vào các khu vực có khả năng thú vị nhất, thay vì kiểm tra từng điểm trong hình ảnh.

Fig 3. Một ví dụ về Region Proposal Network.

Nâng cao các đặc trưng đã trích xuất#

Với các khu vực chính đã được xác định, bước tiếp theo là tinh chỉnh các chi tiết được trích xuất từ các vùng này. Các model trước đó đã sử dụng một phương pháp được gọi là ROI Pooling (Region of Interest Pooling) để lấy các đặc trưng từ mỗi khu vực, nhưng kỹ thuật này đôi khi dẫn đến sự sai lệch nhỏ khi thay đổi kích thước vùng, khiến nó kém hiệu quả - đặc biệt là đối với các đối tượng nhỏ hơn hoặc chồng chéo.

Mask R-CNN cải thiện điều này bằng cách sử dụng kỹ thuật gọi là ROI Align (Region of Interest Align). Thay vì làm tròn tọa độ như ROI Pooling, ROI Align sử dụng bilinear interpolation để ước tính giá trị pixel chính xác hơn. Bilinear interpolation là một phương pháp tính toán giá trị pixel mới bằng cách tính trung bình giá trị của bốn láng giềng gần nhất, tạo ra các chuyển đổi mượt mà hơn. Điều này giữ cho các đặc trưng được căn chỉnh chính xác với hình ảnh gốc, dẫn đến việc object detection và segmentation chính xác hơn.

Ví dụ, trong một trận bóng đá, hai cầu thủ đứng gần nhau có thể bị nhầm lẫn với nhau vì bounding box của họ chồng lên nhau. ROI Align giúp tách biệt họ bằng cách giữ cho hình dạng của họ riêng biệt.

Fig 4. Mask R-CNN sử dụng ROI Align.

Phân loại đối tượng và dự đoán mask của chúng#

Khi ROI Align xử lý hình ảnh, bước tiếp theo là phân loại các đối tượng và tinh chỉnh vị trí của chúng. Model xem xét từng vùng được trích xuất và quyết định đối tượng nào có trong đó. Nó gán một điểm số xác suất cho các danh mục khác nhau và chọn kết quả phù hợp nhất.

Đồng thời, nó điều chỉnh các bounding box để phù hợp hơn với các đối tượng. Các hộp ban đầu có thể không được đặt lý tưởng, vì vậy điều này giúp cải thiện độ chính xác bằng cách đảm bảo mỗi hộp bao quanh chặt chẽ đối tượng được phát hiện.

Cuối cùng, Mask R-CNN thực hiện thêm một bước: nó tạo ra một segmentation mask chi tiết cho từng đối tượng song song.

Mask R-CNN và các ứng dụng thời gian thực#

Khi model này ra mắt, nó đã nhận được rất nhiều sự phấn khích từ cộng đồng AI và sớm được sử dụng trong nhiều ứng dụng khác nhau. Khả năng phát hiện và phân đoạn đối tượng trong thời gian thực đã làm cho nó trở thành một yếu tố thay đổi cuộc chơi trên nhiều ngành công nghiệp khác nhau.

Ví dụ, tracking endangered animals trong tự nhiên là một nhiệm vụ thách thức. Nhiều loài di chuyển qua các khu rừng rậm rạp, khiến các nhà bảo tồn khó theo dõi chúng. Các phương pháp truyền thống sử dụng camera bẫy, máy bay không người lái và hình ảnh vệ tinh, nhưng việc lọc qua tất cả dữ liệu này bằng tay rất tốn thời gian. Sự nhận dạng sai và các lần bỏ sót có thể làm chậm nỗ lực bảo tồn.

Bằng cách nhận ra các đặc điểm độc đáo như sọc hổ, đốm hươu cao cổ hoặc hình dạng tai voi, Mask R-CNN có thể phát hiện và phân đoạn động vật trong hình ảnh và video với độ chính xác cao hơn. Ngay cả khi động vật bị cây cối che khuất một phần hoặc đứng gần nhau, model vẫn có thể tách biệt chúng và nhận dạng từng cá thể, giúp việc giám sát động vật hoang dã nhanh chóng và đáng tin cậy hơn.

Fig 5. Phát hiện và phân đoạn động vật sử dụng Mask R-CNN.

Những hạn chế của Mask R-CNN#

Bất chấp tầm quan trọng lịch sử của nó trong việc phát hiện và phân đoạn đối tượng, Mask R-CNN cũng có một số nhược điểm chính. Dưới đây là một số thách thức liên quan đến Mask R-CNN:

• High computational demand: Nó phụ thuộc vào GPU mạnh mẽ, điều này có thể khiến nó tốn kém khi chạy và chậm khi xử lý lượng lớn dữ liệu.
• Tốc độ xử lý chậm hơn: Quy trình đa giai đoạn của nó khiến nó chậm hơn so với các real-time model nhanh hơn như YOLO, vốn có thể không lý tưởng cho các tác vụ nhạy cảm về thời gian.
• Phụ thuộc vào dữ liệu chất lượng cao: Model hoạt động tốt nhất với hình ảnh rõ nét, được dán nhãn tốt. Hình ảnh bị mờ hoặc thiếu sáng có thể làm giảm đáng kể độ chính xác của nó.
• Việc triển khai phức tạp: Kiến trúc đa giai đoạn có thể gây khó khăn khi thiết lập và tối ưu hóa, đặc biệt là khi làm việc với các tập dữ liệu lớn hoặc tài nguyên hạn chế.

Từ Mask R-CNN đến Ultralytics YOLO11#

Mask R-CNN rất tuyệt vời cho các tác vụ phân đoạn, nhưng nhiều ngành công nghiệp đang tìm cách áp dụng computer vision trong khi ưu tiên tốc độ và hiệu suất thời gian thực. Yêu cầu này đã dẫn đến việc các nhà nghiên cứu phát triển các one-stage model giúp phát hiện đối tượng trong một lần truyền qua duy nhất, cải thiện đáng kể hiệu quả.

Không giống như quy trình nhiều bước của Mask R-CNN, các computer vision models một giai đoạn như YOLO (You Only Look Once) tập trung vào các tác vụ computer vision thời gian thực. Thay vì xử lý việc phát hiện và phân đoạn riêng biệt, các model YOLO có thể phân tích một hình ảnh trong một lần chạy. Điều này làm cho nó trở nên lý tưởng cho các ứng dụng như lái xe tự động, y tế, sản xuất và robotics, nơi việc ra quyết định nhanh chóng là vô cùng quan trọng.

Cụ thể, Ultralytics YOLO11 tiến xa hơn một bước bằng cách vừa nhanh vừa chính xác. Nó sử dụng ít hơn 22% tham số so với YOLOv8m nhưng vẫn đạt được độ chính xác trung bình (mAP) cao hơn trên tập dữ liệu COCO, có nghĩa là nó phát hiện đối tượng chính xác hơn. Tốc độ xử lý được cải thiện của nó làm cho nó trở thành một lựa chọn tốt cho các ứng dụng thời gian thực nơi từng mili-giây đều quan trọng.

Fig 6. Hiệu suất của YOLO11 so với các model khác.

Các điểm chính cần lưu ý#

Nhìn lại lịch sử của computer vision, Mask R-CNN được công nhận là một bước đột phá lớn trong việc phát hiện và phân đoạn đối tượng. Nó mang lại kết quả rất chính xác ngay cả trong các môi trường phức tạp, nhờ vào quy trình đa bước chi tiết của nó.

Tuy nhiên, chính quy trình này làm cho nó chậm hơn so với các real-time model như YOLO. Khi nhu cầu về tốc độ và hiệu quả tăng lên, nhiều ứng dụng hiện nay sử dụng các one-stage model như Ultralytics YOLO11, vốn cung cấp khả năng phát hiện đối tượng nhanh chóng và chính xác. Trong khi Mask R-CNN rất quan trọng trong việc tìm hiểu sự tiến hóa của computer vision, xu hướng hướng tới các giải pháp thời gian thực làm nổi bật nhu cầu ngày càng tăng đối với các giải pháp computer vision nhanh hơn và hiệu quả hơn.

Hãy tham gia community đang không ngừng phát triển của chúng tôi! Khám phá GitHub repository của chúng tôi để tìm hiểu thêm về AI. Bạn đã sẵn sàng bắt đầu các dự án computer vision của riêng mình chưa? Hãy xem qua các licensing options của chúng tôi. Khám phá AI in agriculture và vision AI in healthcare bằng cách truy cập các trang giải pháp của chúng tôi!