Cách cải thiện mAP của model trên các đối tượng nhỏ: Hướng dẫn nhanh

Khi việc áp dụng trí tuệ nhân tạo (AI), học máy (machine learning) và computer vision ngày càng phổ biến, các hệ thống phát hiện đối tượng đang được sử dụng ở khắp mọi nơi, từ camera giao thông thông minh đến máy bay không người lái và các công cụ phân tích bán lẻ. Thông thường, các hệ thống này được yêu cầu phải phát hiện đối tượng ở mọi kích thước, cho dù đó là một chiếc xe tải lớn ở gần camera hay một người đi bộ nhỏ bé ở phía xa.

Thông thường, việc phát hiện các đối tượng lớn và hiển thị rõ ràng sẽ dễ dàng hơn. Ngược lại, việc phát hiện các đối tượng nhỏ lại thách thức hơn nhiều.

Khi một đối tượng chỉ chiếm một phần rất nhỏ trong ảnh, sẽ có rất ít thông tin hình ảnh để xử lý. Một người đi bộ ở xa trong luồng giao thông hoặc một phương tiện nhỏ được ghi lại từ góc nhìn trên không có thể chỉ chứa một vài pixel, nhưng những pixel đó lại có thể mang thông tin quan trọng.

Các computer vision models như các model Ultralytics YOLO dựa vào các mẫu hình ảnh để nhận dạng đối tượng, và khi các mẫu đó bị hạn chế hoặc không rõ ràng, hiệu suất sẽ bị ảnh hưởng. Các chi tiết quan trọng có thể bị mất trong quá trình xử lý, khiến các dự đoán trở nên nhạy cảm hơn với các lỗi định vị (localization errors). Chỉ cần một sự dịch chuyển nhỏ trong bbox cũng có thể biến một phát hiện chính xác thành một phát hiện bị bỏ lỡ.

Khoảng cách này trở nên rõ ràng khi chúng ta xem xét hiệu suất của model. Hầu hết các model phát hiện và phân đoạn (segmentation) đều xử lý tốt các đối tượng trung bình và lớn, nhưng các đối tượng nhỏ thường làm giảm độ chính xác tổng thể.

Hiệu suất của deep learning thường được đo bằng mean average precision, hay mAP. Chỉ số này phản ánh cả mức độ chính xác của các phát hiện và mức độ các hộp dự đoán khớp với đối tượng thực tế.

Nó kết hợp precision, cho thấy có bao nhiêu đối tượng được dự đoán là chính xác, và recall, cho thấy có bao nhiêu đối tượng thực tế được phát hiện thành công, trên các mức độ tự tin (confidence levels) và các ngưỡng Intersection over Union, hay IoU (một chỉ số đo lường mức độ chồng lấp giữa bbox dự đoán và hộp ground truth).

Trước đây, chúng tôi đã khám phá small object detection và lý do tại sao đây lại là một vấn đề khó khăn đối với các computer vision models. Trong bài viết này, chúng ta sẽ xây dựng dựa trên nền tảng đó và tập trung vào cách cải thiện mAP khi liên quan đến các đối tượng nhỏ. Hãy bắt đầu ngay thôi!

Link to this sectionTại sao các đối tượng nhỏ lại khó phát hiện hơn?#

Khi nói đến các ứng dụng liên quan đến trình phát hiện đối tượng, một đối tượng nhỏ được định nghĩa bởi dung lượng không gian mà nó chiếm trong ảnh, không nhất thiết là bởi kích thước mà mắt người nhìn thấy. Nếu nó chỉ chiếm một phần nhỏ của ảnh, nó chứa rất ít thông tin hình ảnh, điều này khiến thuật toán computer vision khó phát hiện chính xác hơn.

Hình 1. Hình ảnh ví dụ cho thấy các đối tượng nhỏ chiếm diện tích pixel hạn chế (Nguồn)

Với ít pixel hơn để xử lý, các chi tiết quan trọng như cạnh, hình dạng và kết cấu có thể không rõ ràng hoặc dễ dàng bị mất. Khi ảnh được xử lý bởi model, nó được thay đổi kích thước và đơn giản hóa để làm nổi bật các mẫu hữu ích.

Mặc dù điều này giúp model hiểu được cảnh tổng thể, nó cũng có thể làm giảm các chi tiết tinh vi hơn nữa. Đối với các đối tượng nhỏ, những chi tiết đó thường rất cần thiết cho việc phát hiện chính xác.

Những thách thức này trở nên rõ ràng hơn khi xem xét các evaluation metrics. Các đối tượng nhỏ đặc biệt nhạy cảm với các lỗi định vị. Ngay cả một bbox bị lệch nhẹ cũng có thể thấp hơn ngưỡng IoU yêu cầu.

Khi điều đó xảy ra, một dự đoán trông có vẻ hợp lý có thể bị tính là không chính xác. Điều này làm giảm cả precision và recall, cuối cùng dẫn đến giảm mAP.

Vì các yếu tố này liên quan chặt chẽ với nhau, việc cải thiện hiệu suất thường đòi hỏi phải suy nghĩ về toàn bộ hệ thống. Điều đó có nghĩa là phải cân bằng cẩn thận giữa độ phân giải hình ảnh, trích xuất đặc trưng (feature extraction), thiết kế model và cài đặt đánh giá để các chi tiết hình ảnh nhỏ được bảo tồn và diễn giải tốt hơn.

Link to this sectionTầm quan trọng của chất lượng tập dữ liệu và chú thích#

Khi nói đến phát hiện đối tượng nhỏ, chất lượng của tập dữ liệu thường tạo ra sự khác biệt lớn nhất về hiệu suất. Các đối tượng nhỏ chỉ chiếm một phần nhỏ trong ảnh, nghĩa là có rất ít thông tin hình ảnh để model học hỏi. Vì lý do này, dữ liệu huấn luyện trở nên đặc biệt quan trọng. Nếu tập dữ liệu không bao gồm đủ các ví dụ rõ ràng và mang tính đại diện, model phát hiện đối tượng sẽ gặp khó khăn trong việc nhận dạng các mẫu nhất quán.

Các tập dữ liệu hoạt động tốt cho phát hiện đối tượng nhỏ thường chứa các hình ảnh có độ phân giải cao, sự xuất hiện thường xuyên của các mục tiêu nhỏ và điều kiện hình ảnh nhất quán. Mặc dù các tập dữ liệu chung như COCO dataset là những điểm khởi đầu hữu ích, chúng thường không khớp với quy mô, mật độ hoặc bối cảnh của các trường hợp sử dụng thực tế cụ thể. Trong những trường hợp như vậy, việc thu thập dữ liệu huấn luyện đặc thù theo miền trở nên cần thiết để cải thiện hiệu suất model.

Annotation quality cũng đóng một vai trò quan trọng. Các chú thích thiết lập ground truth bằng cách chỉ định các nhãn đối tượng và vị trí bbox chính xác mà model học cách dự đoán.

Đối với các đối tượng nhỏ, bbox phải được vẽ cẩn thận và nhất quán. Ngay cả những khác biệt nhỏ trong vị trí hộp cũng có thể ảnh hưởng đáng kể đến độ chính xác định vị vì các đối tượng nhỏ rất nhạy cảm với các dịch chuyển ở cấp độ pixel.

Các chú thích kém hoặc không nhất quán có thể làm giảm mAP đáng kể. Nếu đối tượng bị dán nhãn sai, model sẽ học các mẫu không chính xác, điều này có thể làm tăng false positives.

Nếu các đối tượng xuất hiện trong ảnh nhưng bị thiếu trong ground truth, các phát hiện chính xác có thể bị tính là false positives trong quá trình đánh giá. Cả hai tình huống đều làm giảm hiệu suất tổng thể.

Thú vị là, nghiên cứu gần đây chỉ ra rằng precision for small objects thường vẫn nằm trong khoảng từ 20% đến 40% trên các tiêu chuẩn đánh giá, thấp hơn đáng kể so với các đối tượng lớn hơn. Khoảng cách này làm nổi bật tầm quan trọng của việc thiết kế tập dữ liệu và tính nhất quán của chú thích đối với độ chính xác phát hiện tổng thể.

Link to this sectionData augmentation có thể đóng vai trò quan trọng trong việc cải thiện độ chính xác#

Với sự hiểu biết tốt hơn về tầm quan trọng của chất lượng tập dữ liệu và tính nhất quán của chú thích, chúng ta hãy cùng xem xét cách một model phát hiện đối tượng có thể học hiệu quả hơn từ dữ liệu hiện có. Ngay cả khi việc thu thập thêm hình ảnh trở nên khó khăn hoặc tốn kém, vẫn có những cách để cải thiện hiệu suất bằng cách tận dụng tốt hơn dữ liệu hiện có.

Một trong những cách tiếp cận thiết thực nhất là data augmentation. Nó đóng một vai trò đặc biệt quan trọng trong việc phát hiện đối tượng nhỏ vì các đối tượng nhỏ cung cấp ít tín hiệu hình ảnh hơn để model học hỏi. Bằng cách giới thiệu các biến thể được kiểm soát trong quá trình huấn luyện, augmentation giúp model tổng quát hóa tốt hơn mà không cần thu thập dữ liệu mới.

Data augmentation hiệu quả tập trung vào việc giữ cho các đối tượng nhỏ hiển thị rõ ràng. Các kỹ thuật như thay đổi kích thước có kiểm soát, cắt ảnh nhẹ và lát gạch ảnh (tiling) có thể làm cho các đối tượng nhỏ trở nên nổi bật hơn trong khi vẫn giữ nguyên hình dạng và diện mạo của chúng. Mục tiêu là giúp model nhìn thấy các đối tượng nhỏ thường xuyên hơn và trong các điều kiện hơi khác nhau, mà không làm thay đổi cách chúng trông như thế nào trong các tình huống thực tế.

Tuy nhiên, augmentation cần được áp dụng cẩn thận. Một số biến đổi có thể làm giảm khả năng hiển thị của các đối tượng nhỏ hoặc thay đổi diện mạo của chúng theo những cách không có khả năng xảy ra trong dữ liệu thực. Khi điều này xảy ra, model có thể gặp khó khăn trong việc học các ranh giới đối tượng chính xác.

Link to this sectionData augmentation thông minh hơn với generative AI#

Một loại data augmentation thú vị khác đang trở nên phổ biến hơn là việc sử dụng generative AI để tạo dữ liệu huấn luyện tổng hợp (synthetic). Thay vì dựa vào các hình ảnh được thu thập và dán nhãn thủ công, các đội ngũ hiện có thể tạo ra các cảnh thực tế mô phỏng các môi trường, kích thước đối tượng, điều kiện ánh sáng và các biến thể nền cụ thể.

Hình 2. Xem xét các hình ảnh tổng hợp từ trên không được sử dụng cho data augmentation (Nguồn)

Cách tiếp cận này đặc biệt hữu ích cho việc phát hiện đối tượng nhỏ, nơi mà các ví dụ thực tế có thể khó nắm bắt một cách nhất quán. Bằng cách kiểm soát cách các đối tượng nhỏ xuất hiện trong các hình ảnh tổng hợp, chẳng hạn như điều chỉnh quy mô, mật độ và vị trí, có thể cho phép các model tiếp cận với nhiều kịch bản huấn luyện hơn.

Khi được kết hợp cẩn thận với dữ liệu thực, augmentation tổng hợp có thể cải thiện độ bền của model, giảm chi phí thu thập dữ liệu và hỗ trợ các cải tiến hiệu suất có mục tiêu hơn.

Link to this sectionCác lựa chọn huấn luyện model có thể ảnh hưởng đến mAP đối với đối tượng nhỏ#

Ngoài chất lượng tập dữ liệu và tính nhất quán của chú thích, các lựa chọn huấn luyện model cũng có tác động mạnh mẽ đến hiệu suất phát hiện đối tượng nhỏ.

Dưới đây là một số chiến lược huấn luyện chính cần xem xét:

• Bắt đầu với các pre-trained models: Một pre-trained model, chẳng hạn như Ultralytics YOLO26, đã học các mẫu hình ảnh chung từ các tập dữ liệu lớn. Điều này cung cấp một điểm khởi đầu vững chắc thay vì huấn luyện từ đầu, điều này đặc biệt hữu ích khi phát hiện các đối tượng nhỏ với dữ liệu hạn chế.
• Sử dụng transfer learning một cách chiến lược: Transfer learning có nghĩa là điều chỉnh một pre-trained model cho tập dữ liệu cụ thể của bạn. Nó giúp model tập trung vào các đối tượng nhỏ của bạn trong khi giảm thiểu overfitting (học thuộc lòng dữ liệu huấn luyện thay vì học các mẫu chung).
• Giải quyết mất cân bằng lớp (class imbalance): Nếu các đối tượng nhỏ xuất hiện ít thường xuyên hơn các đối tượng lớn hơn, model có thể ưu tiên học các đối tượng lớn hơn. Các kỹ thuật như trọng số lớp hoặc các chiến lược lấy mẫu giúp đảm bảo các đối tượng nhỏ không bị bỏ qua.
• Điều chỉnh confidence và IoU thresholds: Các đối tượng nhỏ rất nhạy cảm với các lỗi định vị nhỏ. Việc tinh chỉnh các ngưỡng này giúp đánh giá và diễn giải hiệu suất đối tượng nhỏ tốt hơn trong quá trình xác thực và suy luận (inference).

Link to this sectionCác cân nhắc về kiến trúc model cho việc phát hiện đối tượng nhỏ#

Mặc dù bạn có thể sử dụng một model phát hiện đối tượng chung cho các tác vụ đối tượng nhỏ, cũng có các kiến trúc model được thiết kế đặc biệt để cải thiện việc phát hiện đối tượng nhỏ. Ví dụ, có các biến thể model P2 của Ultralytics YOLOv8 được tối ưu hóa để bảo tồn chi tiết không gian tốt.

YOLOv8 xử lý hình ảnh ở nhiều quy mô bằng cách thu nhỏ dần khi chúng đi sâu hơn qua mạng. Điều này giúp model hiểu được cảnh tổng thể, nhưng nó cũng làm giảm các chi tiết tinh vi.

Khi một đối tượng đã rất nhỏ, thông tin hình ảnh quan trọng có thể biến mất trong quá trình này. Biến thể P2 của Ultralytics YOLOv8 giải quyết vấn đề này bằng cách sử dụng stride là 2 trong feature pyramid của nó.

Một feature pyramid là phần của model phân tích hình ảnh ở nhiều độ phân giải nội bộ để nó có thể phát hiện các đối tượng ở nhiều kích thước khác nhau. Với stride là 2, hình ảnh được giảm dần dần ở giai đoạn này, cho phép bảo tồn nhiều chi tiết ở cấp độ pixel ban đầu hơn.

Vì nhiều chi tiết không gian được bảo tồn, các đối tượng nhỏ giữ lại được nhiều cấu trúc hiển thị hơn bên trong mạng. Điều này giúp model dễ dàng định vị và phát hiện các đối tượng chỉ chiếm một vài pixel, điều này có thể giúp cải thiện mAP đối tượng nhỏ.

Link to this sectionĐánh giá nhận thức kích thước (size-aware) cho việc phát hiện đối tượng nhỏ#

Mặc dù mAP tóm tắt hiệu suất model tổng thể, nó không phải lúc nào cũng cho thấy mức độ mà một model xử lý tốt các đối tượng có kích thước khác nhau. Đối với các đối tượng nhỏ, hiệu suất thường bị hạn chế bởi độ chính xác định vị hơn là chỉ riêng phân loại, nghĩa là các dịch chuyển bbox nhẹ có thể ảnh hưởng đáng kể đến kết quả.

Nói cách khác, model có thể xác định chính xác lớp của đối tượng, nhưng nếu bbox dự đoán bị lệch nhẹ, phát hiện vẫn có thể được coi là không chính xác. Vì các đối tượng nhỏ chỉ bao phủ một số lượng nhỏ pixel, ngay cả một thay đổi nhỏ trong vị trí hộp cũng có thể làm giảm đáng kể sự chồng lấp giữa hộp dự đoán và ground truth. Kết quả là, điểm số đánh giá có thể giảm ngay cả khi đối tượng đã được xác định chính xác.

Hình 3. Đánh giá việc phát hiện đối tượng nhỏ có thể rất phức tạp (Nguồn)

Một cách tiếp cận thông tin hơn là đánh giá hiệu suất theo kích thước đối tượng. Hầu hết các tiêu chuẩn đánh giá được sử dụng rộng rãi đều báo cáo AP riêng biệt cho các đối tượng nhỏ, trung bình và lớn.

Sự phân tích cụ thể theo kích thước này cung cấp một cái nhìn rõ ràng hơn về nơi model hoạt động tốt và nơi nó gặp khó khăn. Trong thực tế, small-object AP thường tụt hậu so với mAP tổng thể, làm nổi bật những thách thức về định vị có thể không rõ ràng trong các chỉ số tổng hợp.

Link to this sectionXem xét các ràng buộc triển khai và đánh đổi trong thực tế#

Hiệu suất của model thường thay đổi khi chuyển từ môi trường thử nghiệm được kiểm soát sang triển khai thực tế. Các yếu tố như độ phân giải hình ảnh, tốc độ xử lý và phần cứng sẵn có tạo ra những sự đánh đổi ảnh hưởng trực tiếp đến việc phát hiện đối tượng nhỏ.

Ví dụ, việc tăng độ phân giải đầu vào có thể cải thiện mAP đối tượng nhỏ vì các mục tiêu nhỏ chiếm nhiều pixel hơn và giữ lại nhiều chi tiết hơn. Tuy nhiên, độ phân giải cao hơn cũng làm tăng mức sử dụng bộ nhớ và thời gian xử lý. Điều này có thể làm chậm quá trình inference và tăng chi phí vận hành.

Hình 4. Những thách thức trong triển khai phát hiện đối tượng nhỏ. Hình ảnh bởi tác giả.

Các lựa chọn phần cứng đóng vai trò chính trong việc quản lý các sự đánh đổi này. Các GPU mạnh mẽ hơn cho phép các model lớn hơn và xử lý nhanh hơn, nhưng môi trường triển khai, đặc biệt là các thiết bị biên (edge devices), thường có tài nguyên tính toán và bộ nhớ hạn chế.

Các ứng dụng thời gian thực bổ sung thêm một ràng buộc: duy trì độ trễ thấp có thể yêu cầu giảm kích thước model hoặc độ phân giải đầu vào, điều này có thể ảnh hưởng tiêu cực đến recall của đối tượng nhỏ. Cuối cùng, các quyết định triển khai đòi hỏi phải cân bằng giữa hiệu suất phát hiện với các hạn chế về phần cứng, yêu cầu về tốc độ và chi phí tổng thể.

Link to this sectionTổng kết lại: Cải thiện mAP của model trên các đối tượng nhỏ#

Việc cải thiện phát hiện đối tượng nhỏ cần một cách tiếp cận thực tế và có cấu trúc, đặc biệt là khi làm việc trong các môi trường thực tế. Dưới đây là tổng quan về các bước chính cần ghi nhớ:

• Kiểm tra chất lượng tập dữ liệu của bạn: Đảm bảo tập dữ liệu của bạn bao gồm đủ các ví dụ về đối tượng nhỏ, sử dụng hình ảnh có độ phân giải cao khi có thể và phản ánh các điều kiện mà model sẽ được triển khai.
• Xác minh tính nhất quán của chú thích: Đảm bảo các bbox chính xác, đầy đủ và được dán nhãn nhất quán. Các chú thích không nhất quán có thể hạn chế trực tiếp hiệu suất định vị.
• Điều chỉnh các cài đặt huấn luyện một cách có chủ ý: Điều chỉnh batch size, số lượng epochs và các cài đặt tối ưu hóa một cách chu đáo để các đối tượng nhỏ được thể hiện đúng cách trong quá trình huấn luyện.
• Lặp lại từng bước: Thực hiện các điều chỉnh có kiểm soát, đo lường tác động của chúng và tinh chỉnh cách tiếp cận của bạn. Việc lặp lại ổn định, dựa trên dữ liệu dẫn đến cải thiện nhất quán theo thời gian.

Link to this sectionCác điểm chính cần lưu ý#

Việc cải thiện mAP cho các đối tượng nhỏ cần một cách tiếp cận có cấu trúc, dựa trên dữ liệu thay vì các tinh chỉnh ngẫu nhiên. Những cải tiến thực tế đến từ việc kết hợp dữ liệu tốt, các chú thích nhất quán, quá trình huấn luyện cẩn thận và các phương pháp đánh giá phù hợp. Trong các dự án thực tế, việc thử nghiệm ổn định và các thay đổi nhỏ, có thể đo lường được là những gì dẫn đến việc phát hiện đối tượng nhỏ tốt hơn và đáng tin cậy hơn theo thời gian.

Hãy tham gia cộng đồng đang phát triển của chúng tôi và khám phá kho lưu trữ GitHub để tìm các tài nguyên AI thực tế. Để xây dựng ứng dụng với vision AI ngay hôm nay, hãy khám phá các tùy chọn cấp phép của chúng tôi. Tìm hiểu cách AI trong nông nghiệp đang chuyển đổi ngành nông nghiệp và cách vision AI trong robot đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.