Phát hiện dị thường

Phát hiện dị thường là một kỹ thuật được sử dụng trong Học Máy (ML) để xác định các mục, sự kiện hoặc quan sát hiếm gặp, làm dấy lên nghi ngờ do khác biệt đáng kể so với phần lớn dữ liệu. Các trường hợp không phù hợp này được gọi là dị thường, ngoại lệ hoặc điểm mới. Mục tiêu chính là tự động phân biệt các điểm dữ liệu bình thường với các điểm dữ liệu bất thường. Khả năng này rất quan trọng trong nhiều lĩnh vực, vì nó cho phép chủ động xác định các vấn đề như hỏng hóc thiết bị, gian lận tài chính, vi phạm an ninh và các vấn đề y tế. Trong bối cảnh của Thị Giác Máy Tính (CV), phát hiện dị thường liên quan đến việc tìm kiếm các mẫu hoặc đối tượng bất thường trong hình ảnh và video không tuân theo hành vi dự kiến.

So sánh giữa Phát hiện dị thường và Phát hiện đối tượng

Điều quan trọng là phải phân biệt phát hiện dị thường với phát hiện đối tượng.

• Phát hiện đối tượng: Tác vụ này tập trung vào việc xác định và định vị các thể hiện của các lớp đối tượng đã biết trong một hình ảnh. Ví dụ: một mô hình phát hiện đối tượng được huấn luyện để tìm tất cả ô tô, người đi bộ và biển báo giao thông trong một hình ảnh đường phố. Mô hình biết những gì nó đang tìm kiếm dựa trên các danh mục được xác định trước trong dữ liệu huấn luyện của nó.
• Phát hiện bất thường: Tác vụ này là về việc xác định bất cứ điều gì khác biệt so với định nghĩa "bình thường" đã được học. Trong nhiều trường hợp, hệ thống không biết trước bất thường sẽ trông như thế nào. Ví dụ: nó có thể được huấn luyện trên hàng nghìn hình ảnh sản phẩm hoàn hảo và được giao nhiệm vụ gắn cờ bất kỳ sự không hoàn hảo nào, cho dù đó là vết trầy xước, vết lõm hay sự đổi màu—các loại khuyết tật mà nó có thể chưa từng thấy trước đây.

Mặc dù một mô hình như Ultralytics YOLO có thể được huấn luyện tùy chỉnh để thực hiện một phiên bản phát hiện bất thường bằng cách coi các khuyết tật cụ thể là đối tượng, nhưng các phương pháp cơ bản khác nhau. Phát hiện đối tượng truyền thống yêu cầu các ví dụ về mọi lớp mà nó phải tìm, trong khi nhiều phương pháp phát hiện bất thường chỉ yêu cầu dữ liệu đại diện cho trạng thái bình thường.

Các phương pháp phát hiện bất thường

Các kỹ thuật phát hiện dị thường có thể được phân loại rộng rãi dựa trên tính khả dụng của nhãn trong tập dữ liệu:

• Học có giám sát (Supervised Learning): Phương pháp này yêu cầu một bộ dữ liệu đã được gắn nhãn với cả các ví dụ "bình thường" và "dị thường". Một mô hình phân loại được huấn luyện để phân biệt giữa hai loại. Phương pháp này rất hiệu quả nhưng bị giới hạn bởi nhu cầu về một bộ dữ liệu lớn và được gắn nhãn tốt, điều này có thể khó có được vì các dị thường, theo định nghĩa, là rất hiếm.
• Học Bán Giám Sát: Đây là phương pháp phổ biến nhất, trong đó mô hình chỉ được huấn luyện trên một tập dữ liệu các ví dụ bình thường. Hệ thống học các mẫu bình thường và gắn cờ bất kỳ điểm dữ liệu nào lệch khỏi mô hình đã học này là bất thường. Điều này rất thiết thực cho các tình huống mà các bất thường rất đa dạng và khó đoán.
• Học không giám sát (Unsupervised Learning): Phương pháp này hoạt động mà không cần bất kỳ nhãn nào. Nó hoạt động dựa trên giả định rằng các điểm bất thường là rất ít và khác biệt so với các điểm dữ liệu bình thường. Các thuật toán như phân cụm (ví dụ: DBSCAN) hoặc các phương pháp thống kê được sử dụng để nhóm các điểm dữ liệu, với các điểm bị cô lập hoặc các cụm nhỏ được xác định là các điểm bất thường. Tổng quan toàn diện về các phương pháp khác nhau có thể được tìm thấy trong các khảo sát học thuật về chủ đề này, chẳng hạn như "Học sâu để phát hiện bất thường: Một khảo sát".

Các Ứng dụng Thực tế

Phát hiện dị thường là nền tảng của nhiều hệ thống thông minh, cung cấp những hiểu biết quan trọng trong nhiều ngành công nghiệp.

1. Kiểm soát chất lượng sản xuất: Trên dây chuyền lắp ráp, hệ thống thị giác máy tính có thể giám sát sản phẩm theo thời gian thực. Một mô hình được huấn luyện trên hình ảnh các sản phẩm hoàn hảo có thể ngay lập tức phát hiện các lỗi như vết nứt, lệch lạc hoặc thiếu linh kiện. Quá trình kiểm tra tự động này, thường được ứng dụng trong sản xuất thông minh, giúp cải thiện chất lượng và giảm thiểu lãng phí hiệu quả hơn nhiều so với kiểm tra thủ công.
2. An ninh và Giám sát: Trong không gian công cộng hoặc các cơ sở an ninh, hệ thống giám sát hỗ trợ bởi AI có thể phát hiện các sự kiện bất thường. Ví dụ: xác định một chiếc xe đang đi ngược chiều, phát hiện một chiếc túi bị bỏ quên ở sân bay hoặc gắn cờ truy cập trái phép vào khu vực hạn chế. Các hệ thống này có thể cung cấp cảnh báo theo thời gian thực cho nhân viên an ninh.
3. AI trong chăm sóc sức khỏe (AI in Healthcare): Phát hiện dị thường giúp ích trong phân tích hình ảnh y tế (medical image analysis) bằng cách làm nổi bật các tế bào có khả năng ung thư trong ảnh chụp hoặc xác định nhịp tim không đều từ dữ liệu ECG.
4. Phát hiện gian lận tài chính: Các ngân hàng và tổ chức tài chính sử dụng tính năng phát hiện bất thường để theo dõi các luồng giao dịch và xác định các mẫu có dấu hiệu hoạt động gian lận, chẳng hạn như những mẫu được tìm thấy trong các bộ dữ liệu công khai như bộ dữ liệu Phát hiện gian lận thẻ tín dụng trên Kaggle.
5. An ninh mạng: Lưu lượng mạng được giám sát để phát hiện các mẫu bất thường có thể báo hiệu một cuộc tấn công mạng hoặc vi phạm dữ liệu. Các tổ chức như Cơ quan An ninh mạng và Cơ sở hạ tầng (CISA) nhấn mạnh các biện pháp chủ động như vậy.

Công Cụ và Công nghệ

Phát triển các hệ thống phát hiện bất thường mạnh mẽ thường bao gồm sự kết hợp của các thư viện ML tiêu chuẩn và các nền tảng chuyên dụng.

• Framework: PyTorch và TensorFlow cung cấp các công cụ nền tảng để xây dựng và huấn luyện các mô hình học sâu tùy chỉnh.
• Thư viện: Đối với các tác vụ không liên quan đến thị giác máy tính, các thư viện như Scikit-learn cung cấp một mô-đun chuyên dụng để phát hiện ngoại lệ và dị thường với nhiều thuật toán khác nhau.
• Nền tảng: Ultralytics HUB cung cấp một môi trường tích hợp giúp hợp lý hóa toàn bộ vòng đời mô hình, từ huấn luyện dựa trên đám mây đến các tùy chọn triển khai mô hình khác nhau, đơn giản hóa việc phát triển các ứng dụng Vision AI.