Phát hiện bất thường

Phát hiện dị thường là một kỹ thuật được sử dụng trong Học máy (ML) để xác định các mục, sự kiện hoặc quan sát hiếm gặp gây nghi ngờ do khác biệt đáng kể so với phần lớn dữ liệu. Những trường hợp không phù hợp này được gọi là dị thường, ngoại lệ hoặc mới lạ. Mục tiêu chính là tự động phân biệt các điểm dữ liệu bình thường với các điểm bất thường. Khả năng này rất quan trọng trong nhiều lĩnh vực, vì nó cho phép chủ động xác định các vấn đề như lỗi thiết bị, gian lận tài chính, vi phạm an ninh và các vấn đề y tế. Trong bối cảnh Thị giác Máy tính (CV) , phát hiện dị thường liên quan đến việc tìm kiếm các mẫu hoặc đối tượng bất thường trong hình ảnh và video không tuân theo hành vi dự kiến.

Phát hiện dị thường so với phát hiện đối tượng

Điều quan trọng là phải phân biệt phát hiện dị thường với phát hiện đối tượng .

• Phát hiện Đối tượng : Nhiệm vụ này tập trung vào việc xác định và định vị các trường hợp của các lớp đối tượng đã biết trong một hình ảnh. Ví dụ: một mô hình phát hiện đối tượng được huấn luyện để tìm tất cả ô tô, người đi bộ và biển báo giao thông trong một hình ảnh chế độ xem phố. Mô hình biết mình đang tìm kiếm điều gì dựa trên các danh mục được xác định trước trong dữ liệu huấn luyện .
• Phát hiện Bất thường : Nhiệm vụ này liên quan đến việc xác định bất kỳ điều gì khác biệt so với định nghĩa "bình thường" đã được học. Trong nhiều trường hợp, hệ thống không biết trước được sự bất thường sẽ trông như thế nào. Ví dụ, hệ thống có thể được huấn luyện trên hàng ngàn hình ảnh sản phẩm hoàn hảo và được giao nhiệm vụ đánh dấu bất kỳ khuyết điểm nào, dù là vết xước, vết lõm hay sự đổi màu - những loại khuyết điểm mà hệ thống có thể chưa từng thấy trước đây.

Mặc dù một mô hình như Ultralytics YOLO có thể được đào tạo tùy chỉnh để thực hiện một phiên bản phát hiện bất thường bằng cách xử lý các khiếm khuyết cụ thể như các đối tượng, nhưng các phương pháp cơ bản lại khác nhau. Phát hiện đối tượng truyền thống yêu cầu các ví dụ cho mọi lớp mà nó phải tìm, trong khi nhiều phương pháp phát hiện bất thường chỉ yêu cầu dữ liệu đại diện cho trạng thái bình thường.

Phương pháp phát hiện dị thường

Các kỹ thuật phát hiện dị thường có thể được phân loại rộng rãi dựa trên tính khả dụng của nhãn trong tập dữ liệu :

• Học có giám sát : Phương pháp này yêu cầu một tập dữ liệu được gắn nhãn với cả mẫu "bình thường" và "bất thường". Một mô hình phân loại được huấn luyện để phân biệt hai mẫu này. Phương pháp này rất hiệu quả nhưng bị hạn chế bởi nhu cầu về một tập dữ liệu lớn và được gắn nhãn tốt, vốn khó có thể đạt được vì theo định nghĩa, các bất thường rất hiếm.
• Học bán giám sát : Đây là phương pháp phổ biến nhất, trong đó mô hình chỉ được huấn luyện trên một tập dữ liệu các ví dụ chuẩn. Hệ thống học các mẫu chuẩn và đánh dấu bất kỳ điểm dữ liệu nào lệch khỏi mô hình đã học này là bất thường. Phương pháp này rất hữu ích cho các tình huống mà các bất thường đa dạng và không thể đoán trước.
• Học không giám sát : Phương pháp này hoạt động mà không cần bất kỳ nhãn nào. Nó hoạt động dựa trên giả định rằng các điểm bất thường rất ít và khác biệt so với các điểm dữ liệu bình thường. Các thuật toán như phân cụm (ví dụ: DBSCAN ) hoặc các phương pháp thống kê được sử dụng để nhóm các điểm dữ liệu, với các điểm riêng lẻ hoặc cụm nhỏ được xác định là điểm bất thường. Tổng quan toàn diện về các phương pháp khác nhau có thể được tìm thấy trong các khảo sát học thuật về chủ đề này, chẳng hạn như " Học sâu để phát hiện bất thường: Một khảo sát ".

Ứng dụng trong thế giới thực

Phát hiện bất thường là nền tảng của nhiều hệ thống thông minh, cung cấp thông tin chi tiết quan trọng trong nhiều ngành.

1. Kiểm soát Chất lượng Sản xuất : Trên dây chuyền lắp ráp, hệ thống thị giác máy tính có thể giám sát sản phẩm theo thời gian thực. Một mô hình được đào tạo dựa trên hình ảnh của các sản phẩm hoàn hảo có thể ngay lập tức phát hiện các lỗi như vết nứt, sai lệch hoặc thiếu linh kiện. Việc kiểm tra tự động này, thường được áp dụng trong sản xuất thông minh , giúp cải thiện chất lượng và giảm thiểu lãng phí hiệu quả hơn nhiều so với kiểm tra thủ công.
2. An ninh và Giám sát : Tại các không gian công cộng hoặc cơ sở an ninh, hệ thống giám sát sử dụng AI có thể phát hiện các sự kiện bất thường. Ví dụ như xác định phương tiện chạy ngược chiều giao thông, phát hiện hành lý bị bỏ quên tại sân bay hoặc cảnh báo hành vi xâm nhập trái phép vào khu vực hạn chế. Các hệ thống này có thể cung cấp cảnh báo theo thời gian thực cho nhân viên an ninh.
3. AI trong chăm sóc sức khỏe : Phát hiện bất thường giúp phân tích hình ảnh y tế bằng cách làm nổi bật các tế bào có khả năng gây ung thư trong quá trình quét hoặc xác định nhịp tim không đều từ dữ liệu điện tâm đồ.
4. Phát hiện gian lận tài chính : Các ngân hàng và tổ chức tài chính sử dụng tính năng phát hiện bất thường để theo dõi luồng giao dịch và xác định các mô hình biểu thị hoạt động gian lận, chẳng hạn như các mô hình được tìm thấy trong các tập dữ liệu công khai như tập dữ liệu Phát hiện gian lận thẻ tín dụng trên Kaggle .
5. An ninh mạng : Lưu lượng mạng được giám sát để phát hiện các dấu hiệu bất thường có thể báo hiệu một cuộc tấn công mạng hoặc vi phạm dữ liệu. Các tổ chức như Cơ quan An ninh mạng và Cơ sở hạ tầng (CISA) nhấn mạnh các biện pháp chủ động như vậy.

Công cụ và công nghệ

Việc phát triển các hệ thống phát hiện dị thường mạnh mẽ thường liên quan đến sự kết hợp giữa các thư viện ML tiêu chuẩn và các nền tảng chuyên dụng.

• Khung : PyTorch và TensorFlow cung cấp các công cụ nền tảng để xây dựng và đào tạo các mô hình học sâu tùy chỉnh.
• Thư viện : Đối với các tác vụ không liên quan đến thị giác, các thư viện như Scikit-learn cung cấp một mô-đun chuyên dụng để phát hiện giá trị ngoại lai và bất thường bằng nhiều thuật toán khác nhau.
• Nền tảng : Ultralytics HUB cung cấp một môi trường tích hợp giúp hợp lý hóa toàn bộ vòng đời mô hình, từ đào tạo trên nền tảng đám mây đến nhiều tùy chọn triển khai mô hình khác nhau, giúp đơn giản hóa quá trình phát triển các ứng dụng Vision AI .