Phát hiện bất thường

Cách thức hoạt động của phát hiện bất thường

Các kỹ thuật phát hiện dị thường phân tích dữ liệu để thiết lập đường cơ sở của trạng thái bình thường. Bất kỳ thứ gì nằm ngoài đường cơ sở này đều được đánh dấu là dị thường. Các phương pháp được sử dụng có thể bao gồm từ các phương pháp thống kê đơn giản, như xác định các điểm xa giá trị trung bình, đến các mô hình học sâu phức tạp có khả năng hiểu các mẫu phức tạp trong dữ liệu đa chiều. Các phương pháp chính bao gồm:

• Học có giám sát : Yêu cầu một tập dữ liệu được gắn nhãn chứa cả ví dụ bình thường và bất thường. Mặc dù hiệu quả, việc thu thập dữ liệu bất thường được gắn nhãn có thể là một thách thức vì các bất thường thường hiếm và không mong đợi.
• Học bán giám sát : Đào tạo trên một tập dữ liệu chỉ chứa dữ liệu bình thường. Mô hình học các mẫu bình thường và bất kỳ điểm dữ liệu nào không tuân thủ đều được coi là bất thường. Điều này hữu ích khi các bất thường đa dạng hoặc không được xác định rõ ràng.
• Học không giám sát : Không yêu cầu dữ liệu được gắn nhãn. Nó sử dụng các kỹ thuật như phân cụm (ví dụ: DBSCAN ) hoặc giảm chiều (ví dụ: PCA ) để xác định các điểm dữ liệu bị cô lập hoặc khác biệt so với phần lớn. Bộ mã hóa tự động cũng thường được sử dụng ở đây.

Phát hiện dị thường so với các khái niệm liên quan

Mặc dù liên quan đến các nhiệm vụ phân tích dữ liệu khác, phát hiện bất thường có các mục tiêu riêng biệt:

• Phát hiện đối tượng : Nhằm mục đích xác định và định vị các trường hợp đối tượng đã biết (như ô tô, người) trong một hình ảnh bằng cách sử dụng các hộp giới hạn . Phát hiện bất thường, đặc biệt là trong thị giác máy tính , tập trung vào việc xác định các mẫu hình ảnh hoặc khiếm khuyết bất ngờ không phù hợp với chuẩn mực, có thể không tương ứng với các lớp đối tượng được xác định trước.
• Phân loại hình ảnh : Gán một nhãn duy nhất cho toàn bộ hình ảnh (ví dụ: 'mèo' hoặc 'chó'). Phát hiện bất thường có thể hoạt động trên nhiều loại dữ liệu khác nhau (hình ảnh, chuỗi thời gian, nhật ký mạng) và xác định các trường hợp hoặc mẫu cụ thể trong dữ liệu là bất thường, thay vì phân loại toàn bộ điểm dữ liệu.
• Phát hiện giá trị ngoại lệ: Thường được sử dụng thay thế cho phát hiện bất thường. Tuy nhiên, "giá trị ngoại lệ" thường đề cập đến một điểm dữ liệu có khoảng cách thống kê xa so với các điểm khác, trong khi "giá trị bất thường" có thể bao gồm các độ lệch phức tạp hơn, bao gồm các mẫu bất thường hoặc các bất thường theo ngữ cảnh có thể không phải là giá trị ngoại lệ thống kê đơn giản.

Ứng dụng trong thế giới thực

Phát hiện bất thường có vai trò quan trọng trong nhiều lĩnh vực:

• Kiểm soát chất lượng sản xuất : Xác định các khuyết tật như vết nứt, vết xước hoặc sai lệch trong sản phẩm trên dây chuyền lắp ráp bằng hệ thống thị giác. Ví dụ, phát hiện các vết nứt nhỏ trong các bộ phận máy bay hoặc nhãn in không đúng trên các sản phẩm dược phẩm .
• An ninh mạng : Phát hiện các mẫu lưu lượng mạng bất thường, các nỗ lực đăng nhập hoặc hành vi hệ thống có thể chỉ ra sự xâm nhập, nhiễm phần mềm độc hại hoặc các cuộc tấn công từ chối dịch vụ. Hệ thống báo động an ninh có thể tận dụng phát hiện bất thường để đánh dấu các hoạt động đáng ngờ.
• Phát hiện gian lận tài chính : Xác định các giao dịch thẻ tín dụng trái phép, hoạt động giao dịch bất thường hoặc yêu cầu bảo hiểm khác với hành vi thông thường của khách hàng.
• Phân tích hình ảnh y tế và chăm sóc sức khỏe : Phát hiện các bất thường trong các lần quét y tế (như chụp X-quang hoặc MRI) có thể chỉ ra khối u hoặc bệnh tật, thường hỗ trợ các bác sĩ X-quang. Sử dụng YOLO11 để phát hiện khối u là một ví dụ.
• Giám sát tình trạng hệ thống: Phát hiện các số liệu hiệu suất bất thường trong hệ thống CNTT ( CPU sử dụng, rò rỉ bộ nhớ) hoặc máy móc công nghiệp ( bảo trì dự đoán ) để ngăn ngừa hỏng hóc.
• Giám sát môi trường : Xác định các sự kiện ô nhiễm, nạn phá rừng trái phép thông qua phân tích hình ảnh vệ tinh hoặc những thay đổi bất thường trong hệ sinh thái.

Công cụ và công nghệ

Phát triển hệ thống phát hiện dị thường thường liên quan đến các thư viện ML chuẩn và các nền tảng chuyên biệt. Các khuôn khổ như PyTorch và TensorFlow cung cấp các công cụ cơ bản để xây dựng các mô hình tùy chỉnh. Đối với các tác vụ dựa trên tầm nhìn, các mô hình như Ultralytics YOLO có thể được điều chỉnh. Trong khi được đào tạo trước YOLO Các mô hình vượt trội trong việc phát hiện các đối tượng phổ biến, chúng có thể được đào tạo tùy chỉnh trên các tập dữ liệu cụ thể để xác định các bất thường cụ thể theo miền, chẳng hạn như các khiếm khuyết duy nhất hoặc các mẫu hình ảnh bất thường không được bao phủ bởi các tập dữ liệu như COCO . Các nền tảng như Ultralytics HUB cung cấp các môi trường tích hợp để đào tạo đám mây , triển khai ( các tùy chọn triển khai mô hình ) và quản lý các mô hình như vậy một cách hiệu quả bằng các công cụ như Ultralytics HUB SDK . Các thư viện như Scikit-learn cũng cung cấp nhiều thuật toán khác nhau để phát hiện ngoại lệ và bất thường.

Phát hiện dị thường là một khả năng quan trọng trong AI và ML hiện đại, cho phép chủ động xác định các vấn đề quan trọng và sai lệch trong nhiều ngành. Khám phá thêm về các khái niệm liên quan trong Thuật ngữ Ultralytics của chúng tôi.