Cách chuyển các phát hiện YOLO thành cảnh báo mà không cần viết code bằng Ultralytics Agents
Chuyển các phát hiện của Ultralytics YOLO thành cảnh báo Slack, webhook và ảnh được thu thập vào dataset mà không cần viết code, bằng cách sử dụng điều kiện Gate trong Ultralytics Agents.
Miles Deans13 phút đọc
Bạn có thể chuyển các phát hiện của Ultralytics YOLO thành cảnh báo mà không cần viết code bằng cách xây dựng quy trình trực quan trong Ultralytics Agents, một phần của Ultralytics Platform. Kết nối ảnh với model YOLO, thêm Gate để kiểm tra kết quả mà model tìm thấy, rồi phân nhánh kết quả đến tin nhắn Slack, webhook hoặc dataset. Hướng dẫn này xây dựng quy trình đó từng bước từ template Capture and Alert, sau đó mở rộng để nối tiếp model thứ hai, lưu quy trình, chạy lại trên ảnh mới và xuất thành Python.
Bạn sẽ xây dựng gì#
Quy trình hoàn chỉnh kiểm tra ảnh bằng model YOLO26 và chỉ thực hiện ba việc sau khi phát hiện thấy người:
- Gửi tin nhắn Slack đến kênh đã kết nối của bạn, kèm theo kết quả phát hiện.
- Gửi webhook JSON đến endpoint HTTPS công khai được cấu hình để chấp nhận phần nội dung JSON bạn chọn, chẳng hạn như công cụ quản lý ticket hoặc dịch vụ nội bộ.
- Lưu ảnh vào dataset để bạn có thể gắn nhãn sau đó và huấn luyện lại model.
Agents kết nối ảnh, model, điều kiện và hành động dưới dạng các khối trên canvas, đồng thời khả dụng với mọi người dùng Ultralytics Platform đã đăng nhập trong không gian làm việc cá nhân và nhóm (tài liệu Agents). Quy trình chạy khi bạn nhấp Run trên ảnh, video hoặc dataset đã chọn; đây không phải dịch vụ giám sát camera liên tục. Để tìm hiểu tổng quan về Agents và lý do chúng tôi xây dựng sản phẩm này, hãy đọc Giới thiệu Ultralytics Agents.
Hướng dẫn này sử dụng Image → YOLO → Gate, trong đó Gate phân nhánh đến Slack, Webhook và Dataset đích. Để xem tài liệu tham chiếu đầy đủ về các khối và những mẫu quy trình khác, hãy xem tài liệu Agents.
Bước 1: Tải template Capture and Alert#
Mở Agents trong thanh bên Platform, nhấp Add block, chuyển sang Templates và chọn Capture and Alert. Khi tải template, các khối trên canvas hiện tại sẽ được thay thế và Platform sẽ yêu cầu bạn xác nhận trước.
Capture and Alert đã kết nối điều kiện phát hiện người với thao tác thu thập ảnh vào dataset và Slack; bạn sẽ cấu hình các đích này rồi thêm nhánh webhook bên dưới. Các template còn lại, YOLO → VLM Monitor và Collect Uncertain Detections, là những điểm khởi đầu có thể chỉnh sửa để mô tả cảnh và xây dựng dataset cần xem xét.
Bước 2: Chọn ảnh đầu vào#
Chọn khối Input image và chọn một ảnh có người, bằng cách tải ảnh lên hoặc chọn ảnh từ dataset đã tải lên. Trong lần chạy thử nghiệm dùng chung đầu tiên này, hãy sử dụng ảnh có kích thước tối đa 4 megapixel. Các tệp đã tải lên sẽ nằm trong trình duyệt cho đến khi bạn chạy quy trình và bị xóa nếu bạn tải lại trang. Để xử lý nhiều ảnh, hãy thay khối Image bằng khối Dataset, chọn dataset nguồn và tập con, đặt giới hạn đầu vào rồi kết nối khối đó với khối YOLO.
Bước 3: Chọn model YOLO và độ tin cậy#
Chọn khối Detect people. Template sử dụng YOLO26 nano (yolo26n), là model được dùng trong lần chạy thử nghiệm dùng chung. Để sử dụng model YOLO chính thức khác hoặc model được huấn luyện trong không gian làm việc của bạn, chẳng hạn bộ phát hiện lỗi hoặc PPE tùy chỉnh, hãy chọn model đó trong Model ở khối này và chọn một deployment chuyên dụng để thực thi quy trình ở Bước 7. Cài đặt Minimum detection confidence loại bỏ các phát hiện có độ tin cậy thấp hơn trước khi chạy bất kỳ điều kiện nào, vì vậy hãy giảm giá trị này nếu bạn muốn quy trình phản hồi với các phát hiện kém chắc chắn hơn.
Bước 4: Đặt điều kiện trong khối Gate#
Khối Gate quyết định liệu các bước tiếp theo có chạy hay không. Trong Capture and Alert, chọn khối Person detected và xác nhận các cài đặt:
- Mode: Condition
- Detection model: Detect people
- Measure: Số lượng phát hiện
- Class name: person
- Condition: Lớn hơn hoặc bằng
- Compare with: 1
Đổi tên lớp cho khớp với các lớp của model hoặc dùng * để áp dụng cho mọi lớp. Bạn cũng có thể đo độ tin cậy của phát hiện thay vì số lượng; đặt độ tin cậy tối thiểu của khối YOLO đủ thấp để giữ lại các phát hiện bạn muốn đánh giá. Điều kiện độ tin cậy đạt khi có ít nhất một phát hiện khớp, vì vậy ảnh có điểm số 0.3 và 0.9 sẽ đạt điều kiện trong phạm vi từ 0.25 đến 0.5, còn ảnh không có phát hiện nào sẽ không bao giờ đạt điều kiện độ tin cậy. Khi điều kiện không khớp, các hành động được kết nối với điều kiện đó sẽ không chạy cho ảnh đó.
Bước 5: Cấu hình Slack và webhook#
Slack. Kết nối Slack một lần trong Settings > Integrations (quản trị viên hoặc chủ sở hữu không gian làm việc thực hiện việc này trong không gian làm việc nhóm), rồi chỉnh sửa tin nhắn của khối Notify Slack. Dùng {output} để đưa kết quả từ bước trước vào, như trong Person detected: {output} của template. Các tin nhắn quy trình này tách biệt với thông báo huấn luyện và deployment của Platform (tài liệu tích hợp Slack).
Webhook. Nhấp Add block, chọn Webhook trong tab Blocks, rồi kết nối đầu ra của Person detected với khối này, giữ nguyên các kết nối Slack và dataset hiện có. Nhập URL đích HTTPS công khai được cấu hình để chấp nhận nội dung JSON của bạn, chẳng hạn {"text": "{output}"}. Platform gửi một yêu cầu POST cho mỗi kết quả cùng với Content-Type: application/json. Nội dung có thể dài tối đa 10.000 ký tự, hệ thống không theo các chuyển hướng, kết nối hết thời gian chờ sau 5 giây và phản hồi không thuộc nhóm 2xx sẽ khiến khối thất bại. Khối Webhook là khối cuối, nên không chuyển tiếp kết quả đến bước tiếp theo trong quy trình.
Một đầu ra Gate có thể kết nối cùng lúc với nhiều khối, vì vậy Slack, webhook và dataset đều sử dụng cùng một điều kiện đã được đánh giá. Khối thất bại sẽ hiển thị viền đỏ.
Bước 6: Lưu các ảnh khớp để huấn luyện lại#
Chọn khối Captured images và chọn một dataset hiện có mà bạn có thể chỉnh sửa; nếu cần, hãy tạo dataset trước bằng hướng dẫn tạo dataset. Không thể dùng dataset được kết nối với bộ nhớ đám mây hoặc tại chỗ làm đích lưu trữ, và các hạn mức lưu trữ dataset thông thường vẫn được áp dụng. Ảnh khớp được thêm vào tập huấn luyện của dataset mà không có nhãn, còn những ảnh đã có trong dataset sẽ được bỏ qua. Mở dataset trong trình chỉnh sửa chú thích để xem xét và gắn nhãn các ảnh đã thu thập, sau đó sử dụng chúng trong lần chạy huấn luyện Platform tiếp theo.
Bước 7: Chạy, lưu và chạy lại trên ảnh mới#
Chọn nơi chạy bên cạnh nút Run:
| Lựa chọn | Dùng cho | Hạn chế |
|---|---|---|
| Chạy thử nghiệm dùng chung · 60 giây | Thử một quy trình nhỏ | Tối đa 60 giây, 20 ảnh đầu vào với kích thước tối đa 4 megapixel mỗi ảnh, 20 lần gọi model hoặc nhà cung cấp và ba lần chạy mỗi phút; một model YOLO cục bộ, sử dụng model YOLO26 nano chính thức |
| Deployment chuyên dụng hiện có | Dataset lớn hơn và thời gian chạy dài hơn | Sử dụng phần cứng và mức giá của deployment đó, không có giới hạn tổng thể về thời lượng quy trình hoặc số lượng ảnh; các giới hạn hiện có của deployment và nhà cung cấp vẫn được áp dụng |
| Deployment mới | Tạo phần cứng chuyên dụng từ trình tạo | Mở hộp thoại tạo deployment và định giá; hãy đợi deployment sẵn sàng trước khi chạy |
Một quy trình có thể có tối đa 20 khối. Các hành động Slack và webhook được tính là lần gọi model hoặc nhà cung cấp, còn việc phân nhánh có thể làm tăng số lần gọi trên mỗi ảnh. Khi quy trình đang chạy, các khối sẽ hiển thị tiến độ và bạn có thể nhấp Stop để hủy.
Sau khi cấu hình đầu vào và các đích, hãy nhấp Run. Kiểm tra kết quả của các khối, sau đó kiểm tra kênh Slack đã kết nối, webhook nhận dữ liệu và dataset đích. Nếu không có hành động nào chạy, hãy kiểm tra xem YOLO có phát hiện người hay không và điều kiện Gate có khớp hay không; nếu điều kiện không khớp, các hành động được kết nối sẽ không được thực thi.
Nhấp Save workflow để đặt tên cho quy trình và mở lại sau này từ Open workflow. Để chạy lại trên dữ liệu mới, hãy mở quy trình đã lưu, chọn ảnh mới hoặc dataset khác rồi nhấp Run lần nữa. Việc lưu không lên lịch chạy.
Bước 8: Nối tiếp model thứ hai#
Để trả lời câu hỏi “đang xảy ra chuyện gì?” bên cạnh “có người không?”, hãy thêm khối LLM, kết nối Gate với khối này, rồi kết nối LLM với khối Output mới theo mẫu của template YOLO → VLM Monitor. Gate đánh giá các phát hiện của YOLO, còn model ngôn ngữ-thị giác chỉ mô tả những ảnh vượt qua điều kiện. Trong khối LLM, chọn model ngôn ngữ-thị giác và nhập prompt, sau đó thêm khóa của nhà cung cấp tương ứng trong Settings > API Keys (trong không gian làm việc nhóm, chủ sở hữu không gian làm việc thêm khóa). Việc sử dụng model ngôn ngữ được tính phí bởi nhà cung cấp đó. Để chuyển một bước dự đoán qua model bạn đã triển khai, hãy dùng khối Deployment, khối này gọi một deployment Platform hiện có và đã sẵn sàng.
Bước 9: Xuất quy trình thành Python hoặc quản lý bằng API#
Nhấp Python để xem code quy trình được tạo. Để chạy cục bộ, hãy cài đặt các gói ultralytics và ultralytics-platform, thiết lập mọi khóa nhà cung cấp trong môi trường rồi chọn đầu vào nguồn. Các nhóm quản lý quy trình bằng code có thể dùng API Agents, được cung cấp trong Python SDK dưới dạng client.agents (ultralytics-platform>=0.1.74), để liệt kê, lưu và xóa agent. Để bắt đầu chạy trên Platform, hãy mở quy trình đã lưu trên canvas và nhấp Run.
Khi nào nên dùng giải pháp khác#
Agents phù hợp với các tác vụ kiểm tra ảnh, clip video và dataset theo sự kiện mà bạn chủ động chạy. Các phương pháp khác phù hợp với những công việc khác:
- Viết bằng Python. Để xử lý liên tục luồng video từ camera trực tiếp, hãy xây dựng pipeline bằng code với package Python của Ultralytics; hướng dẫn hệ thống báo động an ninh của chúng tôi trình bày một dự án cảnh báo dựa trên code được xây dựng với Ultralytics YOLO26.
- Pipeline video nhiều luồng. NVIDIA mô tả DeepStream là bộ công cụ phân tích luồng với framework dựa trên GStreamer, dùng để xây dựng pipeline suy luận nhiều luồng, nhiều model trên GPU NVIDIA.
- Công cụ tự động hóa đa dụng. Node-RED tự mô tả là công cụ lập trình dựa trên luồng với trình chỉnh sửa luồng trên trình duyệt, dành cho các nhóm xây dựng hệ thống tự động hóa rộng hơn ngoài thị giác máy tính.
Câu hỏi thường gặp
Ultralytics Agents trong Ultralytics Platform cho phép bạn nối tiếp model YOLO, deployment Platform và model ngôn ngữ-thị giác dưới dạng các khối trên canvas trực quan. Một mẫu phổ biến là YOLO → Gate → LLM, trong đó YOLO lọc ảnh và model ngôn ngữ-thị giác chỉ mô tả những ảnh vượt qua điều kiện.
Ultralytics Agents kết hợp model phát hiện YOLO với khối Gate, áp dụng quy tắc dựa trên số lượng phát hiện, độ tin cậy và lớp, cùng các hành động Slack, webhook và dataset. Các nhóm xây dựng quy trình từ template mà không cần viết code và có thể xuất quy trình thành Python sau đó.
Trong Ultralytics Agents, hãy kết nối khối Gate với khối Webhook. Webhook chỉ được kích hoạt khi điều kiện khớp, gửi một yêu cầu POST JSON cho mỗi kết quả đến endpoint HTTPS công khai, trong đó
{output}được thay bằng kết quả phát hiện.Ultralytics Agents gửi tin nhắn Slack từ một khối Slack được kết nối với điều kiện, chẳng hạn như “số lượng person ≥ 1”. Kết nối Slack một lần trong Settings > Integrations, sau đó sử dụng template Capture and Alert.
Ultralytics Agents lưu quy trình theo tên. Mở quy trình đã lưu, chọn ảnh hoặc dataset mới làm đầu vào rồi nhấp Run. Các lần chạy trên deployment chuyên dụng không có giới hạn tổng thể về thời lượng quy trình hoặc số lượng ảnh, nhưng các giới hạn hiện có của deployment và nhà cung cấp vẫn được áp dụng.
Ultralytics Agents là công cụ xây dựng quy trình thị giác máy tính không cần code trong Ultralytics Platform, với các template có thể chỉnh sửa để kết nối phát hiện của Ultralytics YOLO với điều kiện, cảnh báo Slack, webhook và thao tác thu thập ảnh vào dataset. Tính năng chạy thử nghiệm dùng chung cho phép chạy quy trình nhỏ mà không cần tạo deployment. Các hành động Slack cần có kênh Slack đã kết nối, còn các bước dùng model ngôn ngữ-thị giác cần khóa nhà cung cấp tương ứng.
Không. Quy trình chạy khi bạn nhấp Run trên ảnh, video hoặc dataset đã chọn, và việc lưu quy trình không lên lịch chạy. Muốn giám sát camera liên tục, cần một triển khai riêng dựa trên code hoặc xử lý luồng.
Được viết bởi
Bình luận
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
