Giới thiệu Ultralytics Agents: Xây dựng các workflow visual AI nhanh hơn

Huấn luyện một model thị giác máy tính mạnh mẽ chỉ là một phần của hành trình. Thách thức tiếp theo là quyết định điều gì nên xảy ra khi model đó đưa ra dự đoán: lưu hình ảnh, yêu cầu thêm ngữ cảnh, cảnh báo một nhóm, hoặc thu thập một ví dụ chưa chắc chắn để xem xét.

Trước đây, các nhóm thường xây dựng quá trình điều phối này bằng các script và tích hợp riêng biệt. Ultralytics Agents đưa quy trình này lên một bảng vẽ trực quan, giúp các nhóm biến các dự đoán thành các hành động thực tế với ít công sức phát triển tùy chỉnh hơn.

Có sẵn trong Ultralytics Platform, Agents kết nối hình ảnh, các model YOLO của Ultralytics, các bản triển khai, điều kiện, các model ngôn ngữ, tập dữ liệu và các hành động trong các quy trình làm việc trực quan có thể tái sử dụng.

Ultralytics Agents là gì?#

Agents cung cấp một phương pháp trực quan để thiết kế và chạy các quy trình làm việc thị giác máy tính. Thêm các khối vào bảng vẽ, kết nối từng bước và xác định điều gì nên xảy ra khi một hình ảnh đáp ứng một điều kiện cụ thể.

Một quy trình làm việc có thể sử dụng một model YOLO26 chính thức, một model được huấn luyện trong không gian làm việc của bạn hoặc một bản triển khai Platform hiện có. Quy trình đó sau đó có thể lọc các dự đoán theo số lượng lớp hoặc độ tin cậy, gửi các hình ảnh được chọn đến một model ngôn ngữ-thị giác, thu thập chúng vào một tập dữ liệu, thông báo đến một kênh Slack hoặc hiển thị kết quả.

Với Agents, bạn có thể:

• Xây dựng trực quan: Kết nối các model, điều kiện và hành động mà không cần thủ công tạo ra toàn bộ quy trình làm việc từ đầu.
• Tập trung sự chú ý: Chỉ xử lý những hình ảnh đáp ứng các tiêu chí bạn xác định.
• Kết hợp trí thông minh thị giác và ngôn ngữ: Sử dụng YOLO để xác định những gì quan trọng trước khi yêu cầu một model ngôn ngữ-thị giác cung cấp thêm ngữ cảnh.
• Biến dự đoán thành hành động: Lưu các hình ảnh có liên quan, gửi cảnh báo Slack có điều kiện hoặc chuyển kết quả sang bước quy trình làm việc tiếp theo.
• Kết nối thông tin chi tiết từ môi trường sản xuất với dữ liệu: Thu thập các hình ảnh không chắc chắn hoặc quan trọng để xem xét và phát triển model trong tương lai.
• Kiểm tra việc triển khai: Xem mã Python được tạo từ quy trình làm việc trực quan của bạn.

Thay vì dừng lại ở câu hỏi “Model đã phát hiện được gì?”, các nhóm có thể trả lời câu hỏi có giá trị hơn: “Điều gì nên xảy ra tiếp theo?”

Chuyển từ phát hiện sang ra quyết định#

Nhiều hệ thống AI thị giác yêu cầu nhiều công cụ và kết nối tùy chỉnh. Một model tạo ra các dự đoán, logic ứng dụng đánh giá các dự đoán đó, một hệ thống khác lưu trữ các đầu vào có liên quan và một tích hợp riêng biệt gửi các thông báo.

Agents đưa các bước này vào một quy trình làm việc trực quan duy nhất.

Ví dụ, một nhóm sản xuất có thể chạy một model kiểm tra đã được huấn luyện, kiểm tra xem một lỗi có đạt đến ngưỡng đã chọn hay không, lưu hình ảnh để xem xét và cảnh báo cho một kênh vận hành. Một nhóm hậu cần có thể thu thập các kết quả phát hiện có độ tin cậy thấp để xác định các khoảng trống trong dữ liệu huấn luyện của nhóm hậu cần đó. Một nhóm an toàn có thể sử dụng YOLO để phát hiện một người trong khu vực bị hạn chế trước khi yêu cầu một model ngôn ngữ-thị giác mô tả bối cảnh rộng hơn.

Quy trình làm việc tuân theo các điều kiện do người dùng thiết lập, giúp làm rõ lý do tại sao mỗi bước tiếp theo chạy hoặc không chạy.

Sử dụng đồng thời Ultralytics YOLO và các model ngôn ngữ-thị giác#

Các model YOLO rất hiệu quả trong việc định vị, phân loại và đếm các đối tượng trong hình ảnh. Các model ngôn ngữ-thị giác có thể bổ sung cách diễn giải bằng ngôn ngữ tự nhiên về bối cảnh trực quan rộng hơn.

Agents giúp kết hợp các khả năng này một cách hiệu quả. YOLO có thể đóng vai trò là bộ lọc đầu tiên, cho phép quy trình làm việc gọi một model ngôn ngữ-thị giác chỉ khi một hình ảnh đáp ứng điều kiện được yêu cầu.

Ví dụ, một quy trình làm việc có thể:

1. Chạy YOLO26 trên một hình ảnh.
2. Kiểm tra xem có ít nhất một người được phát hiện hay không.
3. Gửi các hình ảnh khớp đến một model ngôn ngữ-thị giác đã chọn.
4. Yêu cầu model đó mô tả khung cảnh.
5. Hiển thị mô tả kết quả.

Nếu điều kiện không được đáp ứng, bước mô tả sẽ không chạy. Điều này mang lại cho các nhóm quyền kiểm soát lớn hơn đối với những hình ảnh nào tiếp tục đi qua quy trình làm việc và thời điểm các lệnh gọi model bên ngoài được sử dụng.

Bắt đầu với một mẫu quy trình làm việc có thể chỉnh sửa#

Agents bao gồm các mẫu giúp các nhóm chuyển đổi nhanh chóng từ một ý tưởng sang một quy trình làm việc AI thị giác đang hoạt động.

• YOLO → VLM Monitor: Sử dụng YOLO để xác định các hình ảnh có liên quan trước khi yêu cầu một model ngôn ngữ-thị giác mô tả các hình ảnh đó.
• Collect Uncertain Detections: Lọc các dự đoán theo độ tin cậy và thu thập các hình ảnh không chắc chắn vào một tập dữ liệu để xem xét.
• Capture and Alert: Lưu một hình ảnh và gửi thông báo Slack khi một điều kiện phát hiện được đáp ứng.

Các mẫu cung cấp một điểm khởi đầu thực tế thay vì một giải pháp cố định. Các nhóm có thể chọn hình ảnh, model, bản triển khai, điều kiện, câu lệnh nhắc, tập dữ liệu đích và các tích hợp của riêng họ.

Người dùng cũng có thể kiểm tra mã Python được tạo bởi một quy trình làm việc, kết hợp tốc độ phát triển trực quan với tính minh bạch mà các nhóm kỹ thuật cần để hiểu rõ việc triển khai.

Đóng vòng lặp giữa việc triển khai và việc cải tiến model#

Hình ảnh trong thế giới thực có thể tiết lộ các điều kiện còn thiếu hoặc chưa được thể hiện đầy đủ trong quá trình huấn luyện. Môi trường mới, sự thay đổi về diện mạo đối tượng và các kết quả phát hiện không chắc chắn đều có thể cho thấy cơ hội cải thiện một model.

Agents giúp các nhóm biến các quan sát đó thành một vòng lặp dữ liệu có thể hành động:

1. Run các hình ảnh thông qua một model Ultralytics YOLO hoặc bản triển khai Platform.
2. Filter các kết quả bằng cách sử dụng các điều kiện về lớp hoặc độ tin cậy.
3. Collect các hình ảnh gốc được chọn vào một tập dữ liệu đích.
4. Review and annotate các hình ảnh trong Ultralytics Platform.
5. Retrain and redeploy bằng cách sử dụng dữ liệu được cung cấp thông tin từ các đầu vào trong thế giới thực.

Các hình ảnh được thu thập thông qua Agents sẽ đến dưới dạng chưa được gán nhãn trong tập huấn luyện của tập dữ liệu đích, sẵn sàng để xem xét trong trình chỉnh sửa chú thích. Các nhóm có thể dán nhãn các ví dụ có mục tiêu này và sử dụng chúng để định hướng cho lần lặp model tiếp theo.

Điều này tạo ra một con đường trực tiếp hơn từ việc xác định một ví dụ khó khăn đến việc chuẩn bị dữ liệu huấn luyện tốt hơn.

Xây dựng quy trình làm việc xoay quanh các kết quả trong thế giới thực#

Agents có thể hỗ trợ các quy trình làm việc trên nhiều ngành công nghiệp và trường hợp sử dụng:

• Manufacturing: Nắm bắt các lỗi có thể xảy ra để xem xét và thông báo cho các nhóm chất lượng khi các điều kiện được xác định được đáp ứng.
• Logistics: Thu thập các kết quả phát hiện không chắc chắn liên quan đến container, phương tiện hoặc thiết bị để cải thiện độ bao phủ của tập dữ liệu.
• Retail: Lọc hình ảnh dựa trên các lớp hoặc số lượng được phát hiện và gửi các kết quả có liên quan đến các hành động tiếp theo.
• Safety and security: Phát hiện người hoặc đối tượng trong các kịch bản được chỉ định trước khi yêu cầu thêm bối cảnh khung cảnh.
• Dataset development: Tìm các ví dụ có độ tin cậy thấp và tập hợp chúng thành một tập xem xét tập trung.

Mỗi quy trình làm việc có thể rẽ nhánh từ một điều kiện thành nhiều hành động. Ví dụ, cùng một hình ảnh khớp có thể được lưu vào một tập dữ liệu và kích hoạt một tin nhắn Slack, giúp các nhóm lưu giữ bằng chứng đồng thời thông báo cho những người chịu trách nhiệm xem xét hình ảnh đó.

Từ bản mẫu trực quan đến mã Python minh bạch#

Các trình xây dựng quy trình làm việc trực quan có thể đẩy nhanh quá trình thử nghiệm, nhưng các nhóm kỹ thuật cũng cần khả năng hiển thị về những gì đang chạy.

Agents cho phép người dùng kiểm tra mã Python được tạo từ một quy trình làm việc. Điều này kết nối tính dễ tiếp cận của một bảng vẽ trực quan với tính minh bạch mà các lập trình viên cần để hiểu rõ việc triển khai cơ bản.

Các nhóm có thể kiểm tra một quy trình làm việc nhỏ bằng bản dùng thử được chia sẻ hoặc chọn các tài nguyên triển khai Platform chuyên dụng cho các tập dữ liệu lớn hơn, thời gian chạy lâu hơn và các model không gian làm việc đã được huấn luyện.

Bắt đầu xây dựng với Agents#

Ultralytics Agents giúp các nhóm vượt ra ngoài các dự đoán cô lập và xây dựng các quy trình làm việc AI thị giác được kết nối. Bằng cách đưa YOLO, các model ngôn ngữ-thị giác, các điều kiện có thể cấu hình, các tập dữ liệu và các hành động lên một bảng vẽ duy nhất, Agents tạo ra một con đường nhanh hơn từ dự đoán đến kết quả thực tế.

Agents hiện có sẵn thông qua Early access. Chuyển sang không gian làm việc cá nhân của bạn và enable Early access trong phần Settings > Profile. Đây là một tùy chọn cá nhân, bao gồm cả khi bạn đang làm việc trong một không gian làm việc của nhóm.

Sau đó, open Agents từ thanh bên, bắt đầu với một mẫu hoặc xây dựng quy trình làm việc của riêng bạn trên Agents canvas. Khám phá các khối được hỗ trợ, các điều kiện, các tùy chọn thực thi và hướng dẫn thiết lập trong Ultralytics Agents documentation.