Giới thiệu Ultralytics Agents: Xây dựng quy trình AI thị giác nhanh hơn

Huấn luyện model thị giác máy tính mạnh mẽ chỉ là một phần của hành trình. Thử thách tiếp theo là quyết định cần làm gì khi model đưa ra dự đoán: lưu ảnh, yêu cầu thêm ngữ cảnh, cảnh báo một nhóm hay thu thập ví dụ chưa chắc chắn để xem xét.

Trước đây, các nhóm xây dựng quy trình điều phối này bằng những script và tích hợp riêng biệt. Ultralytics Agents đưa quy trình đó lên một canvas trực quan, giúp các nhóm chuyển dự đoán thành hành động thiết thực với ít công sức phát triển tùy chỉnh hơn.

Có trong Ultralytics Platform, Agents kết nối ảnh, model Ultralytics YOLO, lượt triển khai, điều kiện, model ngôn ngữ, dataset và hành động trong các quy trình trực quan có thể tái sử dụng.

Ultralytics Agents là gì?#

Agents cung cấp cách trực quan để thiết kế và chạy các workflow thị giác máy tính. Thêm block vào canvas, kết nối từng bước và xác định điều gì sẽ xảy ra khi một hình ảnh đáp ứng một điều kiện cụ thể.

Workflow có thể sử dụng model YOLO26 chính thức, model được huấn luyện trong workspace của bạn hoặc một deployment Platform hiện có. Sau đó, workflow có thể lọc dự đoán theo số lượng class hoặc độ tin cậy, gửi hình ảnh được chọn đến model thị giác-ngôn ngữ, thu thập hình ảnh vào dataset, thông báo cho kênh Slack hoặc hiển thị kết quả.

Với Agents, bạn có thể:

• Xây dựng trực quan: Kết nối model, điều kiện và hành động mà không cần tự tạo toàn bộ workflow từ đầu.
• Tập trung sự chú ý: Chỉ xử lý những hình ảnh đáp ứng tiêu chí do bạn xác định.
• Kết hợp trí tuệ thị giác và ngôn ngữ: Dùng YOLO để xác định nội dung quan trọng trước khi yêu cầu model thị giác-ngôn ngữ cung cấp thêm ngữ cảnh.
• Biến dự đoán thành hành động: Lưu hình ảnh liên quan, gửi cảnh báo Slack theo điều kiện hoặc chuyển kết quả đến bước tiếp theo của workflow.
• Kết nối thông tin chuyên sâu từ môi trường production với dữ liệu: Thu thập hình ảnh chưa chắc chắn hoặc quan trọng để rà soát và phát triển model trong tương lai.
• Kiểm tra phần triển khai: Xem Python được tạo từ workflow trực quan của bạn.

Thay vì chỉ dừng lại ở câu hỏi “Model đã phát hiện điều gì?”, các nhóm có thể trả lời câu hỏi giá trị hơn: “Tiếp theo cần làm gì?”

Chuyển từ phát hiện sang ra quyết định#

Nhiều hệ thống AI thị giác cần nhiều công cụ và kết nối tùy chỉnh. Một model tạo dự đoán, logic ứng dụng đánh giá dự đoán, một hệ thống khác lưu trữ dữ liệu đầu vào liên quan và một tích hợp riêng biệt gửi thông báo.

Agents tập hợp các bước này vào một workflow trực quan.

Ví dụ, một nhóm sản xuất có thể chạy model kiểm tra đã huấn luyện, kiểm tra xem lỗi có đạt ngưỡng đã chọn hay không, lưu hình ảnh để rà soát và cảnh báo cho kênh vận hành. Một nhóm logistics có thể thu thập các phát hiện có độ tin cậy thấp để xác định những khoảng trống trong dữ liệu huấn luyện. Một nhóm an toàn có thể dùng YOLO để phát hiện người trong khu vực hạn chế trước khi yêu cầu model thị giác-ngôn ngữ mô tả toàn cảnh.

Workflow tuân theo các điều kiện do người dùng đặt ra, giúp làm rõ lý do mỗi bước tiếp theo được chạy hoặc không được chạy.

Kết hợp Ultralytics YOLO và model thị giác-ngôn ngữ#

Model YOLO có hiệu quả trong việc xác định vị trí, phân loại và đếm đối tượng trong hình ảnh. Model thị giác-ngôn ngữ có thể bổ sung diễn giải bằng ngôn ngữ tự nhiên về ngữ cảnh hình ảnh rộng hơn.

Agents giúp kết hợp hiệu quả các khả năng này. YOLO có thể đóng vai trò bộ lọc đầu tiên, cho phép workflow chỉ gọi model thị giác-ngôn ngữ khi hình ảnh đáp ứng điều kiện yêu cầu.

Ví dụ, workflow có thể:

1. Chạy YOLO26 trên một hình ảnh.
2. Kiểm tra xem có phát hiện ít nhất một người hay không.
3. Gửi hình ảnh phù hợp đến model thị giác-ngôn ngữ được chọn.
4. Yêu cầu model mô tả cảnh.
5. Hiển thị mô tả thu được.

Nếu điều kiện không được đáp ứng, bước mô tả sẽ không chạy. Nhờ vậy, các nhóm kiểm soát tốt hơn hình ảnh nào tiếp tục đi qua workflow và khi nào sử dụng lệnh gọi model bên ngoài.

Bắt đầu với mẫu workflow có thể chỉnh sửa#

Agents bao gồm các mẫu giúp nhóm nhanh chóng chuyển từ ý tưởng sang workflow AI thị giác hoạt động được.

• YOLO → VLM Monitor: Dùng YOLO để xác định hình ảnh liên quan trước khi yêu cầu model thị giác-ngôn ngữ mô tả chúng.
• Thu thập các phát hiện chưa chắc chắn: Lọc dự đoán theo độ tin cậy và thu thập hình ảnh chưa chắc chắn vào dataset để rà soát.
• Ghi lại và cảnh báo: Lưu hình ảnh và gửi thông báo Slack khi điều kiện phát hiện được đáp ứng.

Các mẫu cung cấp điểm khởi đầu thiết thực thay vì một giải pháp cố định. Nhóm có thể chọn hình ảnh, model, deployment, điều kiện, prompt, dataset đích và tích hợp của riêng mình.

Người dùng cũng có thể kiểm tra Python được tạo bởi workflow, kết hợp tốc độ phát triển trực quan với tính minh bạch mà các nhóm kỹ thuật cần để hiểu phần triển khai.

Khép kín vòng lặp giữa deployment và cải thiện model#

Hình ảnh thực tế có thể cho thấy những điều kiện bị thiếu hoặc chưa được thể hiện đầy đủ trong quá trình huấn luyện. Môi trường mới, diện mạo đối tượng thay đổi và các phát hiện chưa chắc chắn đều có thể cho thấy cơ hội cải thiện model.

Agents giúp các nhóm biến những quan sát đó thành vòng lặp dữ liệu có thể hành động:

1. Chạy hình ảnh qua model Ultralytics YOLO hoặc deployment Platform.
2. Lọc kết quả bằng điều kiện class hoặc độ tin cậy.
3. Thu thập các hình ảnh gốc được chọn vào dataset đích.
4. Rà soát và gán nhãn hình ảnh trong Ultralytics Platform.
5. Huấn luyện lại và triển khai lại bằng dữ liệu có được từ đầu vào thực tế.

Hình ảnh được thu thập qua Agents sẽ được đưa vào phần train của dataset đích mà chưa có nhãn, sẵn sàng để rà soát trong trình chỉnh sửa gán nhãn. Nhóm có thể gán nhãn các ví dụ có mục tiêu này và dùng chúng để định hướng vòng lặp model tiếp theo.

Điều này tạo ra lộ trình trực tiếp hơn từ việc xác định một ví dụ khó đến chuẩn bị dữ liệu huấn luyện tốt hơn.

Xây dựng workflow hướng đến kết quả thực tế#

Agents có thể hỗ trợ workflow trong nhiều ngành và trường hợp sử dụng:

• Sản xuất: Ghi lại các lỗi tiềm ẩn để rà soát và thông báo cho nhóm chất lượng khi đáp ứng các điều kiện đã xác định.
• Logistics: Thu thập các phát hiện chưa chắc chắn liên quan đến container, phương tiện hoặc thiết bị để cải thiện độ bao phủ của dataset.
• Bán lẻ: Lọc hình ảnh dựa trên class hoặc số lượng đối tượng được phát hiện và gửi kết quả liên quan đến các hành động tiếp theo.
• An toàn và bảo mật: Phát hiện người hoặc đối tượng trong các tình huống cụ thể trước khi yêu cầu thêm ngữ cảnh về cảnh.
• Phát triển dataset: Tìm các ví dụ có độ tin cậy thấp và tập hợp chúng thành một tập dữ liệu rà soát có trọng tâm.

Mỗi workflow có thể phân nhánh từ một điều kiện thành nhiều hành động. Ví dụ, cùng một hình ảnh phù hợp có thể được lưu vào dataset và kích hoạt tin nhắn Slack, giúp nhóm lưu giữ bằng chứng đồng thời thông báo cho những người chịu trách nhiệm rà soát.

Từ nguyên mẫu trực quan đến Python minh bạch#

Công cụ xây dựng workflow trực quan có thể đẩy nhanh quá trình thử nghiệm, nhưng các nhóm kỹ thuật cũng cần biết rõ những gì đang chạy.

Agents cho phép người dùng kiểm tra Python được tạo từ workflow. Cách này kết hợp khả năng tiếp cận của canvas trực quan với tính minh bạch mà nhà phát triển cần để hiểu phần triển khai bên dưới.

Nhóm có thể thử nghiệm một workflow nhỏ bằng bản dùng thử chung hoặc chọn tài nguyên deployment Platform chuyên dụng cho dataset lớn hơn, thời gian chạy dài hơn và model trong workspace đã huấn luyện.

Bắt đầu xây dựng với Agents#

Ultralytics Agents giúp các nhóm vượt khỏi những dự đoán riêng lẻ và xây dựng workflow AI thị giác được kết nối. Bằng cách đưa YOLO, model thị giác-ngôn ngữ, điều kiện có thể cấu hình, dataset và hành động lên cùng một canvas, Agents tạo lộ trình nhanh hơn từ dự đoán đến kết quả thiết thực.

Agents hiện được cung cấp thông qua Quyền truy cập sớm. Chuyển sang workspace cá nhân của bạn và bật Quyền truy cập sớm trong Settings > Profile. Đây là tùy chọn cá nhân, kể cả khi bạn đang làm việc trong workspace nhóm.

Sau đó, mở Agents từ thanh bên, bắt đầu bằng một mẫu hoặc tự xây dựng workflow trên canvas Agents. Tìm hiểu các block, điều kiện, tùy chọn thực thi và hướng dẫn thiết lập được hỗ trợ trong tài liệu Ultralytics Agents.