Thị giác máy tính giúp các AI agent thị giác đưa ra quyết định

Mọi ngành nghề, từ sản xuất đến bán lẻ, đều đối mặt với những thách thức riêng trong quy trình vận hành, và tìm ra các giải pháp đổi mới cho những vấn đề này luôn là yếu tố then chốt để điều hành doanh nghiệp thành công. Gần đây, AI agent đã trở thành giải pháp phổ biến trong nhiều lĩnh vực. Những hệ thống này không chỉ phân tích dữ liệu mà còn có thể hành động.

Ví dụ: AI agent trong sản xuất có thể phát hiện lỗi theo thời gian thực và tự động khởi động các biện pháp kiểm soát chất lượng để duy trì hoạt động sản xuất thông suốt. Tương tự, trong lĩnh vực logistics và bán lẻ, AI agent có thể giám sát nhiều địa điểm bằng hệ thống giám sát thông minh và lập tức cảnh báo các nhóm về hoạt động bất thường.

Khi xu hướng này phát triển, AI agent đang tích cực chuyển đổi các ngành công nghiệp trên toàn thế giới. Thị trường AI agent toàn cầu đạt 5,1 tỷ USD vào năm 2024 và dự kiến tăng lên 47,1 tỷ USD vào năm 2030.

Hình 1. Tổng quan về quy mô thị trường AI agent toàn cầu.

Một trong những công nghệ then chốt thúc đẩy những tiến bộ này là thị giác máy tính. Bằng cách cho phép máy móc xử lý và diễn giải dữ liệu hình ảnh, Vision AI giúp các tác tử AI thực hiện những tác vụ thị giác máy tính như phát hiện đối tượng theo thời gian thực, phân đoạn từng đối tượng và theo dõi đối tượng với độ chính xác cao. Công nghệ này thu hẹp khoảng cách giữa những gì máy móc nhìn thấy và cách chúng đưa ra quyết định, trở thành thành phần thiết yếu của nhiều giải pháp ứng dụng AI.

Trong bài viết này, chúng ta sẽ tìm hiểu về các tác tử AI và mối liên hệ giữa chúng với thị giác máy tính. Chúng ta cũng sẽ thảo luận về các loại tác tử AI khác nhau và cách sử dụng chúng trong các ứng dụng dựa trên thị giác.

AI agent là gì?#

Trước khi tìm hiểu sâu về các AI agent dựa trên thị giác máy tính, hãy dành chút thời gian tìm hiểu AI agent nói chung để thấy các hệ thống này có thể linh hoạt đến mức nào.

Tác tử AI là một hệ thống thông minh có thể hiểu và phản hồi các tác vụ hoặc câu hỏi mà không cần con người trợ giúp. Nhiều tác tử AI sử dụng machine learning và xử lý ngôn ngữ tự nhiên (NLP) để xử lý nhiều loại tác vụ, từ trả lời câu hỏi cơ bản đến quản lý các quy trình phức tạp.

Một số AI agent thậm chí có khả năng học hỏi và cải thiện theo thời gian, khác với các hệ thống AI truyền thống vốn cần con người cung cấp thông tin đầu vào cho mỗi lần cập nhật. Đó là lý do AI agent đang nhanh chóng trở thành một phần thiết yếu của AI. Chúng có thể tự động hóa tác vụ, đưa ra quyết định và tương tác với môi trường mà không cần giám sát liên tục. Chúng đặc biệt hữu ích trong việc quản lý các tác vụ lặp đi lặp lại và tốn thời gian.

Chẳng hạn, có thể tìm thấy AI agent trong các lĩnh vực như dịch vụ khách hàng và khách sạn. Trong dịch vụ khách hàng, AI agent được sử dụng để xử lý yêu cầu hoàn tiền và đưa ra đề xuất sản phẩm được cá nhân hóa. Còn trong ngành khách sạn, chúng có thể giúp nhân viên quản lý yêu cầu của khách, hợp lý hóa dịch vụ tại phòng và gợi ý các điểm tham quan gần đó. Những ví dụ này cho thấy AI agent đang giúp các quy trình thường ngày diễn ra nhanh chóng và hiệu quả hơn.

Tìm hiểu cách các vision AI agent hoạt động#

Tiếp theo, hãy cùng xem nhanh cách các AI agent hoạt động. Mỗi AI agent đều có đặc điểm riêng và được thiết kế cho những tác vụ cụ thể, nhưng tất cả đều có chung ba bước chính: nhận thức, ra quyết định và hành động.

Đầu tiên, ở bước nhận thức, AI agent thu thập thông tin từ nhiều nguồn khác nhau để hiểu điều gì đang diễn ra. Tiếp theo là bước ra quyết định. Dựa trên thông tin thu thập được, chúng sử dụng các thuật toán để phân tích tình huống và quyết định hướng hành động tốt nhất. Cuối cùng là hành động. Sau khi đưa ra quyết định, chúng sẽ thực hiện quyết định đó — dù là trả lời câu hỏi, hoàn thành tác vụ hay đánh dấu vấn đề để con người xử lý.

Nghe có vẻ đơn giản, nhưng tùy thuộc vào loại AI agent, thường có rất nhiều hoạt động diễn ra phía sau để các bước này vận hành. Từ phân tích dữ liệu phức tạp đến sử dụng các model machine learning tiên tiến, mỗi AI agent được xây dựng theo cách riêng để xử lý các tác vụ cụ thể.

Ví dụ, trong khi nhiều AI agent tập trung xử lý ngôn ngữ thông qua NLP, một số khác — được gọi là vision AI agent — tích hợp computer vision để xử lý dữ liệu hình ảnh. Bằng cách sử dụng các model computer vision tiên tiến như Ultralytics YOLO11, vision AI agent có thể phân tích hình ảnh chính xác hơn.

Hình 2. Ví dụ về việc đếm táo trong ảnh bằng YOLO11.

Vision AI agent trong xe tự lái#

Hãy lấy xe tự lái làm ví dụ để xem vision AI agent hoạt động như thế nào qua ba bước chính đã mô tả ở trên:

• Nhận thức: Các AI agent thị giác trên xe tự lái thu thập dữ liệu hình ảnh từ camera và cảm biến được lắp trên xe. Dữ liệu này gồm hình ảnh và video về môi trường xung quanh, chẳng hạn như các phương tiện khác, người đi bộ, tín hiệu giao thông và biển báo đường bộ.
• Ra quyết định: AI agent xử lý dữ liệu hình ảnh này bằng các model như Ultralytics YOLO11. Agent nhận diện các đối tượng như ô tô và người đi bộ, phát hiện chướng ngại vật hoặc tình huống chuyển làn đột ngột, đồng thời nhận biết các mẫu như luồng giao thông và trạng thái tín hiệu. Nhờ đó, xe có thể hiểu tình trạng đường sá theo thời gian thực.
• Hành động: Dựa trên kết quả phân tích, AI agent thực hiện hành động, chẳng hạn như đánh lái để tránh chướng ngại vật, điều chỉnh tốc độ hoặc dừng lại khi đèn đỏ. Các quyết định này được đưa ra nhanh chóng để đảm bảo việc lái xe an toàn và hiệu quả.

Xe tự lái của Waymo là một ví dụ nổi tiếng về công nghệ này. Xe sử dụng các AI agent thị giác để hiểu môi trường xung quanh, đưa ra quyết định theo thời gian thực và di chuyển trên đường một cách an toàn, hiệu quả mà không cần sự can thiệp của con người.

Hình 3. Taxi tự lái của Waymo sử dụng AI agent.

Các loại vision AI agent#

Giờ đây, khi đã tìm hiểu cách AI agent hoạt động và sử dụng computer vision, hãy cùng xem xét các loại AI agent khác nhau. Mỗi loại được thiết kế cho những tác vụ cụ thể, từ các hành động đơn giản đến việc ra quyết định và học hỏi phức tạp hơn.

Agent phản xạ đơn giản#

Agent phản xạ đơn giản là loại AI agent cơ bản nhất. Chúng phản hồi các đầu vào cụ thể bằng những hành động được xác định trước, chỉ dựa trên tình huống hiện tại mà không xét đến lịch sử hay kết quả trong tương lai. Các agent này thường sử dụng những quy tắc "nếu-thì" đơn giản để điều khiển hành vi.

Trong phân tích hình ảnh, một agent phản xạ đơn giản có thể được lập trình để phát hiện một màu cụ thể (chẳng hạn như màu đỏ) và kích hoạt hành động ngay lập tức (ví dụ: đánh dấu hoặc đếm các đối tượng màu đỏ). Cách này có thể hiệu quả với các tác vụ đơn giản, nhưng không phù hợp với môi trường phức tạp hơn vì agent không học hỏi hay thích ứng từ trải nghiệm trước đó.

Agent phản xạ dựa trên model#

Agent phản xạ dựa trên model tiên tiến hơn agent phản xạ đơn giản vì chúng sử dụng model nội bộ về môi trường để hiểu tình huống tốt hơn. Model này giúp chúng xử lý thông tin bị thiếu hoặc không đầy đủ và đưa ra quyết định sáng suốt hơn.

Hãy lấy hệ thống camera an ninh AI làm ví dụ. Các AI agent thị giác được tích hợp trong hệ thống có thể sử dụng thị giác máy tính để phân tích những gì đang diễn ra theo thời gian thực. Chúng có thể so sánh chuyển động và hành động với một mô hình về hành vi bình thường, giúp phát hiện hoạt động bất thường như trộm cắp tại cửa hàng và xác định chính xác hơn các mối đe dọa an ninh tiềm ẩn.

Hình 4. Ví dụ về việc sử dụng computer vision để phát hiện hành vi trộm cắp.

Agent dựa trên hàm tiện ích#

Hãy hình dung một drone dựa trên hàm tiện ích được sử dụng để giám sát cây trồng. Drone điều chỉnh đường bay để bao quát diện tích lớn hơn trong khi tránh chướng ngại vật, đồng thời chọn lộ trình tốt nhất cho nhiệm vụ. Điều này có nghĩa là drone đánh giá nhiều hành động khả thi, chẳng hạn như khu vực nào cần ưu tiên hoặc cách di chuyển hiệu quả, rồi chọn hành động tối đa hóa hiệu quả hoạt động.

Tương tự, agent dựa trên hàm tiện ích được thiết kế để chọn hành động tốt nhất trong số nhiều lựa chọn nhằm đạt được lợi ích hoặc kết quả cao nhất. Vision AI agent được thiết kế cho mục đích này có thể xử lý và phân tích nhiều đầu vào hình ảnh khác nhau, chẳng hạn như hình ảnh hoặc dữ liệu cảm biến, rồi chọn kết quả hữu ích nhất dựa trên các tiêu chí đã xác định trước.

Hình 5. Drone dựa trên hàm tiện ích có thể được sử dụng để giám sát cây trồng.

Agent dựa trên mục tiêu#

Agent dựa trên mục tiêu tương tự agent dựa trên hàm tiện ích vì cả hai đều hướng đến việc đạt được các mục tiêu cụ thể. Tuy nhiên, agent dựa trên mục tiêu chỉ tập trung vào những hành động giúp chúng tiến gần hơn đến mục tiêu đã xác định. Chúng đánh giá từng hành động dựa trên mức độ đóng góp vào mục tiêu mà không cân nhắc các yếu tố khác như giá trị tổng thể hay sự đánh đổi.

Ví dụ, xe tự lái hoạt động như một agent dựa trên mục tiêu khi mục tiêu của xe là đến được một địa điểm. Xe xử lý dữ liệu từ camera AI và cảm biến để đưa ra quyết định như tránh chướng ngại vật, tuân thủ đèn tín hiệu giao thông và chọn hướng rẽ phù hợp để đi đúng lộ trình. Các quyết định này hoàn toàn dựa trên mức độ phù hợp với mục tiêu đến nơi an toàn và hiệu quả. Không giống agent dựa trên hàm tiện ích, agent dựa trên mục tiêu chỉ tập trung vào việc đạt mục tiêu mà không xem xét các tiêu chí bổ sung như hiệu quả hay tối ưu hóa.

Hình 6. Xe tự lái sử dụng computer vision để nhận diện các đối tượng xung quanh.

Agent học tập#

Nếu quen thuộc với thị giác máy tính, có thể bạn đã nghe đến fine-tuning - một quy trình giúp model cải thiện bằng cách học từ dữ liệu mới. Các agent học tập hoạt động theo cách tương tự, thích nghi và cải thiện theo thời gian khi tích lũy kinh nghiệm. Trong các ứng dụng như kiểm soát chất lượng dựa trên thị giác, các agent này ngày càng phát hiện lỗi tốt hơn sau mỗi lần kiểm tra. Khả năng cải thiện hiệu suất này đặc biệt quan trọng trong những lĩnh vực như hàng không, nơi an toàn và độ chính xác là yếu tố then chốt.

Agent phân cấp#

Agent phân cấp đơn giản hóa các tác vụ phức tạp bằng cách chia chúng thành những bước nhỏ hơn, dễ quản lý hơn. Agent cấp cao hơn giám sát toàn bộ quy trình và đưa ra các quyết định chiến lược, trong khi các agent cấp thấp hơn xử lý những tác vụ cụ thể. Cách này hiệu quả hơn đối với các hoạt động gồm nhiều bước và cần thực thi chi tiết.

Ví dụ, trong một nhà kho tự động, robot cấp cao hơn có thể lập kế hoạch cho quy trình phân loại, quyết định mặt hàng nào cần đưa đến khu vực nào. Đồng thời, các robot cấp thấp hơn tập trung nhận diện mặt hàng bằng computer vision, phân tích các đặc điểm như kích thước, hình dạng hoặc nhãn, rồi sắp xếp chúng vào đúng thùng. Việc phân chia trách nhiệm rõ ràng giúp hệ thống vận hành trơn tru.

Hình 7. Ví dụ về AI agent robot đang phân loại các kiện hàng.

Cách bắt đầu xây dựng vision AI agent#

Cốt lõi của một AI agent có khả năng thị giác là một model thị giác máy tính, chẳng hạn như Ultralytics YOLO11 hoặc phiên bản kế nhiệm Ultralytics YOLO26. Các model này nổi tiếng về hiệu suất và độ chính xác theo thời gian thực, rất phù hợp với các tác vụ thị giác máy tính.

Sau đây là các quy trình cần thực hiện để xây dựng AI agent của riêng bạn với các khả năng của Ultralytics YOLO11:

• Chuẩn bị dataset: Thu thập và tiền xử lý hình ảnh có nhãn liên quan đến tác vụ mà AI agent sẽ thực hiện.
• Huấn luyện tùy chỉnh model: Huấn luyện Ultralytics YOLO11 chuyên biệt trên dataset của bạn để cải thiện độ chính xác và hiệu suất cho ứng dụng riêng.
• Tích hợp với framework ra quyết định: Kết nối model đã huấn luyện với một hệ thống cho phép AI agent đưa ra quyết định dựa trên đầu vào hình ảnh, chẳng hạn như Ultralytics Agents, công cụ chuyển các dự đoán thành hành động tự động.
• Kiểm thử và tinh chỉnh: Triển khai AI agent, kiểm thử hiệu suất, thu thập phản hồi và điều chỉnh model để cải thiện độ chính xác và độ tin cậy.

Điểm chính cần ghi nhớ#

AI agent được tích hợp computer vision — vision AI agent — đang thay đổi các ngành bằng cách tự động hóa tác vụ, tăng tốc quy trình và cải thiện việc ra quyết định. Từ các thành phố thông minh điều khiển giao thông đến hệ thống an ninh sử dụng nhận diện khuôn mặt, những agent này đang mang đến các giải pháp mới cho những vấn đề thường gặp.

Chúng cũng có thể tiếp tục học hỏi và cải thiện theo thời gian, nhờ đó hữu ích trong các môi trường luôn thay đổi. Với những công cụ như Ultralytics YOLO11, việc tạo và sử dụng các AI agent này trở nên dễ dàng hơn, mở ra các giải pháp thông minh và hiệu quả hơn.

Tham gia cộng đồng của chúng tôi và xem repository GitHub để tìm hiểu về AI. Khám phá nhiều ứng dụng của computer vision trong y tế và AI trong nông nghiệp trên các trang giải pháp của chúng tôi. Xem các tùy chọn cấp phép hiện có để bắt đầu!