Thị giác máy tính thúc đẩy cách các tác nhân AI thị giác đưa ra quyết định

Mọi ngành công nghiệp, từ sản xuất đến bán lẻ, đều đối mặt với những thách thức quy trình riêng, và việc tìm ra các phương pháp sáng tạo để giải quyết những vấn đề này luôn là chìa khóa để vận hành doanh nghiệp thành công. Gần đây, các tác nhân AI đã trở thành một giải pháp phổ biến trên nhiều lĩnh vực. Các hệ thống này không chỉ dừng lại ở việc phân tích dữ liệu. Chúng còn có thể thực hiện hành động.

Ví dụ: AI agents in manufacturing có thể phát hiện lỗi theo thời gian thực và tự động kích hoạt các biện pháp kiểm soát chất lượng để duy trì dây chuyền sản xuất hoạt động trơn tru. Tương tự, trong logistics và bán lẻ, chúng có thể giám sát nhiều địa điểm bằng hệ thống giám sát thông minh và ngay lập tức cảnh báo các đội ngũ về hoạt động bất thường.

Khi xu hướng này phát triển, các AI agents đang tích cực chuyển đổi các ngành công nghiệp trên toàn thế giới. global AI agents market đạt 5,1 tỷ USD vào năm 2024 và dự kiến sẽ tăng lên 47,1 tỷ USD vào năm 2030.

Fig 1. Tổng quan về quy mô thị trường global AI agents market.

Một trong những công nghệ cốt lõi thúc đẩy những tiến bộ này là computer vision. Bằng cách cho phép máy móc xử lý và diễn giải dữ liệu trực quan, vision AI giúp các AI agents thực hiện các tác vụ computer vision như phát hiện đối tượng theo thời gian thực, phân đoạn thực thể và theo dõi đối tượng với độ chính xác đáng kinh ngạc. Nó thu hẹp khoảng cách giữa những gì máy móc nhìn thấy và cách chúng đưa ra quyết định, trở thành một phần quan trọng trong nhiều giải pháp hỗ trợ bởi AI.

Trong bài viết này, chúng ta sẽ khám phá các tác nhân AI và mối quan hệ của chúng với thị giác máy tính. Chúng ta cũng sẽ thảo luận về các loại tác nhân AI khác nhau và cách chúng được sử dụng trong các ứng dụng dựa trên thị giác. Hãy bắt đầu thôi!

Tác nhân AI là gì?#

Trước khi đi sâu vào các tác nhân AI dựa trên thị giác, hãy dành chút thời gian để hiểu về các tác nhân AI nói chung để thấy được mức độ linh hoạt của các hệ thống này.

Một tác nhân AI là một hệ thống thông minh có thể hiểu và phản hồi các tác vụ hoặc câu hỏi mà không cần sự trợ giúp từ con người. Nhiều tác nhân AI sử dụng học máy (machine learning) và xử lý ngôn ngữ tự nhiên (NLP) để xử lý một loạt các tác vụ, từ việc trả lời các câu hỏi cơ bản đến quản lý các quy trình phức tạp.

Một số tác nhân AI thậm chí có khả năng học hỏi và cải thiện theo thời gian, không giống như các hệ thống AI truyền thống dựa vào đầu vào của con người cho mỗi bản cập nhật. Đó là lý do tại sao các tác nhân AI đang nhanh chóng trở thành một phần thiết yếu của AI. Chúng có thể tự động hóa các tác vụ, đưa ra quyết định và tương tác với môi trường của chúng mà không cần sự giám sát liên tục. Chúng đặc biệt hữu ích cho việc quản lý các tác vụ lặp đi lặp lại và tốn thời gian.

Ví dụ, bạn có thể tìm thấy các tác nhân AI trong các lĩnh vực như dịch vụ khách hàng và nhà hàng - khách sạn. Các tác nhân AI đang được sử dụng để xử lý hoàn tiền và đưa ra các đề xuất sản phẩm được cá nhân hóa trong dịch vụ khách hàng. Trong khi đó, trong ngành nhà hàng - khách sạn, chúng có thể giúp nhân viên khách sạn quản lý các yêu cầu của khách, hợp lý hóa dịch vụ phòng và gợi ý các địa điểm tham quan gần đó cho khách. Những ví dụ này cho thấy cách các tác nhân AI đang làm cho các quy trình hàng ngày trở nên nhanh hơn và hiệu quả hơn.

Hiểu cách các tác nhân AI thị giác hoạt động#

Tiếp theo, hãy cùng xem nhanh cách các tác nhân AI hoạt động. Mặc dù mỗi tác nhân AI là duy nhất và được thiết kế cho các tác vụ cụ thể, chúng đều chia sẻ ba bước chính giống nhau: nhận thức, đưa ra quyết định và hành động.

Đầu tiên, trong bước nhận thức, các tác nhân AI thu thập thông tin từ các nguồn khác nhau để hiểu những gì đang xảy ra. Tiếp theo là đưa ra quyết định. Dựa trên thông tin thu thập được, chúng sử dụng các thuật toán của mình để phân tích tình huống và quyết định phương án hành động tốt nhất. Cuối cùng là hành động. Sau khi đã đưa ra quyết định, chúng thực hiện quyết định đó - cho dù là trả lời một câu hỏi, hoàn thành một tác vụ hay gắn cờ một vấn đề để con người xử lý.

Nghe có vẻ đơn giản, nhưng tùy thuộc vào loại tác nhân AI, thường có rất nhiều hoạt động diễn ra đằng sau hậu trường để các bước này hoạt động. Từ việc phân tích dữ liệu phức tạp đến việc sử dụng các model học máy tiên tiến, mỗi tác nhân AI được xây dựng để xử lý các tác vụ cụ thể theo cách riêng của nó.

Ví dụ, trong khi nhiều AI agents tập trung vào việc xử lý ngôn ngữ thông qua NLP, thì các agents khác - được gọi là vision AI agents - tích hợp computer vision để xử lý dữ liệu trực quan. Sử dụng các model computer vision tiên tiến như Ultralytics YOLO11, vision AI agents có thể thực hiện phân tích hình ảnh chính xác hơn.

Fig 2. Ví dụ về việc đếm táo trong một hình ảnh sử dụng YOLO11.

Các tác nhân AI thị giác trong xe tự lái#

Hãy lấy xe tự lái làm ví dụ để xem cách các tác nhân AI thị giác hoạt động qua ba bước chính đã mô tả ở trên:

• Perception: Vision AI agents in self-driving ô tô thu thập dữ liệu trực quan từ các camera và cảm biến được lắp đặt trên xe. Dữ liệu này bao gồm hình ảnh và video về môi trường xung quanh, chẳng hạn như các phương tiện khác, người đi bộ, tín hiệu giao thông và biển báo đường bộ.
• Quá trình ra quyết định: AI agent xử lý dữ liệu trực quan này bằng cách sử dụng các model như Ultralytics YOLO11. Hệ thống nhận diện các đối tượng như xe hơi và người đi bộ, phát hiện chướng ngại vật hoặc tình trạng đổi làn đường đột ngột, đồng thời nhận dạng các mẫu hình như lưu lượng giao thông và trạng thái tín hiệu. Điều này giúp ô tô hiểu được điều kiện đường sá theo thời gian thực.
• Hành động: Dựa trên phân tích của mình, tác nhân AI thực hiện hành động, chẳng hạn như đánh lái để tránh chướng ngại vật, điều chỉnh tốc độ hoặc dừng lại tại đèn đỏ. Những quyết định này được đưa ra nhanh chóng để đảm bảo việc lái xe an toàn và hiệu quả.

Xe tự lái của Waymo là một ví dụ tuyệt vời về công nghệ này. Chúng sử dụng các tác nhân AI thị giác để hiểu môi trường xung quanh, đưa ra quyết định theo thời gian thực và điều hướng đường sá một cách an toàn và hiệu quả mà không cần sự can thiệp của con người.

Fig 3. Taxi tự lái dựa trên AI agent của Waymo.

Các loại tác nhân AI thị giác#

Bây giờ chúng ta đã thấy cách các tác nhân AI hoạt động và cách chúng sử dụng thị giác máy tính, hãy xem xét các loại tác nhân AI khác nhau. Mỗi loại được thiết kế cho các tác vụ cụ thể, từ các hành động đơn giản đến việc đưa ra quyết định và học hỏi phức tạp hơn.

Tác nhân phản xạ đơn giản#

Tác nhân phản xạ đơn giản là loại tác nhân AI cơ bản nhất. Chúng phản hồi các đầu vào cụ thể bằng các hành động đã được xác định trước, dựa hoàn toàn vào tình huống hiện tại mà không xem xét bất kỳ lịch sử hay kết quả tương lai nào. Những tác nhân này thường sử dụng các quy tắc "nếu-thì" đơn giản để hướng dẫn hành vi của chúng.

Liên quan đến phân tích hình ảnh, một tác nhân phản xạ đơn giản có thể được lập trình để phát hiện một màu cụ thể (như màu đỏ) và kích hoạt một hành động ngay lập tức (như đánh dấu hoặc đếm các đối tượng màu đỏ). Mặc dù cách này có thể hiệu quả với các tác vụ đơn giản, nhưng nó lại thất bại trong các môi trường phức tạp hơn vì tác nhân không học hỏi hay thích nghi từ những trải nghiệm trước đó.

Tác nhân phản xạ dựa trên model#

Tác nhân phản xạ dựa trên model tiên tiến hơn tác nhân phản xạ đơn giản vì chúng sử dụng một model nội bộ về môi trường của chúng để hiểu tình huống tốt hơn. Model này cho phép chúng xử lý thông tin bị thiếu hoặc không đầy đủ và đưa ra các quyết định sáng suốt hơn.

Lấy AI security camera systems làm ví dụ. Các vision AI agents được tích hợp bên trong có thể sử dụng computer vision để phân tích những gì đang diễn ra theo thời gian thực. Chúng có thể so sánh các chuyển động và hành động với một model hành vi thông thường, giúp phát hiện hoạt động bất thường, như trộm cắp cửa hàng, và gắn cờ các mối đe dọa bảo mật tiềm ẩn một cách chính xác hơn.

Fig 4. Ví dụ về việc sử dụng computer vision để phát hiện trộm cắp.

Tác nhân dựa trên tiện ích#

Hãy nghĩ về một utility-based drone được sử dụng để giám sát cây trồng. Nó điều chỉnh đường bay để bao phủ nhiều diện tích hơn trong khi tránh các chướng ngại vật và chọn tuyến đường tốt nhất cho công việc. Điều này có nghĩa là drone đánh giá nhiều hành động tiềm năng, chẳng hạn như khu vực nào cần ưu tiên hoặc cách điều hướng hiệu quả, và chọn hành động tối đa hóa hiệu quả của nó.

Tương tự, các tác nhân dựa trên tiện ích được thiết kế để chọn hành động tốt nhất từ nhiều tùy chọn để đạt được lợi ích hoặc kết quả lớn nhất. Các tác nhân AI thị giác được thiết kế cho việc này có thể xử lý và phân tích các đầu vào thị giác khác nhau, chẳng hạn như hình ảnh hoặc dữ liệu cảm biến, và chọn kết quả hữu ích nhất dựa trên các tiêu chí đã xác định trước.

Fig 5. Các utility-based drones có thể được sử dụng để giám sát cây trồng.

Tác nhân dựa trên mục tiêu#

Các tác nhân dựa trên mục tiêu tương tự như các tác nhân dựa trên tiện ích vì cả hai đều nhằm đạt được các mục tiêu cụ thể. Tuy nhiên, các tác nhân dựa trên mục tiêu chỉ tập trung hoàn toàn vào các hành động đưa chúng đến gần hơn với mục tiêu đã định. Chúng đánh giá mỗi hành động dựa trên việc hành động đó giúp đạt được mục tiêu như thế nào, mà không cân nhắc các yếu tố khác như giá trị tổng thể hay sự đánh đổi.

Ví dụ, một chiếc xe tự lái hoạt động như một goal-based agent khi mục tiêu của nó là đến một điểm đến. Nó xử lý dữ liệu từ AI cameras và cảm biến để đưa ra quyết định như tránh chướng ngại vật, tuân thủ tín hiệu giao thông và chọn các khúc cua phù hợp để giữ đúng lộ trình. Những quyết định này được hướng dẫn hoàn toàn bởi mức độ phù hợp của chúng với mục tiêu đến đích một cách an toàn và hiệu quả. Không giống như utility-based agents, goal-based agents chỉ tập trung vào việc đạt được mục tiêu mà không cần xem xét các tiêu chí bổ sung như hiệu quả hoặc tối ưu hóa.

Fig 6. Xe tự lái sử dụng computer vision để nhận diện các đối tượng xung quanh.

Tác nhân học tập#

Nếu bạn quen thuộc với computer vision, bạn có thể đã nghe nói về fine-tuning - quá trình các model cải thiện bằng cách học hỏi từ dữ liệu mới. Learning agents hoạt động theo cách tương tự, thích ứng và cải thiện theo thời gian khi chúng tích lũy kinh nghiệm. Trong các ứng dụng như vision-based quality control, các agents này trở nên giỏi hơn trong việc phát hiện lỗi qua mỗi lần kiểm tra. Khả năng tinh chỉnh hiệu suất này đặc biệt quan trọng trong các lĩnh vực như hàng không, nơi an toàn và độ chính xác là tối quan trọng.

Tác nhân phân cấp#

Các tác nhân phân cấp đơn giản hóa các tác vụ phức tạp bằng cách chia chúng thành các bước nhỏ hơn, dễ quản lý hơn. Một tác nhân cấp cao hơn giám sát quy trình tổng thể, đưa ra các quyết định chiến lược, trong khi các tác nhân cấp thấp hơn xử lý các tác vụ cụ thể. Nó hiệu quả hơn khi thực hiện các hoạt động liên quan đến nhiều bước và thực thi chi tiết.

Ví dụ, trong một nhà kho tự động, một robot cấp cao hơn có thể lập kế hoạch quy trình phân loại, quyết định mặt hàng nào nên đi đến khu vực nào. Đồng thời, các robot cấp thấp hơn tập trung vào việc xác định mặt hàng bằng cách sử dụng thị giác máy tính, phân tích các đặc điểm như kích thước, hình dạng hoặc nhãn, và sắp xếp chúng vào đúng thùng. Sự phân chia trách nhiệm rõ ràng giúp hệ thống vận hành trơn tru.

Fig 7. Ví dụ về một robotic AI agent phân loại bưu kiện.

Cách bắt đầu xây dựng một tác nhân AI thị giác#

Trọng tâm của một AI agent có khả năng thị giác là một computer vision model. Một trong những computer vision model mới nhất và đáng tin cậy nhất hiện nay là Ultralytics YOLO11. YOLO11 nổi tiếng với hiệu suất thời gian thực và độ chính xác, làm cho nó trở nên hoàn hảo cho computer vision tasks.

Dưới đây là các quá trình khác nhau liên quan đến việc xây dựng AI agent của riêng bạn với các tính năng của Ultralytics YOLO11:

• Prepare a dataset: Thu thập và tiền xử lý các hình ảnh được gán nhãn liên quan đến tác vụ mà AI agent của bạn sẽ thực hiện.

• Custom-train model: Huấn luyện Ultralytics YOLO11 cụ thể trên dataset của bạn để cải thiện độ chính xác và hiệu suất cho ứng dụng riêng của bạn.

• Tích hợp với một framework ra quyết định: Kết nối model đã huấn luyện với một hệ thống cho phép tác nhân AI đưa ra quyết định dựa trên các đầu vào thị giác.

• Kiểm tra và tinh chỉnh: Triển khai tác nhân AI, kiểm tra hiệu suất của nó, thu thập phản hồi và điều chỉnh model để cải thiện độ chính xác và độ tin cậy.

Các điểm chính cần lưu ý#

Các tác nhân AI được tích hợp với thị giác máy tính - các tác nhân AI thị giác - đang thay đổi các ngành công nghiệp bằng cách tự động hóa các tác vụ, làm cho các quy trình nhanh hơn và cải thiện việc đưa ra quyết định. Từ các thành phố thông minh điều khiển giao thông đến các hệ thống an ninh sử dụng nhận dạng khuôn mặt, các tác nhân này đang mang đến những giải pháp mới cho các vấn đề chung.

Chúng cũng có thể tiếp tục học hỏi và cải thiện theo thời gian, giúp chúng hữu ích trong các môi trường thay đổi. Với các công cụ như Ultralytics YOLO11, việc tạo và sử dụng các AI agent này trở nên dễ dàng hơn, dẫn đến các giải pháp thông minh và hiệu quả hơn.

Tham gia community của chúng tôi và xem GitHub repository để tìm hiểu về AI. Khám phá các ứng dụng khác nhau của computer vision in healthcare và AI in agriculture trên các trang giải pháp của chúng tôi. Hãy xem các licensing options có sẵn để bắt đầu!