Computer vision định hình cách các vision AI agent đưa ra quyết định

Mỗi ngành, từ sản xuất đến bán lẻ, đều đối mặt với những thách thức quy trình riêng, và tìm ra các phương thức sáng tạo để giải quyết những vấn đề này luôn là yếu tố then chốt để vận hành doanh nghiệp thành công. Gần đây, các tác nhân AI đã trở thành một giải pháp phổ biến trong nhiều lĩnh vực. Các hệ thống này không chỉ dừng lại ở việc phân tích dữ liệu. Chúng còn có thể thực hiện hành động.

Ví dụ, các tác nhân AI trong sản xuất có thể phát hiện lỗi theo thời gian thực và tự động khởi động các biện pháp kiểm soát chất lượng để duy trì hoạt động sản xuất trơn tru. Tương tự, trong lĩnh vực logistics và bán lẻ, chúng có thể giám sát nhiều địa điểm bằng hệ thống giám sát thông minh và ngay lập tức cảnh báo các nhóm về hoạt động bất thường.

Khi xu hướng này phát triển, các tác nhân AI đang tích cực chuyển đổi các ngành công nghiệp trên toàn thế giới. Thị trường tác nhân AI toàn cầu đạt 5,1 tỷ USD vào năm 2024 và được dự báo sẽ tăng lên 47,1 tỷ USD vào năm 2030.

Hình 1. Tổng quan về quy mô thị trường tác nhân AI toàn cầu.

Một trong những công nghệ then chốt thúc đẩy những tiến bộ này là thị giác máy tính. Bằng cách cho phép máy móc xử lý và diễn giải dữ liệu hình ảnh, AI thị giác giúp các tác nhân AI thực hiện những tác vụ thị giác máy tính như phát hiện đối tượng theo thời gian thực, phân đoạn instance và theo dõi đối tượng với độ chính xác đáng kinh ngạc. Công nghệ này thu hẹp khoảng cách giữa những gì máy móc nhìn thấy và cách chúng đưa ra quyết định, trở thành một phần quan trọng của nhiều giải pháp AI.

Trong bài viết này, chúng ta sẽ tìm hiểu về các tác nhân AI và mối liên hệ của chúng với thị giác máy tính. Chúng ta cũng sẽ thảo luận về các loại tác nhân AI khác nhau và cách chúng được sử dụng trong các ứng dụng dựa trên thị giác. Hãy bắt đầu!

Tác nhân AI là gì?#

Trước khi đi sâu vào các tác nhân AI thị giác, hãy dành một chút thời gian để tìm hiểu các tác nhân AI nói chung và thấy được mức độ linh hoạt của những hệ thống này.

Tác nhân AI là một hệ thống thông minh có thể hiểu và phản hồi các tác vụ hoặc câu hỏi mà không cần sự trợ giúp của con người. Nhiều tác nhân AI sử dụng machine learning và xử lý ngôn ngữ tự nhiên (NLP) để xử lý nhiều loại tác vụ, từ trả lời các câu hỏi cơ bản đến quản lý những quy trình phức tạp.

Một số tác nhân AI thậm chí có khả năng học hỏi và cải thiện theo thời gian, khác với các hệ thống AI truyền thống vốn cần con người cung cấp đầu vào cho mọi lần cập nhật. Đó là lý do các tác nhân AI nhanh chóng trở thành một phần thiết yếu của AI. Chúng có thể tự động hóa tác vụ, đưa ra quyết định và tương tác với môi trường mà không cần giám sát liên tục. Chúng đặc biệt hữu ích trong việc quản lý các tác vụ lặp đi lặp lại và tốn thời gian.

Chẳng hạn, bạn có thể tìm thấy các tác nhân AI trong những lĩnh vực như dịch vụ khách hàng và ngành dịch vụ lưu trú. Trong dịch vụ khách hàng, các tác nhân AI được sử dụng để xử lý hoàn tiền và đưa ra đề xuất sản phẩm được cá nhân hóa. Trong khi đó, trong ngành dịch vụ lưu trú, chúng có thể hỗ trợ nhân viên khách sạn quản lý yêu cầu của khách, tinh giản dịch vụ phòng và gợi ý các điểm tham quan gần đó cho khách. Những ví dụ này cho thấy các tác nhân AI đang giúp những quy trình hằng ngày trở nên nhanh chóng và hiệu quả hơn.

Tìm hiểu cách các tác nhân AI thị giác hoạt động#

Tiếp theo, hãy cùng xem nhanh cách các tác nhân AI hoạt động. Mặc dù mỗi tác nhân AI đều độc đáo và được thiết kế cho các tác vụ cụ thể, tất cả đều chia sẻ ba bước chính giống nhau: nhận thức, ra quyết định và hành động.

Đầu tiên, trong bước nhận thức, các tác nhân AI thu thập thông tin từ nhiều nguồn khác nhau để hiểu điều gì đang diễn ra. Tiếp theo là ra quyết định. Dựa trên thông tin thu thập được, chúng sử dụng các thuật toán để phân tích tình huống và quyết định hướng hành động tốt nhất. Cuối cùng là hành động. Sau khi đưa ra quyết định, chúng sẽ thực hiện quyết định đó - dù là trả lời một câu hỏi, hoàn thành một tác vụ hay gắn cờ một vấn đề để con người xử lý.

Điều này có vẻ đơn giản, nhưng tùy thuộc vào loại tác nhân AI, thường có rất nhiều hoạt động diễn ra phía sau để các bước này vận hành. Từ phân tích dữ liệu phức tạp đến sử dụng các model machine learning tiên tiến, mỗi tác nhân AI được xây dựng để xử lý các tác vụ cụ thể theo cách riêng.

Ví dụ, trong khi nhiều tác nhân AI tập trung xử lý ngôn ngữ thông qua NLP, những tác nhân khác - được gọi là tác nhân AI thị giác - tích hợp thị giác máy tính để xử lý dữ liệu hình ảnh. Bằng cách sử dụng các model thị giác máy tính tiên tiến như Ultralytics YOLO11, các tác nhân AI thị giác có thể thực hiện phân tích hình ảnh chính xác hơn.

Hình 2. Ví dụ về việc đếm táo trong hình ảnh bằng YOLO11.

Các tác nhân AI thị giác trong xe tự lái#

Hãy lấy xe tự lái làm ví dụ để xem các tác nhân AI thị giác hoạt động qua ba bước chính được mô tả ở trên như thế nào:

• Nhận thức: Các tác nhân AI thị giác trong xe tự lái thu thập dữ liệu hình ảnh từ camera và cảm biến được lắp đặt trên xe. Dữ liệu này bao gồm hình ảnh và video về môi trường xung quanh, chẳng hạn như các phương tiện khác, người đi bộ, tín hiệu giao thông và biển báo đường bộ.
• Ra quyết định: Tác nhân AI xử lý dữ liệu hình ảnh này bằng các model như Ultralytics YOLO11. Tác nhân xác định các đối tượng như ô tô và người đi bộ, phát hiện chướng ngại vật hoặc việc chuyển làn đột ngột, đồng thời nhận diện các mẫu như luồng giao thông và trạng thái tín hiệu. Điều này giúp xe hiểu được điều kiện đường sá theo thời gian thực.
• Hành động: Dựa trên phân tích của mình, tác nhân AI thực hiện hành động, chẳng hạn như đánh lái để tránh chướng ngại vật, điều chỉnh tốc độ hoặc dừng lại khi đèn đỏ. Những quyết định này được đưa ra nhanh chóng để đảm bảo việc lái xe an toàn và hiệu quả.

Xe tự lái của Waymo là một ví dụ điển hình về công nghệ này. Chúng sử dụng các tác nhân AI thị giác để hiểu môi trường xung quanh, đưa ra quyết định theo thời gian thực và di chuyển an toàn, hiệu quả trên đường mà không cần con người điều khiển.

Hình 3. Taxi tự lái dựa trên tác nhân AI của Waymo.

Các loại tác nhân AI thị giác#

Sau khi đã tìm hiểu cách các tác nhân AI hoạt động và cách chúng sử dụng thị giác máy tính, hãy cùng xem xét các loại tác nhân AI khác nhau. Mỗi loại được thiết kế cho những tác vụ cụ thể, từ các hành động đơn giản đến việc ra quyết định và học hỏi phức tạp hơn.

Tác nhân phản xạ đơn giản#

Tác nhân phản xạ đơn giản là loại tác nhân AI cơ bản nhất. Chúng phản hồi các đầu vào cụ thể bằng những hành động được xác định trước, hoàn toàn dựa trên tình huống hiện tại mà không xem xét lịch sử hay kết quả trong tương lai. Các tác nhân này thường sử dụng các quy tắc đơn giản kiểu "if-then" để định hướng hành vi.

Trong phân tích hình ảnh, một tác nhân phản xạ đơn giản có thể được lập trình để phát hiện một màu cụ thể (chẳng hạn như màu đỏ) và kích hoạt hành động ngay lập tức (như làm nổi bật hoặc đếm các đối tượng màu đỏ). Mặc dù có thể hoạt động tốt với các tác vụ đơn giản, tác nhân này không đáp ứng được trong những môi trường phức tạp hơn vì không học hỏi hoặc thích ứng từ các trải nghiệm trước đó.

Tác nhân phản xạ dựa trên model#

Tác nhân phản xạ dựa trên model tiên tiến hơn tác nhân phản xạ đơn giản vì chúng sử dụng một model nội bộ về môi trường để hiểu tình huống tốt hơn. Model này cho phép chúng xử lý thông tin bị thiếu hoặc chưa đầy đủ và đưa ra các quyết định sáng suốt hơn.

Hãy lấy các hệ thống camera an ninh AI làm ví dụ. Các tác nhân AI thị giác được tích hợp trong đó có thể sử dụng thị giác máy tính để phân tích những gì đang diễn ra theo thời gian thực. Chúng có thể so sánh các chuyển động và hành động với model về hành vi bình thường, giúp phát hiện chính xác hơn những hoạt động bất thường như trộm cắp trong cửa hàng và gắn cờ các mối đe dọa an ninh tiềm ẩn.

Hình 4. Ví dụ về việc sử dụng thị giác máy tính để phát hiện hành vi trộm cắp.

Tác nhân dựa trên utility#

Hãy hình dung một drone dựa trên utility được sử dụng để giám sát cây trồng. Drone điều chỉnh đường bay để bao phủ nhiều diện tích hơn trong khi tránh chướng ngại vật và lựa chọn tuyến đường tốt nhất cho nhiệm vụ. Điều này có nghĩa là drone đánh giá nhiều hành động tiềm năng, chẳng hạn như ưu tiên khu vực nào hoặc di chuyển hiệu quả ra sao, rồi chọn hành động tối đa hóa hiệu quả của nó.

Tương tự, các tác nhân dựa trên utility được thiết kế để chọn hành động tốt nhất trong số nhiều lựa chọn nhằm đạt được lợi ích hoặc kết quả cao nhất. Các tác nhân AI thị giác được thiết kế cho mục đích này có thể xử lý và phân tích nhiều đầu vào hình ảnh khác nhau, chẳng hạn như hình ảnh hoặc dữ liệu cảm biến, rồi lựa chọn kết quả hữu ích nhất dựa trên các tiêu chí được xác định trước.

Hình 5. Drone dựa trên utility có thể được sử dụng để giám sát cây trồng.

Tác nhân dựa trên mục tiêu#

Tác nhân dựa trên mục tiêu tương tự tác nhân dựa trên utility vì cả hai đều hướng đến việc đạt được các mục tiêu cụ thể. Tuy nhiên, tác nhân dựa trên mục tiêu chỉ tập trung vào những hành động đưa chúng đến gần hơn với mục tiêu đã xác định. Chúng đánh giá mỗi hành động dựa trên mức độ hành động đó giúp đạt được mục tiêu, mà không cân nhắc các yếu tố khác như giá trị tổng thể hoặc sự đánh đổi.

Chẳng hạn, xe tự lái hoạt động như một tác nhân dựa trên mục tiêu khi mục tiêu của nó là đến một điểm đích. Xe xử lý dữ liệu từ camera AI và cảm biến để đưa ra các quyết định như tránh chướng ngại vật, tuân thủ tín hiệu giao thông và chọn hướng rẽ phù hợp để duy trì lộ trình. Những quyết định này hoàn toàn được định hướng bởi mức độ phù hợp với mục tiêu đến đích an toàn và hiệu quả. Khác với tác nhân dựa trên utility, tác nhân dựa trên mục tiêu chỉ tập trung đạt được mục tiêu mà không xem xét các tiêu chí bổ sung như hiệu quả hoặc tối ưu hóa.

Hình 6. Xe tự lái sử dụng thị giác máy tính để nhận diện các đối tượng trong môi trường xung quanh.

Tác nhân học hỏi#

Nếu quen thuộc với thị giác máy tính, có thể bạn đã nghe đến fine-tuning - một quy trình trong đó các model cải thiện bằng cách học từ dữ liệu mới. Tác nhân học hỏi hoạt động theo cách tương tự, thích ứng và cải thiện theo thời gian khi tích lũy kinh nghiệm. Trong các ứng dụng như kiểm soát chất lượng dựa trên thị giác, các tác nhân này phát hiện lỗi tốt hơn sau mỗi lần kiểm tra. Khả năng tinh chỉnh hiệu suất đặc biệt quan trọng trong những lĩnh vực như hàng không, nơi an toàn và độ chính xác là yếu tố thiết yếu.

Tác nhân phân cấp#

Tác nhân phân cấp đơn giản hóa các tác vụ phức tạp bằng cách chia chúng thành những bước nhỏ hơn, dễ quản lý hơn. Một tác nhân cấp cao giám sát toàn bộ quy trình và đưa ra các quyết định mang tính chiến lược, trong khi các tác nhân cấp thấp xử lý những tác vụ cụ thể. Cách này hiệu quả hơn đối với các hoạt động gồm nhiều bước và yêu cầu thực thi chi tiết.

Ví dụ, trong một kho hàng tự động, robot cấp cao có thể lập kế hoạch cho quy trình phân loại và quyết định mặt hàng nào sẽ được đưa đến khu vực nào. Đồng thời, các robot cấp thấp tập trung xác định mặt hàng bằng thị giác máy tính, phân tích những đặc điểm như kích thước, hình dạng hoặc nhãn, rồi sắp xếp chúng vào đúng thùng. Việc phân chia trách nhiệm rõ ràng giúp hệ thống vận hành trơn tru.

Hình 7. Ví dụ về một tác nhân AI robot phân loại các gói hàng.

Cách bắt đầu xây dựng tác nhân AI thị giác#

Nền tảng cốt lõi của một tác nhân AI có khả năng thị giác là một model thị giác máy tính. Một trong những model thị giác máy tính mới nhất và đáng tin cậy nhất hiện nay là Ultralytics YOLO11. YOLO11 nổi tiếng nhờ hiệu suất và độ chính xác theo thời gian thực, rất phù hợp cho các tác vụ thị giác máy tính.

Dưới đây là các quy trình khác nhau liên quan đến việc xây dựng tác nhân AI của riêng bạn bằng các khả năng của Ultralytics YOLO11:

• Chuẩn bị dataset: Thu thập và tiền xử lý các hình ảnh đã gán nhãn liên quan đến tác vụ mà tác nhân AI của bạn sẽ thực hiện.

• Huấn luyện tùy chỉnh model: Huấn luyện Ultralytics YOLO11 riêng trên dataset của bạn để cải thiện độ chính xác và hiệu suất cho ứng dụng đặc thù.

• Tích hợp với framework ra quyết định: Kết nối model đã huấn luyện với một hệ thống cho phép tác nhân AI đưa ra quyết định dựa trên các đầu vào hình ảnh.

• Kiểm thử và tinh chỉnh: Triển khai tác nhân AI, kiểm thử hiệu suất, thu thập phản hồi và điều chỉnh model để cải thiện độ chính xác và độ tin cậy.

Những điểm chính#

Các tác nhân AI được tích hợp với thị giác máy tính - các tác nhân AI thị giác - đang thay đổi các ngành công nghiệp bằng cách tự động hóa tác vụ, đẩy nhanh quy trình và cải thiện việc ra quyết định. Từ các thành phố thông minh điều khiển giao thông đến các hệ thống an ninh sử dụng nhận diện khuôn mặt, những tác nhân này đang mang đến các giải pháp mới cho những vấn đề phổ biến.

Chúng cũng có thể tiếp tục học hỏi và cải thiện theo thời gian, trở nên hữu ích trong những môi trường thay đổi. Với các công cụ như Ultralytics YOLO11, việc tạo và sử dụng những tác nhân AI này trở nên dễ dàng hơn, dẫn đến các giải pháp thông minh và hiệu quả hơn.

Tham gia cộng đồng của chúng tôi và xem repository GitHub để tìm hiểu về AI. Khám phá các ứng dụng đa dạng của thị giác máy tính trong lĩnh vực chăm sóc sức khỏe và AI trong nông nghiệp trên các trang giải pháp của chúng tôi. Hãy xem các tùy chọn cấp phép hiện có để bắt đầu!