Inference theo thời gian thực trong các giải pháp AI thị giác đang tạo ra tác động

Đã có lúc tất cả chúng ta phải đối mặt với những bất tiện do kết nối Internet chậm gây ra. Tuy nhiên, hãy thử hình dung độ trễ đó trong một tình huống có tính quyết định cao, chẳng hạn như một chiếc xe tự lái phản ứng với chướng ngại vật hoặc bác sĩ phân tích một ảnh chụp quan trọng. Chỉ vài giây thêm vào cũng có thể gây ra hậu quả nghiêm trọng.

Đây là lúc suy luận AI theo thời gian thực có thể tạo ra khác biệt. Xử lý nhanh và dự đoán theo thời gian thực cho phép các giải pháp thị giác máy tính xử lý và phản ứng với dữ liệu hình ảnh ngay lập tức. Những quyết định trong tích tắc này có thể nâng cao độ an toàn, hiệu quả và sự tiện lợi hằng ngày.

Ví dụ, hãy xem xét một bác sĩ phẫu thuật đang thực hiện một thủ thuật tinh vi với sự hỗ trợ của robot. Mọi chuyển động đều được điều khiển thông qua kết nối tốc độ cao, còn hệ thống thị giác của robot xử lý vùng phẫu thuật theo thời gian thực, cung cấp phản hồi hình ảnh tức thì cho bác sĩ. Ngay cả độ trễ nhỏ nhất trong vòng lặp phản hồi này cũng có thể dẫn đến sai sót nghiêm trọng, khiến bệnh nhân gặp rủi ro. Đây là ví dụ điển hình cho thấy vì sao suy luận theo thời gian thực rất quan trọng; không có chỗ cho độ trễ.

Suy luận AI trong các ứng dụng thực tế phụ thuộc vào ba khái niệm chính: inference engine (phần mềm hoặc phần cứng chạy các model AI một cách hiệu quả), độ trễ suy luận (khoảng thời gian từ đầu vào đến đầu ra) và suy luận theo thời gian thực (khả năng xử lý và phản ứng của hệ thống AI với độ trễ tối thiểu).

Trong bài viết này, chúng ta sẽ tìm hiểu các khái niệm cốt lõi này và cách các model thị giác máy tính như Ultralytics YOLO11 hỗ trợ những ứng dụng phụ thuộc vào dự đoán tức thì.

Suy luận AI là gì?#

Chạy suy luận là quá trình phân tích dữ liệu mới bằng một model AI đã được huấn luyện để đưa ra dự đoán hoặc giải quyết một tác vụ. Khác với huấn luyện, vốn bao gồm việc dạy model bằng cách xử lý một lượng lớn dữ liệu được gắn nhãn, suy luận tập trung vào việc tạo ra kết quả nhanh chóng và chính xác bằng một model đã được huấn luyện.

Hình 1. Tìm hiểu suy luận là gì.

Ví dụ, trong công tác bảo tồn động vật hoang dã, các camera AI dùng để bẫy ảnh sử dụng các model thị giác máy tính nhằm nhận diện và phân loại động vật theo thời gian thực. Khi camera phát hiện chuyển động, model AI ngay lập tức nhận biết đó là hươu, động vật săn mồi hay thậm chí kẻ săn trộm, giúp các nhà nghiên cứu theo dõi quần thể động vật và bảo vệ các loài có nguy cơ tuyệt chủng mà không cần sự can thiệp của con người. Khả năng nhận diện nhanh này giúp việc giám sát theo thời gian thực và phản ứng nhanh hơn với các mối đe dọa tiềm ẩn trở nên khả thi.

Tìm hiểu về inference engine#

Một model machine learning đã được huấn luyện không phải lúc nào cũng sẵn sàng để triển khai ở dạng nguyên bản. Inference engine là công cụ phần mềm hoặc phần cứng chuyên dụng được thiết kế để thực thi hiệu quả các model machine learning và tối ưu hóa chúng cho việc triển khai trong thực tế. Công cụ này sử dụng các kỹ thuật tối ưu hóa như nén model, lượng tử hóa và biến đổi đồ thị để cải thiện hiệu năng, giảm mức tiêu thụ tài nguyên, giúp model có thể triển khai trong nhiều môi trường khác nhau.

Về cốt lõi, inference engine tập trung vào việc giảm overhead tính toán, giảm thiểu độ trễ và cải thiện hiệu quả để hỗ trợ dự đoán nhanh và chính xác. Sau khi được tối ưu hóa, engine thực thi model trên dữ liệu mới, cho phép tạo ra các suy luận theo thời gian thực một cách hiệu quả. Việc tối ưu hóa này đảm bảo các model AI có thể hoạt động ổn định trên cả cloud server hiệu năng cao lẫn các edge device hạn chế tài nguyên như smartphone, thiết bị IoT và hệ thống nhúng.

Các vấn đề do độ trễ suy luận gây ra#

Độ trễ suy luận là khoảng thời gian từ khi hệ thống AI nhận dữ liệu đầu vào (chẳng hạn như hình ảnh từ camera) đến khi tạo ra đầu ra (chẳng hạn như phát hiện các đối tượng trong hình ảnh). Ngay cả một độ trễ nhỏ cũng có thể ảnh hưởng đáng kể đến hiệu năng và khả năng sử dụng của các ứng dụng AI theo thời gian thực.

Độ trễ suy luận xảy ra ở ba giai đoạn chính:

• Thời gian tiền xử lý: Thời gian cần thiết để chuẩn bị dữ liệu đầu vào trước khi đưa vào model. Công đoạn này bao gồm thay đổi kích thước hình ảnh cho phù hợp với kích thước đầu vào của model, chuẩn hóa giá trị pixel để tăng độ chính xác và chuyển đổi định dạng (ví dụ: RGB sang grayscale hoặc video sang các chuỗi frame).
• Thời gian tính toán: Thời gian thực tế model cần để thực hiện suy luận. Công đoạn này bao gồm các thao tác như tính toán theo từng layer trong các mạng sâu, phép nhân ma trận, phép tích chập và truyền dữ liệu giữa bộ nhớ với các đơn vị xử lý.
• Thời gian hậu xử lý: Thời gian cần thiết để chuyển đổi đầu ra thô của model thành các kết quả có ý nghĩa. Công đoạn này có thể bao gồm vẽ bounding box trong phát hiện đối tượng, lọc false positive trong nhận diện hình ảnh hoặc áp dụng ngưỡng trong phát hiện bất thường.

Độ trễ suy luận đóng vai trò quan trọng trong các ứng dụng thời gian thực. Ví dụ, trong việc phát hiện lỗi tự động trên dây chuyền lắp ráp, thị giác máy tính có thể được sử dụng để kiểm tra sản phẩm khi chúng di chuyển trên băng chuyền.

Hệ thống phải nhanh chóng xác định và đánh dấu lỗi trước khi sản phẩm chuyển sang công đoạn tiếp theo. Nếu model mất quá nhiều thời gian để xử lý hình ảnh, các sản phẩm lỗi có thể không được phát hiện kịp thời, dẫn đến lãng phí vật liệu, phải làm lại tốn kém hoặc sản phẩm lỗi đến tay khách hàng. Bằng cách giảm độ trễ, nhà sản xuất có thể cải thiện kiểm soát chất lượng, tăng hiệu quả và giảm tổn thất.

Cách giảm độ trễ suy luận#

Việc duy trì độ trễ suy luận ở mức tối thiểu là điều cần thiết trong nhiều ứng dụng thị giác máy tính. Có thể sử dụng nhiều kỹ thuật khác nhau để đạt được điều này. Hãy cùng tìm hiểu một số kỹ thuật phổ biến nhất được sử dụng để giảm độ trễ suy luận.

Pruning model#

Pruning model đơn giản hóa một mạng neural bằng cách loại bỏ các kết nối không cần thiết (weight), giúp mạng nhỏ gọn và nhanh hơn. Quá trình này làm giảm tải tính toán của model, cải thiện tốc độ mà không ảnh hưởng quá nhiều đến độ chính xác.

Bằng cách chỉ giữ lại các kết nối quan trọng nhất, pruning đảm bảo suy luận hiệu quả và hiệu năng tốt hơn, đặc biệt trên các thiết bị có năng lực xử lý hạn chế. Kỹ thuật này được sử dụng rộng rãi trong các ứng dụng thời gian thực như AI trên thiết bị di động, robotics và edge computing để nâng cao hiệu quả mà vẫn duy trì độ tin cậy.

Hình 2. Loại bỏ các kết nối kém hiệu quả bằng pruning model.

Lượng tử hóa model#

Lượng tử hóa model là kỹ thuật giúp các model AI chạy nhanh hơn và sử dụng ít bộ nhớ hơn bằng cách đơn giản hóa các số được dùng trong tính toán. Thông thường, các model này hoạt động với số dấu phẩy động 32-bit, có độ chính xác rất cao nhưng đòi hỏi nhiều năng lực xử lý. Lượng tử hóa chuyển các số này thành số nguyên 8-bit, dễ xử lý hơn và chiếm ít không gian hơn.

Hình 3. Sử dụng lượng tử hóa model để chuyển đổi giá trị dấu phẩy động thành dạng số nguyên.

Sử dụng các model hiệu quả#

Thiết kế của một model AI ảnh hưởng lớn đến tốc độ tạo dự đoán. Các model như Ultralytics YOLO11, được xây dựng để suy luận hiệu quả, rất phù hợp với những ứng dụng đòi hỏi tốc độ xử lý cao.

Khi xây dựng một giải pháp AI, điều quan trọng là chọn model phù hợp dựa trên tài nguyên hiện có và yêu cầu về hiệu năng. Nếu bắt đầu với một model quá nặng, bạn có nhiều khả năng gặp phải các vấn đề như thời gian xử lý chậm, mức tiêu thụ điện năng cao hơn và khó triển khai trên các thiết bị hạn chế tài nguyên. Model nhẹ đảm bảo hiệu năng mượt mà, đặc biệt đối với các ứng dụng thời gian thực và edge.

Tốc độ và độ chính xác: tối ưu hóa suy luận theo thời gian thực#

Mặc dù có nhiều kỹ thuật để giảm độ trễ, một phần quan trọng của suy luận theo thời gian thực là cân bằng giữa tốc độ và độ chính xác. Tăng tốc model là chưa đủ — cần tối ưu tốc độ suy luận mà không làm ảnh hưởng đến độ chính xác. Một hệ thống tạo ra dự đoán nhanh nhưng không chính xác sẽ không hiệu quả. Vì vậy, kiểm thử kỹ lưỡng là yếu tố thiết yếu để đảm bảo model hoạt động tốt trong các tình huống thực tế. Một hệ thống có vẻ nhanh khi kiểm thử nhưng thất bại trong điều kiện thực tế thì chưa thực sự được tối ưu.

Các ứng dụng AI thị giác tận dụng suy luận theo thời gian thực#

Tiếp theo, hãy cùng điểm qua một số ứng dụng thực tế, trong đó suy luận theo thời gian thực đang chuyển đổi các ngành bằng cách cho phép phản hồi tức thì với đầu vào hình ảnh.

Hệ thống tự thanh toán tại các cửa hàng bán lẻ#

Các model thị giác máy tính như Ultralytics YOLO11 có thể giúp cải thiện hệ thống tự thanh toán bằng cách nhận diện mặt hàng nhanh hơn và chính xác hơn. Khả năng hỗ trợ nhiều tác vụ thị giác máy tính như phát hiện đối tượng và phân đoạn instance của YOLO11 giúp nhận diện sản phẩm ngay cả khi barcode bị thiếu hoặc hư hỏng. AI thị giác có thể giảm nhu cầu nhập liệu thủ công và đẩy nhanh quy trình thanh toán.

Ngoài nhận diện sản phẩm, thị giác máy tính còn có thể được tích hợp vào hệ thống tự thanh toán để xác minh giá, ngăn chặn gian lận và nâng cao sự tiện lợi cho khách hàng. Camera được hỗ trợ bởi AI có thể tự động phân biệt các sản phẩm tương tự và phát hiện hành vi đáng ngờ tại quầy thanh toán. Điều này bao gồm việc xác định các trường hợp "không quét", khi khách hàng hoặc thu ngân vô tình bỏ sót một mặt hàng, cũng như các nỗ lực gian lận có chủ ý hơn, chẳng hạn như "đổi sản phẩm", khi barcode rẻ hơn được dán đè lên một mặt hàng đắt tiền hơn.

Hình 4. AI có thể nâng cao các quầy tự thanh toán.

Một ví dụ nổi bật là Kroger, một nhà bán lẻ lớn của Hoa Kỳ, đã tích hợp thị giác máy tính và AI vào hệ thống tự thanh toán. Bằng phân tích video theo thời gian thực, Kroger đã có thể tự động sửa hơn 75% lỗi thanh toán, cải thiện cả trải nghiệm khách hàng lẫn hoạt động của cửa hàng.

Kiểm tra chất lượng bằng thị giác máy tính#

Kiểm tra sản phẩm thủ công để kiểm soát chất lượng có thể chậm và không phải lúc nào cũng chính xác. Vì vậy, ngày càng nhiều nhà sản xuất chuyển sang các quy trình kiểm tra hình ảnh sử dụng thị giác máy tính để phát hiện lỗi sớm hơn trong quá trình sản xuất.

Camera độ phân giải cao và AI thị giác có thể phát hiện những khiếm khuyết nhỏ mà con người có thể bỏ sót, còn các model như Ultralytics YOLO11 có thể hỗ trợ kiểm tra chất lượng, phân loại và đếm theo thời gian thực để đảm bảo chỉ những sản phẩm hoàn hảo mới đến tay khách hàng. Tự động hóa quy trình này giúp tiết kiệm thời gian, giảm chi phí và hạn chế lãng phí, khiến hoạt động sản xuất trở nên trơn tru và hiệu quả hơn.

Hình 5. Ví dụ về việc sử dụng Ultralytics YOLO11 để đếm sản phẩm trên dây chuyền lắp ráp.

Những điểm chính#

Suy luận theo thời gian thực giúp các model AI đưa ra quyết định tức thì, điều này rất quan trọng trong nhiều ngành. Dù là xe tự lái tránh tai nạn, bác sĩ nhanh chóng phân tích ảnh chụp y tế hay nhà máy phát hiện lỗi sản phẩm, phản hồi AI nhanh và chính xác đều tạo ra khác biệt lớn.

Bằng cách cải thiện tốc độ và hiệu quả của các model AI, chúng ta có thể tạo ra những hệ thống thông minh hơn, đáng tin cậy hơn và hoạt động liền mạch trong các tình huống thực tế. Khi công nghệ tiến bộ, các giải pháp AI theo thời gian thực sẽ tiếp tục định hình tương lai, giúp các quy trình hằng ngày nhanh hơn, an toàn hơn và hiệu quả hơn.

Để tìm hiểu thêm, hãy truy cập repository GitHub của chúng tôi và tham gia cùng cộng đồng của chúng tôi. Khám phá những đổi mới trong các lĩnh vực như AI trong xe tự lái và thị giác máy tính trong nông nghiệp trên các trang giải pháp của chúng tôi. Xem các tùy chọn cấp phép của chúng tôi và biến các dự án AI thị giác của bạn thành hiện thực.