Suy luận thời gian thực trong các giải pháp Vision AI đang tạo ra tác động

Tất cả chúng ta đều đã từng trải qua sự khó chịu do kết nối internet chậm gây ra vào một thời điểm nào đó. Tuy nhiên, hãy tưởng tượng sự chậm trễ đó trong một tình huống đòi hỏi sự chính xác cao, chẳng hạn như một chiếc xe tự lái đang phản ứng với chướng ngại vật hoặc một bác sĩ đang phân tích kết quả chụp chiếu quan trọng. Một vài giây trì hoãn thêm có thể dẫn đến những hậu quả nghiêm trọng.

Đây là lúc suy luận AI thời gian thực phát huy tác dụng. Xử lý tốc độ cao và dự đoán thời gian thực cho phép các giải pháp computer vision xử lý và phản ứng với dữ liệu thị giác ngay lập tức. Những quyết định trong chớp mắt này có thể nâng cao độ an toàn, hiệu quả và sự tiện lợi hàng ngày.

Ví dụ, hãy xem xét một bác sĩ phẫu thuật đang thực hiện một thủ thuật tinh vi với sự hỗ trợ của robot. Mọi chuyển động đều được điều khiển thông qua kết nối tốc độ cao và hệ thống thị giác của robot xử lý trường phẫu thuật theo thời gian thực, mang lại phản hồi hình ảnh tức thì cho bác sĩ. Ngay cả sự chậm trễ nhỏ nhất trong vòng lặp phản hồi này cũng có thể dẫn đến những sai sót nghiêm trọng, đặt bệnh nhân vào tình thế nguy hiểm. Đây là một ví dụ hoàn hảo về lý do tại sao các suy luận thời gian thực lại quan trọng; không có chỗ cho độ trễ.

Suy luận AI trong các ứng dụng thực tế phụ thuộc vào ba khái niệm chính: engine suy luận (phần mềm hoặc phần cứng chạy các model AI một cách hiệu quả), độ trễ suy luận (khoảng thời gian trễ giữa đầu vào và đầu ra), và suy luận thời gian thực (khả năng của hệ thống AI trong việc xử lý và phản ứng với độ trễ tối thiểu).

Trong bài viết này, chúng ta sẽ khám phá các khái niệm cốt lõi này và cách các model computer vision như Ultralytics YOLO11 hỗ trợ các ứng dụng dựa trên dự đoán tức thì.

Suy luận AI là gì?#

Chạy một suy luận là quá trình phân tích dữ liệu mới bằng cách sử dụng một model AI đã được huấn luyện để đưa ra dự đoán hoặc giải quyết một tác vụ. Không giống như huấn luyện, vốn bao gồm việc dạy một model bằng cách xử lý một lượng lớn dữ liệu được gán nhãn, suy luận tập trung vào việc tạo ra kết quả nhanh chóng và chính xác bằng cách sử dụng một model đã được huấn luyện.

Fig 1. Hiểu về suy luận là gì.

Ví dụ, trong công tác bảo tồn động vật hoang dã, các bẫy AI camera sử dụng các model computer vision để nhận diện và phân loại động vật theo thời gian thực. Khi camera phát hiện chuyển động, model AI sẽ lập tức nhận biết đó là hươu, động vật săn mồi hay thậm chí là kẻ săn trộm, giúp các nhà nghiên cứu theo dõi quần thể động vật và bảo vệ các loài có nguy cơ tuyệt chủng mà không cần sự can thiệp của con người. Khả năng nhận diện nhanh chóng này giúp việc giám sát theo thời gian thực và phản ứng nhanh hơn với các mối đe dọa tiềm ẩn trở nên khả thi.

Tìm hiểu về các engine suy luận#

Một machine learning model đã được huấn luyện không phải lúc nào cũng sẵn sàng để triển khai ở dạng thô. Một inference engine là một công cụ phần mềm hoặc phần cứng chuyên dụng được thiết kế để thực thi hiệu quả các machine learning model và tối ưu hóa chúng cho việc triển khai trong thế giới thực. Nó sử dụng các optimization techniques như nén model, lượng tử hóa và biến đổi đồ thị để cải thiện hiệu suất và giảm mức tiêu thụ tài nguyên, giúp model có thể triển khai trên nhiều môi trường khác nhau.

Về cốt lõi, một inference engine tập trung vào việc giảm overhead tính toán, giảm thiểu độ trễ và cải thiện hiệu suất để cho phép đưa ra các dự đoán nhanh và chính xác. Sau khi được tối ưu hóa, engine thực thi model trên dữ liệu mới, cho phép nó tạo ra các suy luận thời gian thực một cách hiệu quả. Quá trình tối ưu hóa này đảm bảo rằng các model AI có thể chạy mượt mà trên cả các cloud server hiệu năng cao lẫn các thiết bị edge bị hạn chế về tài nguyên như điện thoại thông minh, thiết bị IoT và các hệ thống nhúng.

Các vấn đề do độ trễ suy luận gây ra#

Inference latency là khoảng thời gian trễ từ khi hệ thống AI nhận được dữ liệu đầu vào (như hình ảnh từ camera) cho đến khi nó tạo ra đầu ra (như phát hiện các đối tượng trong hình ảnh). Thậm chí một độ trễ nhỏ cũng có thể ảnh hưởng đáng kể đến hiệu suất và khả năng sử dụng của các ứng dụng AI thời gian thực.

Độ trễ suy luận xảy ra trong ba giai đoạn chính:

• Thời gian tiền xử lý (Preprocessing time): Thời gian cần thiết để chuẩn bị dữ liệu đầu vào trước khi đưa vào model. Điều này bao gồm việc thay đổi kích thước hình ảnh cho phù hợp với kích thước đầu vào của model, chuẩn hóa các giá trị pixel để có độ chính xác tốt hơn và chuyển đổi định dạng (ví dụ: RGB sang grayscale hoặc video sang chuỗi khung hình).
• Thời gian tính toán (Computation time): Thời gian thực tế mà model cần để thực hiện suy luận. Điều này bao gồm các thao tác như tính toán theo từng layer trong mạng sâu, nhân ma trận, phép tích chập (convolution) và truyền dữ liệu giữa bộ nhớ và các đơn vị xử lý.
• Thời gian hậu xử lý (Post-processing time): Thời gian cần thiết để chuyển đổi kết quả đầu ra thô của model thành các kết quả có ý nghĩa. Điều này có thể bao gồm việc vẽ BBox trong phát hiện đối tượng, lọc các kết quả dương tính giả trong nhận dạng hình ảnh hoặc áp dụng ngưỡng trong phát hiện bất thường.

Độ trễ suy luận rất quan trọng trong các ứng dụng thời gian thực. Ví dụ, trong việc phát hiện lỗi tự động trên dây chuyền lắp ráp, computer vision có thể được sử dụng để kiểm tra sản phẩm khi chúng di chuyển trên băng chuyền.

Hệ thống phải nhanh chóng xác định và gắn cờ các lỗi trước khi sản phẩm chuyển sang giai đoạn tiếp theo. Nếu model mất quá nhiều thời gian để xử lý hình ảnh, các mặt hàng bị lỗi có thể không được phát hiện kịp thời, dẫn đến lãng phí vật liệu, sửa chữa tốn kém hoặc sản phẩm lỗi đến tay khách hàng. Bằng cách giảm độ trễ, các nhà sản xuất có thể cải thiện kiểm soát chất lượng, tăng hiệu suất và cắt giảm tổn thất.

Cách giảm độ trễ suy luận#

Việc giữ cho độ trễ suy luận ở mức tối thiểu là điều cần thiết trong nhiều ứng dụng computer vision. Nhiều kỹ thuật khác nhau có thể được sử dụng để đạt được điều này. Hãy cùng thảo luận về một số kỹ thuật phổ biến nhất được sử dụng để giảm độ trễ suy luận.

Cắt tỉa model (Model pruning)#

Model pruning đơn giản hóa một neural network bằng cách loại bỏ các kết nối không cần thiết (trọng số), giúp nó nhỏ hơn và nhanh hơn. Quá trình này làm giảm tải tính toán của model, cải thiện tốc độ mà không ảnh hưởng quá nhiều đến độ chính xác.

Bằng cách chỉ giữ lại các kết nối quan trọng nhất, pruning đảm bảo suy luận hiệu quả và hiệu suất tốt hơn, đặc biệt là trên các thiết bị có sức mạnh xử lý hạn chế. Nó được sử dụng rộng rãi trong các ứng dụng thời gian thực như AI di động, robotics và điện toán biên (edge computing) để tăng cường hiệu suất trong khi vẫn duy trì độ tin cậy.

Fig 2. Loại bỏ các kết nối kém hiệu quả bằng cách sử dụng model pruning.

Lượng tử hóa model (Model quantization)#

Model quantization là một kỹ thuật giúp các model AI chạy nhanh hơn và sử dụng ít bộ nhớ hơn bằng cách đơn giản hóa các con số chúng sử dụng cho các phép tính. Thông thường, các model này hoạt động với các số dấu phẩy động 32-bit, vốn rất chính xác nhưng đòi hỏi năng lực xử lý lớn. Quantization giảm các số này xuống số nguyên 8-bit, dễ xử lý hơn và chiếm ít không gian hơn.

Fig 3. Sử dụng model quantization để chuyển đổi các giá trị dấu phẩy động thành dạng biểu diễn số nguyên.

Sử dụng các model hiệu quả#

Thiết kế của một model AI có ảnh hưởng lớn đến tốc độ đưa ra dự đoán. Các model như Ultralytics YOLO11, được xây dựng để inference hiệu quả, rất lý tưởng cho các ứng dụng yêu cầu tốc độ xử lý là yếu tố cốt lõi.

Khi bạn xây dựng một giải pháp AI, điều quan trọng là chọn đúng model dựa trên tài nguyên sẵn có và nhu cầu hiệu năng. Nếu bạn bắt đầu với một model quá nặng, bạn sẽ dễ gặp phải các vấn đề như thời gian xử lý chậm, mức tiêu thụ điện năng cao hơn và khó khăn khi triển khai trên các thiết bị hạn chế tài nguyên. Một model nhẹ đảm bảo hiệu suất mượt mà, đặc biệt là cho các ứng dụng thời gian thực và edge.

Tốc độ so với độ chính xác: tối ưu hóa các suy luận thời gian thực#

Mặc dù có nhiều kỹ thuật khác nhau để giảm độ trễ, phần cốt lõi của real-time inferences là cân bằng giữa tốc độ và độ chính xác. Làm cho model chạy nhanh hơn thôi là chưa đủ - tốc độ suy luận cần phải được tối ưu hóa mà không làm tổn hại đến độ chính xác. Một hệ thống tạo ra các dự đoán nhanh chóng nhưng không chính xác thì không hiệu quả. Đó là lý do tại sao việc kiểm thử kỹ lưỡng là tối quan trọng để đảm bảo các model hoạt động tốt trong các tình huống thực tế. Một hệ thống có vẻ nhanh trong quá trình kiểm thử nhưng lại thất bại dưới các điều kiện thực tế thì chưa thực sự được tối ưu hóa.

Các ứng dụng AI thị giác tận dụng suy luận thời gian thực#

Tiếp theo, hãy cùng tìm hiểu một số ứng dụng thực tế nơi suy luận thời gian thực đang biến đổi các ngành công nghiệp bằng cách cho phép phản ứng tức thì với dữ liệu hình ảnh đầu vào.

Các hệ thống tự thanh toán tại cửa hàng bán lẻ#

Các model computer vision như Ultralytics YOLO11 có thể giúp cải thiện hệ thống thanh toán tự động bằng cách làm cho việc nhận diện sản phẩm nhanh hơn và chính xác hơn. Khả năng hỗ trợ của YOLO11 đối với các computer vision tasks khác nhau như object detection và instance segmentation giúp nhận diện sản phẩm ngay cả khi thiếu hoặc hỏng mã vạch. Vision AI có thể giảm bớt nhu cầu nhập liệu thủ công và đẩy nhanh quá trình thanh toán.

Ngoài việc nhận diện sản phẩm, computer vision cũng có thể được tích hợp vào các hệ thống tự thanh toán để xác minh giá cả, ngăn chặn gian lận và tăng cường sự tiện lợi cho khách hàng. Các camera được trang bị AI có thể tự động phân biệt các sản phẩm tương tự và phát hiện hành vi nghi vấn tại quầy thanh toán. Điều này bao gồm việc nhận diện các trường hợp "không quét" (non-scans), nơi khách hàng hoặc thu ngân vô tình bỏ sót một mặt hàng, và các nỗ lực gian lận có chủ đích hơn, như "tráo đổi sản phẩm" (product switching), nơi mã vạch rẻ hơn được dán đè lên một mặt hàng đắt tiền hơn.

Fig 4. AI có thể cải thiện các quầy tự thanh toán.

Một ví dụ tuyệt vời về điều này là Kroger, nhà bán lẻ lớn tại Mỹ, đã tích hợp computer vision và AI vào hệ thống tự thanh toán của mình. Bằng cách sử dụng phân tích video thời gian thực, Kroger đã có thể tự động sửa hơn 75% lỗi thanh toán, cải thiện cả trải nghiệm khách hàng lẫn hoạt động của cửa hàng.

Kiểm tra chất lượng sử dụng computer vision#

Việc thủ công inspecting products để kiểm tra chất lượng có thể chậm và không phải lúc nào cũng chính xác. Đó là lý do tại sao ngày càng có nhiều nhà sản xuất chuyển sang các quy trình kiểm tra thị giác sử dụng computer vision để phát hiện lỗi sớm hơn trong quá trình sản xuất.

Camera độ phân giải cao và Vision AI có thể phát hiện các lỗi cực nhỏ mà con người có thể bỏ sót, và các model như Ultralytics YOLO11 có thể hỗ trợ kiểm tra chất lượng, phân loại và đếm theo thời gian thực để đảm bảo chỉ những sản phẩm hoàn hảo mới đến tay khách hàng. Tự động hóa quy trình này giúp tiết kiệm thời gian, cắt giảm chi phí và giảm thiểu lãng phí, giúp quá trình sản xuất mượt mà và hiệu quả hơn.

Fig 5. Ví dụ về việc sử dụng Ultralytics YOLO11 để đếm sản phẩm trên dây chuyền lắp ráp.

Các điểm chính cần lưu ý#

Suy luận thời gian thực giúp các model AI đưa ra quyết định tức thì, điều này rất quan trọng trong nhiều ngành công nghiệp. Dù đó là một chiếc xe tự lái tránh tai nạn, một bác sĩ phân tích nhanh kết quả chụp chiếu y tế hay một nhà máy phát hiện lỗi sản phẩm, các phản hồi AI nhanh và chính xác tạo ra sự khác biệt lớn.

Bằng cách cải thiện tốc độ và hiệu suất của các model AI, chúng ta có thể tạo ra các hệ thống thông minh hơn, đáng tin cậy hơn, hoạt động liền mạch trong các tình huống thực tế. Khi công nghệ phát triển, các giải pháp AI thời gian thực sẽ tiếp tục định hình tương lai, giúp các quy trình hàng ngày trở nên nhanh hơn, an toàn hơn và hiệu quả hơn.

Để tìm hiểu thêm, hãy truy cập GitHub repository của chúng tôi và tham gia cùng our community. Khám phá các đổi mới trong các lĩnh vực như AI in self-driving cars và computer vision in agriculture trên các trang giải pháp của chúng tôi. Xem qua our licensing options và biến các dự án vision AI của bạn thành hiện thực.