Sử dụng Ultralytics YOLO11 để chạy inferences theo lô

Nếu bạn từng thấy một chiếc xe tự lái hoạt động, bạn đã chứng kiến real-time AI inferencing. Một chiếc xe tự lái thường sử dụng camera, cảm biến và AI để xử lý môi trường xung quanh và đưa ra các quyết định gần như tức thời. Tuy nhiên, khi không cần phản hồi nhanh, việc suy luận thời gian thực có thể tiêu tốn nhiều tài nguyên.

Một lựa chọn tốt hơn trong những trường hợp này là suy luận theo lô (batch inference). Thay vì xử lý dữ liệu liên tục theo thời gian thực, suy luận theo lô có thể xử lý các tập dữ liệu lớn vào các khoảng thời gian đã được lên lịch. Phương pháp này giúp tiết kiệm tài nguyên, giảm tiêu thụ năng lượng và cắt giảm chi phí hạ tầng.

Ví dụ, trong các ứng dụng computer vision, các model như Ultralytics YOLO11 có thể được sử dụng cho các tác vụ thời gian thực như object detection và instance segmentation. Tuy nhiên, việc xử lý khối lượng lớn dữ liệu hình ảnh trong thời gian thực có thể đòi hỏi cao về tài nguyên.

Hình 1. Ví dụ về phân đoạn các đối tượng trong một hình ảnh bằng cách sử dụng Ultralytics YOLO11.

Với tính năng suy luận theo batch, Ultralytics YOLO11 có thể chạy trên dữ liệu trực quan theo batch, giúp giảm tải cho hệ thống và cải thiện hiệu suất mà không làm giảm chất lượng. Điều này giúp dễ dàng triển khai các giải pháp Vision AI ở quy mô lớn mà không làm quá tải phần cứng hoặc tăng chi phí.

Trong bài viết này, chúng ta sẽ khám phá batch inferencing, các lợi ích của nó, và cách batch inferencing using Ultralytics YOLO11 có thể được ứng dụng trong các ứng dụng computer vision. Hãy cùng bắt đầu nhé!

Cái nhìn về suy luận theo lô trong thị giác máy tính#

Bạn có thể coi suy luận theo lô như việc giải quyết một nhiệm vụ lớn cùng một lúc thay vì xử lý từng phần nhỏ khi nó đến. Thay vì liên tục xử lý dữ liệu theo thời gian thực, suy luận theo lô cho phép bạn xử lý các nhóm dữ liệu lớn vào những khoảng thời gian cố định. Phương pháp này hiệu quả hơn nhiều khi không cần phản hồi tức thì, giúp tiết kiệm tài nguyên tính toán, giảm sử dụng năng lượng và cắt giảm chi phí.

Khi nói đến thị giác máy tính, có những ứng dụng nhất định mà độ trễ thấp là yếu tố sống còn. Độ trễ thấp đề cập đến khoảng thời gian trễ tối thiểu giữa việc nhận đầu vào (ví dụ: một khung hình ảnh hoặc video) và phản hồi của hệ thống. Ví dụ, trong giám sát an ninh thời gian thực, ngay cả những sự chậm trễ nhỏ cũng có thể dẫn đến rủi ro an toàn.

Tuy nhiên, trong nhiều kịch bản computer vision khác, độ trễ thấp không quá quan trọng. Đây là lúc batch inferencing phát huy tác dụng - khi hệ thống không cần phản hồi ngay lập tức. Batch inferencing hoạt động bằng cách cung cấp dữ liệu hình ảnh cho computer vision model theo nhóm hoặc batch, cho phép hệ thống xử lý các tập dữ liệu lớn cùng một lúc thay vì liên tục trong thời gian thực.

Hiểu cách hoạt động của suy luận theo lô#

Dưới đây là cái nhìn chi tiết hơn về các bước liên quan trong suy luận theo lô:

• Thu thập dữ liệu: Dữ liệu hình ảnh được thu thập trong một khoảng thời gian. Điều này có thể bao gồm cảnh quay an ninh, hình ảnh sản phẩm hoặc dữ liệu khách hàng, tùy thuộc vào ứng dụng.

• Chuẩn bị lô: Dữ liệu đã thu thập sau đó được nhóm lại thành các lô. Trong bước này, dữ liệu được định dạng theo yêu cầu của model. Ví dụ, hình ảnh có thể được thay đổi kích thước, chuẩn hóa hoặc chuyển đổi sang định dạng phù hợp để model xử lý.

• Prediction: Khi dữ liệu đã được chuẩn bị, toàn bộ batch sẽ được đưa vào model (chẳng hạn như Ultralytics YOLO11), tiến hành xử lý toàn bộ batch cùng một lúc. Điều này giúp model đưa ra predictions cho toàn bộ dữ liệu trong batch một cách đồng thời, làm cho quá trình trở nên hiệu quả hơn so với việc xử lý từng điểm dữ liệu một cách riêng lẻ.

Khi nào nên sử dụng suy luận theo lô?#

Bây giờ chúng ta đã nắm được suy luận theo lô là gì và nó khác biệt thế nào với suy luận thời gian thực, hãy cùng xem xét kỹ hơn khi nào nên sử dụng nó.

Batch inferencing rất lý tưởng để phân tích dữ liệu lịch sử. Giả sử bạn có cảnh quay giám sát từ một metro station trong tháng qua và bạn đang cố gắng xác định các mẫu cụ thể, chẳng hạn như số lượng người ra vào vào các thời điểm khác nhau trong ngày.

Thay vì xử lý từng khung hình theo thời gian thực, suy luận theo lô cho phép bạn xử lý toàn bộ dữ liệu của cả tháng theo từng lô, xác định các sự kiện hoặc xu hướng chính mà không cần kết quả ngay lập tức. Bằng cách này, bạn có thể phân tích khối lượng dữ liệu lớn một cách hiệu quả hơn và thu được thông tin chi tiết về các xu hướng dài hạn mà không gây quá tải hệ thống hoặc yêu cầu giám sát liên tục.

Suy luận theo lô cũng là một giải pháp tối ưu khi tài nguyên hệ thống bị hạn chế. Bằng cách chạy suy luận vào giờ thấp điểm (ví dụ: qua đêm), bạn có thể tiết kiệm chi phí tính toán và đảm bảo hệ thống không bị quá tải trong thời gian sử dụng cao điểm. Đây là phương pháp hiệu quả và tiết kiệm chi phí cho các doanh nghiệp hoặc dự án cần xử lý các tập dữ liệu lớn nhưng không yêu cầu phân tích theo thời gian thực.

Suy luận theo lô sử dụng Ultralytics YOLO11#

Ultralytics Python package hỗ trợ batch inferencing cho các model như YOLO11. Với YOLO11, bạn có thể dễ dàng chạy batch inference bằng cách chỉ định đối số 'batch', xác định số lượng hình ảnh hoặc khung hình video được xử lý cùng một lúc.

Trong quá trình batch inferencing, các predictions được tạo ra cho tất cả hình ảnh trong batch cùng một lúc. Theo mặc định, kích thước batch được đặt là 1, nhưng bạn có thể điều chỉnh nó thành bất kỳ số nào bạn muốn.

Ví dụ, nếu batch size được đặt thành 5, Ultralytics YOLO11 sẽ xử lý năm ảnh hoặc khung hình video tại một thời điểm và tạo ra predictions cho cả năm ảnh cùng lúc. Các batch size lớn hơn thường mang lại thời gian inference nhanh hơn, vì việc xử lý nhiều ảnh trong một batch hiệu quả hơn so với việc xử lý chúng riêng lẻ.

Các ứng dụng thị giác máy tính được kích hoạt bởi suy luận theo lô#

Tiếp theo, hãy khám phá một số trường hợp sử dụng thị giác máy tính trong thực tế cho suy luận theo lô.

Nâng cao chẩn đoán và nghiên cứu trong chăm sóc sức khỏe#

Trong medical research, việc làm việc với lượng lớn dữ liệu hình ảnh rất phổ biến. Tại đây, batch inferencing có thể giúp các nhà khoa học phân tích dữ liệu dễ dàng hơn trong các lĩnh vực như hóa học, sinh học và di truyền học. Thay vì phân tích từng cái một, dữ liệu được xử lý theo batch, giúp tiết kiệm thời gian và công sức.

Ví dụ, tại các cơ sở y tế, suy luận theo lô có thể đặc biệt hữu ích để phân tích các tập dữ liệu lớn về hình ảnh y tế như MRI hoặc CT scan. Các bệnh viện có thể thu thập các bản quét này trong suốt cả ngày và xử lý chúng theo lô vào ban đêm.

Cách tiếp cận này cho phép các bệnh viện sử dụng phần cứng và nhân viên hiệu quả hơn, giảm chi phí vận hành và đảm bảo rằng tất cả các bản quét được xem xét theo cách nhất quán và đồng bộ. Nó cũng có lợi cho các dự án nghiên cứu lớn và các nghiên cứu dài hạn, nơi việc xử lý lượng lớn dữ liệu là cần thiết.

Hình 2. Phát hiện bản quét y tế bằng cách sử dụng Ultralytics YOLO11.

Cải thiện xe tự lái thông qua mô phỏng#

Xe tự hành sử dụng các công nghệ AI như computer vision để xử lý thế giới xung quanh chúng. Với sự trợ giúp của các advanced model như Ultralytics YOLO11, các hệ thống trên xe có thể nhận diện các phương tiện khác, vạch kẻ đường, biển báo giao thông và người đi bộ trên đường. Mặc dù real-time inferencing là rất quan trọng trên đường, công nghệ xe tự hành cũng phụ thuộc rất nhiều vào batch inferencing ở phía sau.

Fig 3. YOLO11 có thể dễ dàng phát hiện người đi bộ trên đường.

Sau khi xe hoàn thành một chuyến đi, dữ liệu thu thập được, chẳng hạn như hàng giờ cảnh quay từ camera, số liệu cảm biến và quét LIDAR, có thể được xử lý sau đó theo các lô lớn. Điều này giúp các kỹ sư có thể cập nhật các model AI của xe, nâng cao an toàn hệ thống và cải thiện khả năng xử lý các điều kiện lái xe khác nhau của xe.

Suy luận theo lô cũng được sử dụng trong mô phỏng lái xe tự động để kiểm tra xem xe tự lái sẽ phản ứng như thế nào trong các tình huống khác nhau, chẳng hạn như điều hướng các giao lộ đông đúc hoặc phản ứng với các chuyển động không thể đoán trước của người đi bộ. Cách tiếp cận này giúp tiết kiệm thời gian, giảm chi phí và tránh được những rủi ro liên quan đến việc kiểm tra mọi kịch bản trong đời thực.

Phân tích dữ liệu bán lẻ được thúc đẩy bởi suy luận theo lô#

Tương tự, đối với các cửa hàng bán lẻ, batch inferencing với các computer vision model như Ultralytics YOLO11 có thể nâng cao đáng kể hiệu quả vận hành. Ví dụ, các hệ thống camera trong cửa hàng có thể chụp hàng nghìn hình ảnh trong suốt cả ngày, sau đó có thể được xử lý theo batch vào ban đêm.

Điều này cho phép các cửa hàng phân tích những gì đang diễn ra trong cửa hàng, chẳng hạn như hành vi của khách hàng, mẫu lưu lượng và tương tác với sản phẩm, mà không cần xử lý theo thời gian thực, điều có thể là thách thức đối với các cửa hàng nhỏ hơn.

Một ví dụ thú vị khác là sử dụng batch inferencing để tạo bản đồ nhiệt (heatmap), trực quan hóa các khu vực có hoạt động của khách hàng cao và thấp trong cửa hàng. Bằng cách phân tích các heatmaps này, các nhà bán lẻ có thể xác định khu vực nào thu hút nhiều lượng người qua lại nhất và phần nào của cửa hàng có thể cần thêm sự chú ý hoặc tối ưu hóa vị trí sản phẩm. Dữ liệu này có thể giúp các nhà bán lẻ đưa ra quyết định tốt hơn về bố trí cửa hàng, định vị sản phẩm và thậm chí cả chiến lược khuyến mãi để cải thiện trải nghiệm khách hàng và doanh số.

Fig 4. Bản đồ nhiệt có thể giúp các nhà bán lẻ xác định các khu vực phổ biến trong cửa hàng.

Ưu điểm và nhược điểm của suy luận theo lô#

Dưới đây là một số lợi ích chính mà suy luận theo lô có thể mang lại cho nhiều ngành công nghiệp:

• Dễ dàng tích hợp: Batch inferencing có thể dễ dàng tích hợp vào các workflow hiện có, đặc biệt đối với các ngành như bán lẻ, security hoặc chăm sóc sức khỏe, nơi cần xử lý số lượng lớn dữ liệu hàng loạt.
• Quản lý dữ liệu dễ dàng hơn: Khi làm việc với lượng lớn dữ liệu, suy luận theo lô có thể hợp lý hóa việc quản lý dữ liệu vì dữ liệu được nhóm thành các phần có thể quản lý được. Điều này giúp dễ dàng theo dõi, xem xét và tổ chức dữ liệu theo thời gian.
• Giảm tải mạng: Khi dữ liệu được xử lý theo lô, lượng dữ liệu truyền đi tại bất kỳ thời điểm nào có thể được giảm thiểu, giảm bớt áp lực lên tài nguyên mạng trong các hệ thống dựa trên đám mây hoặc môi trường tính toán phân tán.

Mặc dù có nhiều ưu điểm khi sử dụng suy luận theo lô, nhưng cũng có một số hạn chế cần xem xét. Dưới đây là một vài yếu tố cần ghi nhớ:

• Yêu cầu về lưu trữ: Lưu trữ các tập dữ liệu lớn để xử lý theo lô có thể làm tăng đáng kể chi phí lưu trữ, đặc biệt với hình ảnh độ phân giải cao, video hoặc lượng lớn dữ liệu.
• Tiềm năng tồn đọng: Nếu dữ liệu tích tụ nhanh chóng hoặc các lô lớn không được xử lý đúng hạn, tình trạng tồn đọng có thể phát triển. Điều này có thể dẫn đến chậm trễ trong việc cung cấp thông tin chi tiết và xử lý dữ liệu mới kịp thời.
• Tăng đột biến tài nguyên: Các lô lớn, đặc biệt là những lô liên quan đến hình ảnh độ phân giải cao, có thể gây ra sự gia tăng đột biến trong bộ nhớ hoặc việc sử dụng máy tính. Nếu không được quản lý đúng cách, những sự tăng đột biến này có thể làm quá tải hệ thống, dẫn đến chậm máy hoặc bị treo.

Các điểm chính cần lưu ý#

Suy luận theo lô là một cách hiệu quả để xử lý khối lượng lớn dữ liệu hình ảnh không yêu cầu kết quả ngay lập tức. Thay vì phân tích từng hình ảnh theo thời gian thực, nó xử lý chúng theo lô vào các thời điểm đã lên lịch, như qua đêm.

Phương pháp này tiết kiệm chi phí, giảm tải tính toán và vẫn cung cấp kết quả chính xác. Từ việc giúp các cửa hàng quản lý hàng tồn kho đến hỗ trợ các bác sĩ phân tích bản quét y tế và nâng cao công nghệ xe tự lái, suy luận theo lô giúp thị giác máy tính trở nên dễ tiếp cận hơn, giá cả phải chăng hơn và thiết thực hơn cho các ứng dụng thực tế.

Sẵn sàng đi sâu vào AI? Khám phá GitHub repository của chúng tôi, kết nối với our community và xem qua our licensing options để bắt đầu hành trình computer vision của bạn. Tìm hiểu thêm về các đổi mới như AI in manufacturing và computer vision in the logistics trên các trang giải pháp của chúng tôi.