Chạy các model Ultralytics YOLO trên AI PC của Intel với OpenVINO

YOLO Vision 2024 (YV24), sự kiện thường niên theo hình thức hybrid của Ultralytics, đã quy tụ những người đam mê AI, các developer và chuyên gia từ khắp nơi trên thế giới để khám phá những đổi mới mới nhất trong thị giác máy tính. YV24 là một cơ hội và nền tảng tuyệt vời để thảo luận về những đột phá mới. Sự kiện có sự tham gia của các tên tuổi chủ chốt trong ngành AI, giới thiệu những đổi mới mới nhất của họ. Trong số đó có Intel, đơn vị đã tham gia sự kiện và trình bày bài phát biểu chính về AI PC đột phá mới của họ cũng như khả năng tích hợp Intel OpenVINO với các model YOLO của Ultralytics như Ultralytics YOLO11.

Bài nói chuyện do Adrian Boguszewski, Software Evangelist, đồng tác giả của dataset LandCover.ai và người hướng dẫn các developer về bộ công cụ OpenVINO của Intel, cùng Dmitriy Pastushenkov, AI PC Evangelist với hơn 20 năm kinh nghiệm trong tự động hóa công nghiệp và AI, dẫn dắt. Trong sự kiện, Adrian chia sẻ sự hào hứng của mình: "Đây là một sự kiện tuyệt vời hôm nay, không chỉ vì Ultralytics đã ra mắt một phiên bản YOLO mới, mà còn vì chúng tôi có thể giới thiệu model mới này chạy trên phần cứng mới của mình, cũng như phiên bản mới của OpenVINO."

Trong bài viết này, chúng ta sẽ xem xét những điểm nổi bật chính từ bài nói chuyện của Intel tại YV24, tìm hiểu chi tiết về AI PC của họ, dòng Intel Core Ultra 200V và cách các sản phẩm này tích hợp với các model YOLO của Ultralytics bằng bộ công cụ OpenVINO. Hãy bắt đầu!

Công nghệ AI tiên tiến nhất năm 2024#

Dmitriy mở đầu bài phát biểu chính bằng cách đi sâu vào những khác biệt quan trọng giữa AI truyền thống và AI tạo sinh. Trọng tâm xoay quanh cách các công nghệ này và các trường hợp sử dụng của chúng đang phát triển trong năm 2024. Các kỹ thuật AI truyền thống như thị giác máy tính và xử lý ngôn ngữ tự nhiên đóng vai trò thiết yếu trong các tác vụ như ước tính tư thế, phát hiện đối tượng và nhận dạng giọng nói. Tuy nhiên, AI tạo sinh đại diện cho một làn sóng công nghệ AI mới hơn, bao gồm các ứng dụng như chatbot, tạo ảnh từ văn bản, viết code và thậm chí tạo video từ văn bản.

Hình 1. Adrian và Dmitriy từ Intel trên sân khấu YV24, thảo luận về các trường hợp sử dụng AI.

Dmitriy chỉ ra sự khác biệt về quy mô giữa hai loại này. Ông giải thích rằng trong khi các model AI truyền thống gồm hàng triệu tham số, các model AI tạo sinh hoạt động ở quy mô lớn hơn nhiều. Các model AI tạo sinh thường có hàng tỷ hoặc thậm chí hàng nghìn tỷ tham số, khiến chúng đòi hỏi năng lực tính toán lớn hơn đáng kể.

Intel AI PC: Biên giới phần cứng AI mới#

Dmitriy giới thiệu Intel AI PC như một giải pháp phần cứng mới được thiết kế để giải quyết những thách thức ngày càng tăng khi chạy hiệu quả cả model AI truyền thống lẫn AI tạo sinh. Intel AI PC là một thiết bị mạnh mẽ và tiết kiệm năng lượng. Thiết bị có khả năng chạy nhiều loại model AI trực tiếp trên máy, không cần xử lý dựa trên cloud.

Xử lý cục bộ giúp bảo đảm tính riêng tư của dữ liệu nhạy cảm. Khi các model AI có thể hoạt động độc lập với kết nối Internet, những mối quan ngại về đạo đức của các ngành liên quan đến quyền riêng tư và bảo mật sẽ được giải quyết.

Động lực chính phía sau Intel AI PC là bộ xử lý Intel Core Ultra 200V Series. Bộ xử lý này tích hợp ba thành phần chủ chốt: Bộ xử lý trung tâm (CPU), Bộ xử lý đồ họa (GPU) và Bộ xử lý thần kinh (NPU). Mỗi thành phần đảm nhiệm một vai trò riêng trong việc xử lý các loại workload AI khác nhau. CPU phù hợp với các tác vụ nhỏ hơn, có độ trễ thấp và cần phản hồi nhanh, trong khi GPU được tối ưu cho các hoạt động có throughput cao như chạy model AI. NPU được thiết kế để tiết kiệm điện năng, rất phù hợp với các tác vụ chạy trong thời gian dài như phát hiện đối tượng theo thời gian thực bằng các model như YOLO11.

Bài trình bày nhấn mạnh rằng CPU có thể đạt tối đa 5 TOPS (nghìn tỷ phép tính mỗi giây), GPU tối đa 67 TOPS, còn NPU cung cấp một phương thức tiết kiệm năng lượng để chạy các tác vụ AI liên tục mà không làm cạn kiệt tài nguyên hệ thống.

Những tiến bộ AI của Intel: Intel Core Ultra 200V series#

Bộ xử lý Intel Core Ultra 200V Series tích hợp cả ba engine AI — NPU, CPU và GPU — vào một chip nhỏ duy nhất. Thiết kế này hoàn toàn phù hợp với các thiết bị nhỏ gọn như notebook mà không làm giảm hiệu năng.

Bộ xử lý cũng tích hợp RAM, giảm nhu cầu sử dụng card đồ họa riêng. Điều này giúp giảm mức tiêu thụ điện năng và giữ cho thiết bị nhỏ gọn. Dmitriy cũng nhấn mạnh tính linh hoạt của bộ xử lý. Người dùng có thể quyết định chạy model AI trên CPU, GPU hoặc NPU, tùy thuộc vào tác vụ. Ví dụ, phát hiện đối tượng bằng các model YOLO11 có thể chạy trên bất kỳ engine nào trong số này, trong khi các tác vụ phức tạp hơn như tạo ảnh từ văn bản có thể sử dụng đồng thời cả GPU và NPU để đạt hiệu năng tốt hơn.

Trong phần trình bày, Dmitriy lấy chip ra khỏi túi, giúp mọi người hình dung rõ nó thực sự nhỏ đến mức nào — dù có khả năng xử lý những tác vụ AI tiên tiến như vậy. Đây là một cách thú vị và đáng nhớ để cho thấy Intel đang đưa các khả năng AI mạnh mẽ lên những thiết bị di động và thiết thực hơn.

Hình 2. Bộ xử lý Intel Core Ultra 200V có thể vừa trong một chiếc túi.

Tối ưu hóa model AI với Intel OpenVINO#

Sau khi giới thiệu những tiến bộ phần cứng mới nhất của Intel, Dmitriy chuyển sang nói về software stack hỗ trợ AI của Intel. Ông giới thiệu OpenVINO, một framework mã nguồn mở của Intel được thiết kế để tối ưu hóa và triển khai model AI hiệu quả trên nhiều thiết bị khác nhau. OpenVINO không chỉ hỗ trợ các tác vụ thị giác mà còn mở rộng khả năng hỗ trợ đến những model AI được sử dụng cho xử lý ngôn ngữ tự nhiên, xử lý âm thanh, Transformer, v.v.

OpenVINO tương thích với các nền tảng phổ biến như PyTorch, TensorFlow, và ONNX, đồng thời developer có thể dễ dàng tích hợp nó vào workflow của mình. Một tính năng quan trọng được ông nhấn mạnh là lượng tử hóa. Lượng tử hóa nén các trọng số của model để giảm kích thước, nhờ đó các model lớn có thể chạy mượt mà trên thiết bị cục bộ mà không cần cloud. OpenVINO hoạt động trên nhiều framework, chạy được trên CPU, GPU, NPU, FPGA hoặc thậm chí các thiết bị ARM, đồng thời hỗ trợ Windows, Linux và macOS. Dmitriy cũng hướng dẫn khán giả cách bắt đầu sử dụng OpenVINO một cách dễ dàng.

Hình 3. Dmitriy hướng dẫn cách bắt đầu sử dụng OpenVINO.

Tích hợp Ultralytics với Intel OpenVINO#

Trong phần thứ hai của bài nói chuyện, Adrian tiếp quản micro và giải thích về khả năng tích hợp liền mạch giữa các model YOLO của Ultralytics với bộ công cụ OpenVINO của Intel, giúp đơn giản hóa quy trình triển khai model YOLO. Ông trình bày từng bước cách export model YOLO bằng package Python của Ultralytics sang format OpenVINO một cách nhanh chóng và đơn giản. Sự tích hợp này giúp developer dễ dàng tối ưu model cho phần cứng Intel và khai thác tối đa cả hai nền tảng.

Hình 4. Adrian giải thích cách Ultralytics giúp bạn dễ dàng export model sang format OpenVINO.

Adrian minh họa rằng sau khi model YOLO của Ultralytics được train, người dùng có thể export model bằng một vài flag đơn giản trên command line. Ví dụ, người dùng có thể chỉ định muốn export model dưới dạng floating-point để đạt độ chính xác tối đa hay dưới dạng đã lượng tử hóa để có tốc độ và hiệu quả tốt hơn. Ông cũng nêu bật cách developer có thể quản lý quy trình này trực tiếp bằng code, sử dụng các tùy chọn như lượng tử hóa INT8 để cải thiện hiệu năng mà không làm giảm quá nhiều độ chính xác.

Demo AI theo thời gian thực trên Intel AI PC#

Biến toàn bộ lý thuyết này thành thực tiễn, đội ngũ Intel đã trình diễn demo phát hiện đối tượng theo thời gian thực bằng cách chạy YOLO11 trên Intel AI PC. Adrian cho thấy hệ thống xử lý model trên các bộ xử lý khác nhau, đạt 36 khung hình mỗi giây (FPS) trên CPU với model floating-point, hơn 100 FPS trên GPU tích hợp và 70 FPS với phiên bản lượng tử hóa INT8. Họ đã cho thấy Intel AI PC có thể xử lý các tác vụ AI phức tạp hiệu quả đến mức nào.

Ông cũng chỉ ra rằng hệ thống có thể chạy các model song song, sử dụng đồng thời CPU, GPU và NPU cho những tác vụ mà toàn bộ dữ liệu hoặc các frame video đã có sẵn từ trước. Điều này hữu ích khi xử lý workload nặng như video. Hệ thống có thể phân chia workload trên các bộ xử lý khác nhau, giúp quá trình nhanh hơn và hiệu quả hơn.

Để kết thúc, Adrian đề cập rằng người dùng có thể thử các demo tại nhà, bao gồm các giải pháp như đếm người và quản lý hàng đợi thông minh. Sau đó, ông trình diễn một demo bổ sung, trong đó người dùng có thể nhập prompt để tạo ra những hình ảnh tựa như trong mơ theo thời gian thực trên GPU. Demo cho thấy tính linh hoạt của Intel AI PC đối với cả các tác vụ AI truyền thống lẫn những dự án AI tạo sinh và sáng tạo.

Phát hiện đối tượng theo thời gian thực với Intel OpenVINO#

Tại sự kiện, Intel có một booth trưng bày demo phát hiện đối tượng theo thời gian thực bằng Ultralytics YOLO11, chạy trên Intel AI PC của họ. Người tham dự được xem model hoạt động thực tế, được tối ưu bằng OpenVINO và triển khai trên bộ xử lý Intel Core Ultra 200V.

Hình 5. Người tham dự có cơ hội xem demo theo thời gian thực tại booth Intel OpenVINO.

Tại booth Intel, Dmitriy chia sẻ: "Đây là lần đầu tiên tôi tham dự YOLO Vision và tôi rất vui khi có mặt tại Madrid. Chúng tôi đang trình bày model YOLO11 của Ultralytics, chạy trên bộ xử lý Intel Core Ultra 200V. Model cho thấy hiệu năng xuất sắc, và chúng tôi sử dụng OpenVINO để tối ưu hóa và triển khai model. Việc hợp tác với Ultralytics và chạy model trên phần cứng Intel mới nhất rất dễ dàng, tận dụng CPU, GPU và NPU." Booth cũng có một số phần quà thú vị để người tham dự mang về, chẳng hạn như áo phông và notebook.

Những điểm chính#

Bài nói chuyện công nghệ của Intel tại YV24, giới thiệu các bộ xử lý Intel Core Ultra 200V Series, đã cho thấy bộ công cụ OpenVINO tối ưu hóa các model AI như Ultralytics YOLO11 như thế nào. Sự tích hợp này cho phép người dùng chạy các model YOLO trực tiếp trên thiết bị, mang lại hiệu năng tốt cho các tác vụ thị giác máy tính như phát hiện đối tượng. Lợi ích chính là người dùng không cần phụ thuộc vào các dịch vụ cloud.

Developer và những người đam mê AI có thể dễ dàng chạy và fine-tune các model YOLO, tận dụng đầy đủ phần cứng như CPU, GPU và NPU cho các ứng dụng theo thời gian thực. Bộ công cụ Intel OpenVINO, khi kết hợp với các model YOLO của Ultralytics, mở ra những khả năng mới để đưa các năng lực AI tiên tiến trực tiếp lên thiết bị cá nhân, trở thành lựa chọn lý tưởng cho các developer mong muốn thúc đẩy đổi mới AI trong nhiều ngành khác nhau.

Hãy cùng hợp tác và đổi mới! Truy cập repository GitHub của chúng tôi để khám phá những đóng góp của chúng tôi và tham gia cùng cộng đồng của chúng tôi. Tìm hiểu cách chúng tôi đang sử dụng AI để tạo ra tác động trong các ngành như sản xuất và chăm sóc sức khỏe.