Chạy các model Ultralytics YOLO trên AI PC của Intel với OpenVINO

YOLO Vision 2024 (YV24), sự kiện lai thường niên của Ultralytics, quy tụ những người đam mê AI, lập trình viên và chuyên gia từ khắp nơi trên thế giới để khám phá các đổi mới mới nhất trong lĩnh vực computer vision. YV24 là một cơ hội tuyệt vời và là nền tảng để thảo luận về các bước đột phá mới. Sự kiện có sự tham gia của các tên tuổi lớn trong ngành AI giới thiệu các đổi mới mới nhất của họ. Trong số đó có Intel, đơn vị đã tham gia sự kiện với bài phát biểu chủ đạo về dòng AI PC mang tính cách mạng mới của họ và sự tích hợp giữa Intel OpenVINO’s với các Ultralytics YOLO models như Ultralytics YOLO11.

Bài thuyết trình do Adrian Boguszewski, Chuyên gia Evangelist về Phần mềm – đồng tác giả của dataset LandCover.ai và là người hướng dẫn các lập trình viên về bộ công cụ OpenVINO của Intel, dẫn dắt, cùng với Dmitriy Pastushenkov, Chuyên gia Evangelist về AI PC với hơn 20 năm kinh nghiệm trong lĩnh vực industrial automation và AI. Trong sự kiện, Adrian đã chia sẻ sự hào hứng của mình và cho biết: "Hôm nay là một sự kiện tuyệt vời, không chỉ vì Ultralytics đã cho ra mắt a new YOLO version, mà còn vì chúng tôi có thể giới thiệu mô hình mới này chạy trên phần cứng mới của mình, cũng như phiên bản mới của OpenVINO."

Trong bài viết này, chúng ta sẽ điểm qua những điểm nổi bật chính từ Intel’s talk at YV24, đi sâu vào chi tiết về AI PC của họ, dòng Intel Core Ultra 200V Series, và cách các dòng sản phẩm này tích hợp với các mô hình Ultralytics YOLO bằng cách sử dụng bộ công cụ OpenVINO. Hãy bắt đầu ngay!

Các công nghệ AI tiên tiến trong năm 2024#

Dmitriy mở đầu bài phát biểu chủ đạo bằng việc đi sâu vào các điểm khác biệt chính giữa AI truyền thống và generative AI. Trọng tâm xoay quanh việc các công nghệ này và các trường hợp sử dụng của chúng đang tiến hóa như thế nào trong năm 2024. Các kỹ thuật AI truyền thống như computer vision và natural language processing đã đóng vai trò cốt lõi cho các tasks như pose estimation, object detection, và voice recognition. Tuy nhiên, Generative AI đại diện cho một làn sóng công nghệ AI mới hơn, bao gồm các ứng dụng như chatbots, text-to-image generation, code writing, và thậm chí cả text-to-video.

Hình 1. Adrian và Dmitriy từ Intel trên sân khấu YV24 đang thảo luận về các trường hợp sử dụng AI.

Dmitriy chỉ ra sự khác biệt về quy mô giữa hai loại hình này. Ông giải thích rằng trong khi traditional AI models bao gồm hàng triệu tham số, các mô hình generative AI lại hoạt động ở quy mô lớn hơn nhiều. Các Generative AI models thường liên quan đến hàng tỷ hoặc thậm chí hàng nghìn tỷ tham số, khiến chúng đòi hỏi cao hơn hẳn về mặt computationally demanding.

Intel AI PC: Một biên giới phần cứng AI mới#

Dmitriy đã giới thiệu Intel AI PC như một giải pháp phần cứng mới được thiết kế để giải quyết những thách thức ngày càng tăng trong việc chạy hiệu quả cả model AI truyền thống và Generative AI. Intel AI PC là một cỗ máy mạnh mẽ và tiết kiệm năng lượng. Nó có khả năng chạy nhiều loại model AI cục bộ mà không cần xử lý dựa trên đám mây.

Quá trình xử lý cục bộ giúp giữ kín các data private nhạy cảm. Khi các mô hình AI có thể hoạt động độc lập với kết nối internet, các ethical concerns của các ngành công nghiệp về quyền riêng tư và bảo mật sẽ được giải đáp.

Động lực đằng sau Intel AI PC là bộ vi xử lý Intel Core Ultra 200V Series. Bộ vi xử lý này tích hợp ba thành phần chính: Đơn vị Xử lý Trung tâm (CPU), Đơn vị Xử lý Đồ họa (GPU) và Đơn vị Xử lý Thần kinh (NPU). Mỗi thành phần đảm nhận một vai trò cụ thể trong việc xử lý các loại khối lượng công việc AI khác nhau. CPU lý tưởng cho các tác vụ nhỏ, độ trễ thấp đòi hỏi phản hồi nhanh, trong khi GPU được tối ưu hóa cho các hoạt động thông lượng cao như chạy các mô hình AI. NPU, được thiết kế để tiết kiệm điện năng, rất phù hợp cho các tác vụ chạy dài như real-time object detection với các mô hình như YOLO11.

Điểm nhấn là CPU có thể mang lại tới 5 TOPS (Nghìn tỷ phép tính mỗi giây), GPU lên tới 67 TOPS và NPU cung cấp cách thức tiết kiệm năng lượng để thực hiện các tác vụ AI liên tục mà không làm cạn kiệt tài nguyên hệ thống.

Những tiến bộ AI của Intel: Dòng Intel Core Ultra 200V#

Bộ vi xử lý Intel Core Ultra 200V Series tích hợp cả ba engine AI - NPU, CPU và GPU - vào một con chip nhỏ. Thiết kế của nó cực kỳ phù hợp cho các thiết bị nhỏ gọn như máy tính xách tay mà không làm giảm hiệu suất.

Bộ vi xử lý này cũng tích hợp sẵn RAM, giúp cắt giảm nhu cầu sử dụng card đồ họa rời. Điều này giúp giảm mức tiêu thụ điện năng và giữ cho thiết bị nhỏ gọn. Dmitriy cũng nhấn mạnh tính linh hoạt của bộ vi xử lý. Người dùng có thể quyết định chạy các mô hình AI trên CPU, GPU hoặc NPU, tùy thuộc vào tác vụ. Ví dụ: object detection with YOLO11 models có thể chạy trên bất kỳ công cụ nào trong số này, trong khi các tác vụ phức tạp hơn như tạo văn bản thành hình ảnh (text-to-image generation) có thể sử dụng đồng thời cả GPU và NPU để đạt hiệu năng tốt hơn.

Trong bài thuyết trình, Dmitriy đã lấy con chip ra khỏi túi, mang đến cho mọi người cái nhìn rõ ràng về kích thước thực tế của nó - bất chấp khả năng xử lý các tác vụ AI tiên tiến như vậy. Đó là một cách thú vị và đáng nhớ để cho thấy cách Intel mang các khả năng AI mạnh mẽ đến các thiết bị di động và thực tế hơn.

Hình 2. Bộ vi xử lý Intel Core Ultra 200V có thể để vừa trong túi áo.

Tối ưu hóa các model AI với Intel OpenVINO#

Sau khi giới thiệu các hardware advancements mới nhất của Intel, Dmitriy chuyển hướng sang ngăn xếp phần mềm của Intel hỗ trợ AI. Ông giới thiệu OpenVINO, framework open-source của Intel được thiết kế để optimize and deploy AI models một cách hiệu quả trên các thiết bị khác nhau. OpenVINO vượt ra ngoài các tác vụ thị giác, mở rộng hỗ trợ sang các mô hình AI dùng cho xử lý ngôn ngữ tự nhiên, audio processing, transformers, v.v.

OpenVINO tương thích với các nền tảng phổ biến như PyTorch, TensorFlow, và ONNX, và các lập trình viên có thể dễ dàng tích hợp nó vào quy trình làm việc của họ. Một tính năng quan trọng mà ông thu hút sự chú ý là lượng tử hóa (quantization). Quantization nén trọng số mô hình để giảm kích thước của chúng nhằm giúp các mô hình lớn có thể chạy mượt mà trên các thiết bị cục bộ mà không cần đến đám mây. OpenVINO hoạt động trên nhiều framework khác nhau, chạy trên CPU, GPU, NPU, FPGA hoặc thậm chí các thiết bị ARM, đồng thời hỗ trợ Windows, Linux và macOS. Dmitriy cũng dẫn dắt khán giả qua sự dễ dàng khi bắt đầu sử dụng OpenVINO.

Hình 3. Dmitriy hướng dẫn cách bắt đầu với OpenVINO.

Tích hợp Ultralytics với Intel OpenVino#

Trong phần thứ hai của bài thuyết trình, micro được chuyển cho Adrian, người giải thích về khả năng tích hợp liền mạch giữa các mô hình Ultralytics YOLO và bộ công cụ OpenVINO của Intel, giúp đơn giản hóa quy trình YOLO model deployment. Ông cung cấp hướng dẫn từng bước về việc exporting a YOLO model bằng cách sử dụng Ultralytics Python package sang định dạng OpenVINO diễn ra nhanh chóng và đơn giản như thế nào. Sự tích hợp này giúp các lập trình viên tối ưu hóa mô hình của họ cho phần cứng Intel và tận dụng tối đa lợi ích từ cả hai nền tảng dễ dàng hơn rất nhiều.

Hình 4. Adrian giải thích cách Ultralytics giúp việc xuất model sang định dạng OpenVINO trở nên dễ dàng.

Adrian chứng minh rằng một khi một mô hình Ultralytics YOLO đã được trained, người dùng có thể xuất nó bằng một vài cờ dòng lệnh (command-line flags) đơn giản. Ví dụ, người dùng có thể chỉ định xem họ muốn xuất mô hình dưới dạng phiên bản dấu phẩy động (floating-point) để đạt precision tối đa hay dưới dạng phiên bản đã lượng tử hóa để có tốc độ và hiệu quả cao hơn. Ông cũng nhấn mạnh cách các lập trình viên có thể quản lý quy trình này directly through code, sử dụng các tùy chọn như lượng tử hóa INT8 để nâng cao performance mà không làm giảm quá nhiều độ chính xác.

Demo AI thời gian thực trên Intel AI PC#

Đưa tất cả lý thuyết này vào thực tế, đội ngũ Intel đã trình bày bản demo thời gian thực về nhận diện đối tượng bằng cách chạy YOLO11 trên Intel AI PC. Adrian đã minh họa cách hệ thống xử lý mô hình trên các bộ xử lý khác nhau, đạt 36 khung hình trên giây (FPS) trên CPU với mô hình dấu phẩy động (floating-point model), hơn 100 FPS trên GPU tích hợp và 70 FPS với phiên bản lượng tử hóa INT8. Họ đã có thể cho thấy Intel AI PC quản lý các tác vụ AI phức tạp hiệu quả đến mức nào.

Ông cũng chỉ ra rằng hệ thống có thể chạy các model song song, sử dụng kết hợp CPU, GPU và NPU cho các tác vụ mà tất cả dữ liệu hoặc khung hình video đều có sẵn ngay từ đầu. Điều này rất hữu ích khi xử lý khối lượng công việc lớn như video. Hệ thống có thể chia nhỏ workload trên các bộ xử lý khác nhau, giúp quá trình nhanh hơn và hiệu quả hơn.

Để kết luận, Adrian đề cập rằng người dùng có thể try out demos tại nhà, bao gồm các solutions như people counting và intelligent queue management. Sau đó, anh ấy cho thấy một bonus demo nơi người dùng có thể nhập các câu lệnh (prompts) để tạo ra các hình ảnh mang tính mộng ảo trong thời gian thực trên GPU. Điều này chứng minh tính linh hoạt của Intel AI PC cho cả các tác vụ AI truyền thống lẫn các dự án generative AI sáng tạo.

Real-time object detection với Intel OpenVINO#

Tại sự kiện, Intel có một gian hàng trưng bày bản demo real-time object detection sử dụng Ultralytics YOLO11, chạy trên Intel AI PC của họ. Những người tham dự đã được tận mắt chứng kiến mô hình hoạt động, được tối ưu hóa bằng OpenVINO và triển khai trên bộ vi xử lý Intel Core Ultra 200V.

Hình 5. Người tham dự có cơ hội xem demo real-time tại gian hàng Intel OpenVINO.

Tại gian hàng Intel, Dmitriy chia sẻ: "Đây là lần đầu tiên tôi tham dự YOLO Vision, và tôi rất vui khi được ở Madrid. Chúng tôi đang giới thiệu model YOLO11 từ Ultralytics, chạy trên bộ vi xử lý Intel Core Ultra 200V. Nó cho thấy hiệu suất tuyệt vời và chúng tôi sử dụng OpenVINO để tối ưu hóa và triển khai model. Việc hợp tác với Ultralytics và chạy model trên phần cứng mới nhất của Intel, tận dụng cả CPU, GPU và NPU thật sự rất dễ dàng." Gian hàng cũng có một số quà tặng thú vị như áo phông và sổ tay cho người tham dự mang về nhà.

Các điểm chính cần lưu ý#

Bài nói chuyện công nghệ của Intel tại YV24, giới thiệu các bộ vi xử lý Intel Core Ultra 200V Series, đã cho thấy cách bộ công cụ OpenVINO tối ưu hóa các model AI như Ultralytics YOLO11. Sự tích hợp này cho phép người dùng chạy các model YOLO trực tiếp trên thiết bị của họ, mang lại hiệu suất tuyệt vời cho các tác vụ computer vision như object detection. Lợi ích chính là người dùng không cần phụ thuộc vào các dịch vụ đám mây.

Các nhà phát triển và những người đam mê AI có thể dễ dàng chạy và tinh chỉnh các model YOLO, tận dụng tối đa phần cứng như CPU, GPU và NPU cho các ứng dụng thời gian thực. Bộ công cụ Intel OpenVINO, kết hợp với các model Ultralytics YOLO, mở ra những khả năng mới để mang các khả năng AI tiên tiến trực tiếp lên các thiết bị cá nhân, biến nó thành một lựa chọn lý tưởng cho các nhà phát triển mong muốn thúc đẩy đổi mới AI trên nhiều ngành công nghiệp.

Hãy cùng hợp tác và đổi mới! Truy cập GitHub repository của chúng tôi để khám phá các đóng góp của chúng tôi và tương tác với our community. Xem cách chúng tôi sử dụng AI để tạo ra tác động trong các ngành công nghiệp như manufacturing và healthcare.