Chạy các model Ultralytics YOLO trên AI PC của Intel với OpenVINO

YOLO Vision 2024 (YV24), sự kiện hybrid thường niên của Ultralytics, đã quy tụ những người đam mê AI, nhà phát triển và chuyên gia từ khắp nơi trên thế giới để khám phá những đổi mới mới nhất trong computer vision. YV24 là một cơ hội và nền tảng tuyệt vời để thảo luận về các bước đột phá mới. Sự kiện có sự tham gia của các tên tuổi lớn trong ngành AI giới thiệu những đổi mới mới nhất của họ. Trong đó có Intel, đơn vị đã tham gia sự kiện bằng bài thuyết trình chính về PC AI đột phá mới của họ và sự tích hợp giữa Intel OpenVINO với các model Ultralytics YOLO như Ultralytics YOLO11.

Bài nói chuyện được dẫn dắt bởi Adrian Boguszewski, một Software Evangelist, người đồng tác giả của dataset LandCover.ai và chuyên đào tạo các nhà phát triển về bộ công cụ OpenVINO của Intel, cùng với Dmitriy Pastushenkov, một AI PC Evangelist với hơn 20 năm kinh nghiệm trong lĩnh vực industrial automation và AI. Trong sự kiện, Adrian đã chia sẻ sự hào hứng của mình: "Đây là một sự kiện tuyệt vời, không chỉ vì Ultralytics đã ra mắt một phiên bản YOLO mới, mà còn vì chúng tôi có thể trình diễn model mới này chạy trên phần cứng mới của mình, cùng với một phiên bản OpenVINO mới."

Trong bài viết này, chúng ta sẽ xem xét các điểm nổi bật chính từ bài nói chuyện của Intel tại YV24, đi sâu vào các khía cạnh của PC AI của họ, dòng Intel Core Ultra 200V, và cách chúng tích hợp với các model Ultralytics YOLO sử dụng bộ công cụ OpenVINO. Hãy cùng bắt đầu!

Link to this sectionCác công nghệ AI tiên tiến trong năm 2024#

Dmitriy bắt đầu bài thuyết trình bằng cách đi sâu vào những khác biệt chính giữa AI truyền thống và generative AI. Trọng tâm xoay quanh việc các công nghệ này và các trường hợp sử dụng của chúng đang phát triển như thế nào trong năm 2024. Các kỹ thuật AI truyền thống như computer vision và natural language processing đã trở nên thiết yếu cho các tác vụ như pose estimation, object detection và voice recognition. Tuy nhiên, Generative AI đại diện cho một làn sóng công nghệ AI mới hơn, bao gồm các ứng dụng như chatbots, text-to-image generation, code writing và thậm chí là text-to-video.

Hình 1. Adrian và Dmitriy từ Intel trên sân khấu YV24 đang thảo luận về các trường hợp sử dụng AI.

Dmitriy đã chỉ ra sự khác biệt về quy mô giữa hai loại hình này. Ông giải thích rằng trong khi các model AI truyền thống bao gồm hàng triệu tham số, thì các model Generative AI hoạt động ở quy mô lớn hơn nhiều. Các model Generative AI thường liên quan đến hàng tỷ hoặc thậm chí hàng nghìn tỷ tham số, khiến chúng trở nên đòi hỏi tính toán khắt khe hơn nhiều.

Link to this sectionIntel AI PC: Một biên giới phần cứng AI mới#

Dmitriy đã giới thiệu Intel AI PC như một giải pháp phần cứng mới được thiết kế để giải quyết những thách thức ngày càng tăng trong việc chạy hiệu quả cả model AI truyền thống và Generative AI. Intel AI PC là một cỗ máy mạnh mẽ và tiết kiệm năng lượng. Nó có khả năng chạy nhiều loại model AI cục bộ mà không cần xử lý dựa trên đám mây.

Xử lý cục bộ giúp giữ dữ liệu riêng tư. Khi các model AI có thể hoạt động độc lập với kết nối internet, các mối quan ngại về đạo đức của ngành về quyền riêng tư và bảo mật được giải quyết.

Động lực thúc đẩy Intel AI PC là bộ vi xử lý Intel Core Ultra 200V Series. Bộ vi xử lý này tích hợp ba thành phần chính: Central Processing Unit (CPU), Graphics Processing Unit (GPU) và Neural Processing Unit (NPU). Mỗi thành phần đóng một vai trò cụ thể trong việc xử lý các loại workload AI khác nhau. CPU lý tưởng cho các tác vụ nhỏ, có độ trễ thấp yêu cầu phản hồi nhanh, trong khi GPU được tối ưu hóa cho các hoạt động thông lượng cao như chạy model AI. NPU, được thiết kế để tiết kiệm điện năng, rất phù hợp cho các tác vụ chạy dài như real-time object detection với các model như YOLO11.

Điểm nhấn là CPU có thể mang lại tới 5 TOPS (Nghìn tỷ phép tính mỗi giây), GPU lên tới 67 TOPS và NPU cung cấp cách thức tiết kiệm năng lượng để thực hiện các tác vụ AI liên tục mà không làm cạn kiệt tài nguyên hệ thống.

Link to this sectionNhững tiến bộ AI của Intel: Dòng Intel Core Ultra 200V#

Bộ vi xử lý Intel Core Ultra 200V Series tích hợp cả ba engine AI - NPU, CPU và GPU - vào một con chip nhỏ. Thiết kế của nó cực kỳ phù hợp cho các thiết bị nhỏ gọn như máy tính xách tay mà không làm giảm hiệu suất.

Bộ vi xử lý này cũng bao gồm RAM tích hợp, giảm nhu cầu về card đồ họa rời. Điều này giúp giảm tiêu thụ điện năng và giữ cho thiết bị nhỏ gọn. Dmitriy cũng nhấn mạnh sự linh hoạt của bộ vi xử lý. Người dùng có thể quyết định chạy model AI trên CPU, GPU hoặc NPU tùy thuộc vào tác vụ. Ví dụ, object detection với các model YOLO11 có thể chạy trên bất kỳ engine nào trong số này, trong khi các tác vụ phức tạp hơn như text-to-image generation có thể sử dụng đồng thời cả GPU và NPU để có hiệu suất tốt hơn.

Trong bài thuyết trình, Dmitriy đã lấy con chip ra khỏi túi, mang đến cho mọi người cái nhìn rõ ràng về kích thước thực tế của nó - bất chấp khả năng xử lý các tác vụ AI tiên tiến như vậy. Đó là một cách thú vị và đáng nhớ để cho thấy cách Intel mang các khả năng AI mạnh mẽ đến các thiết bị di động và thực tế hơn.

Hình 2. Bộ vi xử lý Intel Core Ultra 200V có thể để vừa trong túi áo.

Link to this sectionTối ưu hóa các model AI với Intel OpenVINO#

Sau khi giới thiệu những tiến bộ phần cứng mới nhất của Intel, Dmitriy chuyển sang giới thiệu hệ sinh thái phần mềm của Intel hỗ trợ AI. Ông giới thiệu OpenVINO, framework open-source của Intel được thiết kế để tối ưu hóa và triển khai các model AI một cách hiệu quả trên các thiết bị khác nhau. OpenVINO không chỉ giới hạn ở các tác vụ thị giác mà còn mở rộng hỗ trợ cho các model AI được sử dụng trong xử lý ngôn ngữ tự nhiên, xử lý âm thanh, Transformer, v.v.

OpenVINO tương thích với các nền tảng phổ biến như PyTorch, TensorFlow và ONNX, và các nhà phát triển có thể dễ dàng kết hợp nó vào quy trình công việc của mình. Một tính năng chính mà ông nhấn mạnh là quantization. Quantization nén trọng số của model để giảm kích thước, giúp các model lớn có thể chạy mượt mà trên các thiết bị cục bộ mà không cần đám mây. OpenVINO hoạt động trên nhiều framework, chạy trên CPU, GPU, NPU, FPGA hoặc thậm chí là các thiết bị ARM, đồng thời hỗ trợ Windows, Linux và macOS. Dmitriy cũng hướng dẫn khán giả cách bắt đầu với OpenVINO một cách dễ dàng.

Hình 3. Dmitriy hướng dẫn cách bắt đầu với OpenVINO.

Link to this sectionTích hợp Ultralytics với Intel OpenVino#

Trong phần hai của bài nói chuyện, micro được chuyển cho Adrian, người đã giải thích về sự tích hợp liền mạch giữa các model Ultralytics YOLO và bộ công cụ OpenVINO của Intel, giúp đơn giản hóa quy trình triển khai model YOLO. Ông đã giải thích từng bước về cách xuất model YOLO bằng gói Ultralytics Python sang định dạng OpenVINO một cách nhanh chóng và đơn giản. Sự tích hợp này giúp các nhà phát triển tối ưu hóa model cho phần cứng Intel và tận dụng tối đa cả hai nền tảng một cách dễ dàng hơn nhiều.

Hình 4. Adrian giải thích cách Ultralytics giúp việc xuất model sang định dạng OpenVINO trở nên dễ dàng.

Adrian đã chứng minh rằng sau khi model Ultralytics YOLO được trained, người dùng có thể xuất nó bằng một vài cờ dòng lệnh (CLI flags) đơn giản. Ví dụ, người dùng có thể chỉ định liệu họ muốn xuất model dưới dạng phiên bản dấu phẩy động (floating-point) để đạt độ chính xác cao nhất hay dưới dạng phiên bản quantized để đạt tốc độ và hiệu quả tốt hơn. Ông cũng nhấn mạnh cách các nhà phát triển có thể quản lý quy trình này trực tiếp thông qua mã nguồn, sử dụng các tùy chọn như quantization INT8 để nâng cao hiệu suất mà không làm giảm quá nhiều độ chính xác.

Link to this sectionDemo AI thời gian thực trên Intel AI PC#

Đưa tất cả lý thuyết này vào thực tế, nhóm Intel đã trình diễn một demo real-time về object detection bằng cách chạy YOLO11 trên Intel AI PC. Adrian đã trình diễn cách hệ thống xử lý model trên các bộ xử lý khác nhau, đạt được 36 khung hình mỗi giây (FPS) trên CPU với model dấu phẩy động, hơn 100 FPS trên GPU tích hợp và 70 FPS với phiên bản quantized INT8. Họ đã chứng minh Intel AI PC có thể quản lý các tác vụ AI phức tạp hiệu quả như thế nào.

Ông cũng chỉ ra rằng hệ thống có thể chạy các model song song, sử dụng kết hợp CPU, GPU và NPU cho các tác vụ mà tất cả dữ liệu hoặc khung hình video đều có sẵn ngay từ đầu. Điều này rất hữu ích khi xử lý khối lượng công việc lớn như video. Hệ thống có thể chia nhỏ workload trên các bộ xử lý khác nhau, giúp quá trình nhanh hơn và hiệu quả hơn.

Để kết thúc, Adrian đề cập rằng người dùng có thể thử nghiệm các demo tại nhà, bao gồm các giải pháp như đếm người và quản lý hàng đợi thông minh. Sau đó, ông đã giới thiệu một bonus demo, nơi người dùng có thể nhập lệnh (prompts) để tạo ra các hình ảnh ảo mộng trong thời gian thực trên GPU. Nó cho thấy tính linh hoạt của Intel AI PC đối với cả các tác vụ AI truyền thống và các dự án Generative AI sáng tạo.

Link to this sectionReal-time object detection với Intel OpenVINO#

Tại sự kiện, Intel có một gian hàng trưng bày demo real-time object detection sử dụng YOLO11, chạy trên Intel AI PC của họ. Người tham dự đã được xem model hoạt động thực tế, được tối ưu hóa với OpenVINO và triển khai trên bộ vi xử lý Intel Core Ultra 200V.

Hình 5. Người tham dự có cơ hội xem demo real-time tại gian hàng Intel OpenVINO.

Tại gian hàng Intel, Dmitriy chia sẻ: "Đây là lần đầu tiên tôi tham dự YOLO Vision, và tôi rất vui khi được ở Madrid. Chúng tôi đang giới thiệu model YOLO11 từ Ultralytics, chạy trên bộ vi xử lý Intel Core Ultra 200V. Nó cho thấy hiệu suất tuyệt vời và chúng tôi sử dụng OpenVINO để tối ưu hóa và triển khai model. Việc hợp tác với Ultralytics và chạy model trên phần cứng mới nhất của Intel, tận dụng cả CPU, GPU và NPU thật sự rất dễ dàng." Gian hàng cũng có một số quà tặng thú vị như áo phông và sổ tay cho người tham dự mang về nhà.

Link to this sectionCác điểm chính cần lưu ý#

Bài nói chuyện công nghệ của Intel tại YV24, giới thiệu các bộ vi xử lý Intel Core Ultra 200V Series, đã cho thấy cách bộ công cụ OpenVINO tối ưu hóa các model AI như Ultralytics YOLO11. Sự tích hợp này cho phép người dùng chạy các model YOLO trực tiếp trên thiết bị của họ, mang lại hiệu suất tuyệt vời cho các tác vụ computer vision như object detection. Lợi ích chính là người dùng không cần phụ thuộc vào các dịch vụ đám mây.

Các nhà phát triển và những người đam mê AI có thể dễ dàng chạy và tinh chỉnh các model YOLO, tận dụng tối đa phần cứng như CPU, GPU và NPU cho các ứng dụng thời gian thực. Bộ công cụ Intel OpenVINO, kết hợp với các model Ultralytics YOLO, mở ra những khả năng mới để mang các khả năng AI tiên tiến trực tiếp lên các thiết bị cá nhân, biến nó thành một lựa chọn lý tưởng cho các nhà phát triển mong muốn thúc đẩy đổi mới AI trên nhiều ngành công nghiệp.

Hãy cùng hợp tác và đổi mới! Truy cập GitHub repository của chúng tôi để khám phá các đóng góp và tham gia cùng cộng đồng của chúng tôi. Hãy xem cách chúng tôi đang sử dụng AI để tạo ra tác động trong các ngành công nghiệp như sản xuất và chăm sóc sức khỏe.