Chạy các model Ultralytics YOLO trên AI PC của Intel với OpenVINO

YOLO Vision 2024 (YV24), sự kiện kết hợp thường niên của Ultralytics, quy tụ những người đam mê AI, nhà phát triển và chuyên gia trên khắp thế giới để khám phá những đổi mới mới nhất trong computer vision. YV24 có sự góp mặt của những tên tuổi hàng đầu trong ngành AI, giới thiệu các đổi mới mới nhất. Trong số đó có Intel, đơn vị trình bày bài phát biểu chính về AI PC mới và khả năng tích hợp Intel OpenVINO với các model Ultralytics YOLO như Ultralytics YOLO11.

Bài nói chuyện do Adrian Boguszewski dẫn dắt, một chuyên gia truyền bá công nghệ phần mềm đồng tác giả dataset LandCover.ai và hướng dẫn nhà phát triển về bộ công cụ OpenVINO của Intel, cùng Dmitriy Pastushenkov, chuyên gia truyền bá AI PC với hơn 20 năm kinh nghiệm trong tự động hóa công nghiệp và AI. Tại sự kiện, Adrian cho biết: "Sự kiện hôm nay thật tuyệt vời, không chỉ vì Ultralytics ra mắt phiên bản YOLO mới mà còn vì chúng tôi có thể trình bày model mới này chạy trên phần cứng mới của mình, cùng với phiên bản OpenVINO mới."

Trong bài viết này, chúng ta sẽ điểm qua những nội dung nổi bật trong bài nói chuyện của Intel tại YV24, bao gồm AI PC của Intel, dòng Intel Core Ultra 200V và cách chúng tích hợp với các model Ultralytics YOLO bằng bộ công cụ OpenVINO.

Các công nghệ AI năm 2024#

Dmitriy mở đầu bài phát biểu chính bằng cách giải thích những khác biệt chính giữa AI truyền thống và AI tạo sinh. Nội dung tập trung vào sự phát triển của các công nghệ này và các trường hợp sử dụng trong năm 2024. Những kỹ thuật AI truyền thống như computer vision và xử lý ngôn ngữ tự nhiên rất cần thiết cho các tác vụ như ước tính tư thế, phát hiện đối tượng và nhận diện giọng nói. Tuy nhiên, AI tạo sinh đại diện cho làn sóng công nghệ AI mới hơn, với các ứng dụng như chatbot, tạo ảnh từ văn bản, viết code và thậm chí tạo video từ văn bản.

Hình 1. Adrian và Dmitriy của Intel trên sân khấu tại YV24, thảo luận về các trường hợp sử dụng AI.

Dmitriy chỉ ra sự khác biệt về quy mô giữa hai loại hình này. Ông giải thích rằng trong khi model AI truyền thống có hàng triệu tham số, model AI tạo sinh hoạt động ở quy mô lớn hơn nhiều. Model AI tạo sinh thường có hàng tỷ hoặc thậm chí hàng nghìn tỷ tham số, khiến chúng đòi hỏi năng lực tính toán cao hơn đáng kể.

Intel AI PC: Biên giới mới của phần cứng AI#

Dmitriy giới thiệu Intel AI PC như một giải pháp phần cứng mới được thiết kế để giải quyết những thách thức ngày càng tăng khi chạy hiệu quả cả model AI truyền thống lẫn AI tạo sinh. Intel AI PC là một cỗ máy mạnh mẽ và tiết kiệm năng lượng. Thiết bị có thể chạy nhiều loại model AI ngay trên máy, không cần xử lý dựa trên đám mây.

Xử lý cục bộ giúp bảo vệ dữ liệu nhạy cảm. Khi model AI có thể hoạt động mà không cần kết nối internet, điều này giúp giải quyết những lo ngại về đạo đức trong ngành liên quan đến quyền riêng tư và bảo mật.

Bộ xử lý dòng Intel Core Ultra 200V là động lực cốt lõi phía sau Intel AI PC. Bộ xử lý này tích hợp ba thành phần chính: bộ xử lý trung tâm (CPU), bộ xử lý đồ họa (GPU) và bộ xử lý thần kinh (NPU). Mỗi thành phần đảm nhiệm một vai trò cụ thể trong việc xử lý các loại workload AI khác nhau. CPU phù hợp với các tác vụ nhỏ, độ trễ thấp cần phản hồi nhanh, trong khi GPU được tối ưu cho các hoạt động có thông lượng cao như chạy model AI. NPU được thiết kế để tiết kiệm năng lượng, phù hợp với các tác vụ chạy trong thời gian dài như phát hiện đối tượng theo thời gian thực bằng các model như YOLO11.

Bài trình bày nêu bật khả năng của CPU đạt tới 5 TOPS (nghìn tỷ phép toán mỗi giây), GPU đạt tới 67 TOPS, còn NPU cung cấp giải pháp tiết kiệm năng lượng để chạy liên tục các tác vụ AI mà không làm cạn tài nguyên hệ thống.

Những tiến bộ AI của Intel: dòng Intel Core Ultra 200V#

Bộ xử lý dòng Intel Core Ultra 200V tích hợp cả ba bộ xử lý AI - NPU, CPU và GPU - vào một chip nhỏ duy nhất. Thiết kế này rất phù hợp với các thiết bị nhỏ gọn như máy tính xách tay.

Bộ xử lý còn tích hợp RAM, giảm nhu cầu sử dụng card đồ họa riêng. Điều này giúp giảm mức tiêu thụ điện năng và giữ cho thiết bị nhỏ gọn. Dmitriy cũng nhấn mạnh tính linh hoạt của bộ xử lý. Người dùng có thể chọn chạy model AI trên CPU, GPU hoặc NPU tùy theo tác vụ. Ví dụ: phát hiện đối tượng bằng các model YOLO11 có thể chạy trên bất kỳ engine nào trong số này, trong khi các tác vụ phức tạp hơn, như tạo ảnh từ văn bản, có thể sử dụng đồng thời cả GPU và NPU để đạt hiệu năng tốt hơn.

Trong phần trình bày, Dmitriy lấy con chip ra khỏi túi, giúp mọi người hình dung rõ kích thước thật sự nhỏ gọn của nó, dù vẫn có khả năng xử lý các tác vụ AI tiên tiến như vậy. Đây là cách minh họa thú vị và đáng nhớ cho thấy Intel đang đưa các tính năng AI mạnh mẽ lên nhiều thiết bị di động và thiết thực hơn.

Hình 2. Bộ xử lý Intel Core Ultra 200V có thể nằm gọn trong túi.

Tối ưu hóa model AI bằng Intel OpenVINO#

Sau khi giới thiệu phần cứng mới nhất của Intel, Dmitriy chuyển sang hệ sinh thái phần mềm AI của Intel. Ông giới thiệu OpenVINO, framework mã nguồn mở của Intel được thiết kế để tối ưu hóa và triển khai model AI hiệu quả trên nhiều thiết bị. OpenVINO không chỉ hỗ trợ các tác vụ thị giác mà còn hỗ trợ model AI dùng cho xử lý ngôn ngữ tự nhiên, xử lý âm thanh, Transformer và nhiều lĩnh vực khác.

OpenVINO tương thích với các framework phổ biến như PyTorch, TensorFlow và ONNX, giúp nhà phát triển dễ dàng tích hợp vào quy trình làm việc. Một tính năng quan trọng được ông nhấn mạnh là lượng tử hóa. Lượng tử hóa nén trọng số model để giảm kích thước, nhờ đó các model lớn có thể chạy mượt mà trên thiết bị cục bộ mà không cần cloud. OpenVINO hoạt động trên nhiều framework và chạy được trên CPU, GPU, NPU, FPGA hoặc thiết bị ARM; đồng thời hỗ trợ Windows, Linux và macOS. Dmitriy cũng hướng dẫn khán giả cách bắt đầu sử dụng OpenVINO một cách dễ dàng.

Hình 3. Dmitriy hướng dẫn cách bắt đầu sử dụng OpenVINO.

Tích hợp Ultralytics với Intel OpenVINO#

Trong phần thứ hai của bài nói chuyện, Adrian tiếp tục trình bày và giải thích cách tích hợp các model Ultralytics YOLO với bộ công cụ OpenVINO của Intel, giúp đơn giản hóa quy trình triển khai model YOLO. Ông hướng dẫn từng bước cách xuất model YOLO sang định dạng OpenVINO bằng package Python của Ultralytics một cách nhanh chóng và đơn giản. Tích hợp này giúp nhà phát triển tối ưu hóa model cho phần cứng Intel dễ dàng hơn và khai thác tối đa cả hai nền tảng.

Hình 4. Adrian giải thích cách Ultralytics giúp bạn dễ dàng xuất model sang định dạng OpenVINO.

Adrian trình bày rằng sau khi huấn luyện model Ultralytics YOLO, người dùng có thể xuất model bằng một vài flag command line đơn giản. Chẳng hạn, người dùng có thể chọn xuất model ở dạng số thực để đạt độ chính xác tối đa hoặc ở dạng lượng tử hóa để tăng tốc độ và hiệu quả. Ông cũng nhấn mạnh rằng nhà phát triển có thể quản lý quy trình này trực tiếp bằng code, sử dụng các tùy chọn như lượng tử hóa INT8 để cải thiện hiệu năng mà không làm giảm quá nhiều độ chính xác.

Demo AI thời gian thực trên Intel AI PC#

Để áp dụng những lý thuyết này vào thực tế, nhóm Intel trình bày bản demo phát hiện đối tượng theo thời gian thực bằng cách chạy YOLO11 trên Intel AI PC. Adrian cho thấy hệ thống xử lý model trên nhiều bộ xử lý khác nhau, đạt 36 khung hình mỗi giây (FPS) trên CPU với model số thực, hơn 100 FPS trên GPU tích hợp và 70 FPS với phiên bản lượng tử hóa INT8. Bản demo cho thấy Intel AI PC có thể xử lý các tác vụ AI phức tạp hiệu quả như thế nào.

Ông cũng lưu ý rằng hệ thống có thể chạy các model song song, sử dụng đồng thời CPU, GPU và NPU cho những tác vụ mà toàn bộ dữ liệu hoặc khung hình video đã có sẵn từ đầu. Cách này hữu ích khi xử lý khối lượng công việc lớn như video. Hệ thống có thể phân chia khối lượng công việc trên các bộ xử lý khác nhau, giúp xử lý nhanh và hiệu quả hơn.

Để kết thúc, Adrian cho biết người dùng có thể thử các bản demo tại nhà, bao gồm các giải pháp như đếm người và quản lý hàng đợi thông minh. Sau đó, ông trình bày một bản demo bổ sung, trong đó người dùng có thể nhập prompt để tạo hình ảnh như trong mơ theo thời gian thực trên GPU. Bản demo cho thấy Intel AI PC linh hoạt ra sao trong cả tác vụ AI truyền thống lẫn dự án AI tạo sinh sáng tạo.

Phát hiện đối tượng thời gian thực với Intel OpenVINO#

Tại sự kiện, Intel có một gian hàng trình diễn demo phát hiện đối tượng thời gian thực bằng Ultralytics YOLO11 chạy trên Intel AI PC. Khách tham dự được xem model hoạt động sau khi tối ưu hóa bằng OpenVINO và triển khai trên bộ xử lý Intel Core Ultra 200V.

Hình 5. Khách tham dự có cơ hội xem demo thời gian thực tại gian hàng Intel OpenVINO.

Tại gian hàng Intel, Dmitriy chia sẻ: “Đây là lần đầu tiên tôi tham dự YOLO Vision và tôi rất vui khi có mặt ở Madrid. Chúng tôi đang trình diễn model YOLO11 của Ultralytics chạy trên bộ xử lý Intel Core Ultra 200V. Model cho hiệu năng xuất sắc, và chúng tôi sử dụng OpenVINO để tối ưu hóa cũng như triển khai model. Việc hợp tác với Ultralytics và chạy model trên phần cứng Intel mới nhất, tận dụng CPU, GPU và NPU, rất dễ dàng.” Gian hàng còn có một số quà tặng thú vị như áo thun và notebook để khách tham dự mang về.

Điểm chính cần ghi nhớ#

Buổi nói chuyện công nghệ của Intel tại YV24, giới thiệu bộ xử lý Intel Core Ultra 200V Series, đã cho thấy bộ công cụ OpenVINO tối ưu hóa các model AI như Ultralytics YOLO11 ra sao. Tích hợp này cho phép người dùng chạy model YOLO trực tiếp trên thiết bị, mang lại hiệu năng cao cho các tác vụ thị giác máy tính như phát hiện đối tượng. Lợi ích chính là người dùng không cần phụ thuộc vào dịch vụ cloud.

Nhà phát triển và người đam mê AI có thể chạy cũng như fine-tune model YOLO, khai thác tối đa phần cứng như CPU, GPU và NPU cho các ứng dụng thời gian thực. Bộ công cụ Intel OpenVINO kết hợp với các model Ultralytics YOLO mở ra những khả năng mới để đưa năng lực AI tiên tiến trực tiếp lên thiết bị cá nhân, trở thành lựa chọn phù hợp cho nhà phát triển xây dựng ứng dụng AI trong nhiều ngành nghề.

Truy cập kho lưu trữ GitHub để khám phá những đóng góp của chúng tôi và tham gia cộng đồng. Tìm hiểu cách chúng tôi ứng dụng AI để tạo tác động trong các ngành như sản xuất và chăm sóc sức khỏe.