Ngày 9 tháng 10 năm 2024
Xem lại bài nói chuyện tại YOLO Vision 2024 của Dmitriy Pastushenkov và Adrian Boguszewski về tối ưu hóa các mô hình YOLO với Intel OpenVino và chạy suy luận thời gian thực trên AI PC của Intel.
YOLO Vision 2024 (YV24), sự kiện thường niên kết hợp của Ultralytics, đã quy tụ những người đam mê AI, các nhà phát triển và các chuyên gia từ khắp nơi trên thế giới để khám phá những đổi mới mới nhất trong lĩnh vực thị giác máy tính. YV24 là một cơ hội và nền tảng tuyệt vời để thảo luận về những đột phá mới. Sự kiện có sự góp mặt của những nhân tố chủ chốt trong ngành AI, giới thiệu những đổi mới mới nhất của họ. Trong số đó có Intel, đơn vị đã tham gia sự kiện và trình bày bài phát biểu quan trọng về PC AI đột phá mới và tích hợp Intel OpenVino với các mô hình Ultralytics YOLO như Ultralytics YOLO11.
Buổi nói chuyện được dẫn dắt bởi Adrian Boguszewski, một Chuyên gia Truyền bá Phần mềm, đồng tác giả của bộ dữ liệu LandCover.ai và hướng dẫn các nhà phát triển về bộ công cụ OpenVINO của Intel, và Dmitriy Pastushenkov, một Chuyên gia Truyền bá AI PC với hơn 20 năm kinh nghiệm trong lĩnh vực tự động hóa công nghiệp và AI. Trong sự kiện, Adrian đã chia sẻ sự hào hứng của mình và nói: "Đây là một sự kiện tuyệt vời, không chỉ vì Ultralytics đã ra mắt phiên bản YOLO mới, mà còn vì chúng tôi có thể giới thiệu mô hình mới này chạy trên phần cứng mới của chúng tôi, cũng như phiên bản OpenVINO mới."
Trong bài viết này, chúng ta sẽ xem xét những điểm nổi bật chính từ bài nói chuyện của Intel tại YV24, đi sâu vào chi tiết về AI PC của họ, Intel Core Ultra 200V Series và cách chúng tích hợp với các mô hình Ultralytics YOLO bằng bộ công cụ OpenVINO. Hãy bắt đầu nào!
Dmitriy bắt đầu bài phát biểu quan trọng bằng cách đi sâu vào những khác biệt chính giữa AI truyền thống và AI tạo sinh. Trọng tâm xoay quanh cách các công nghệ này và các trường hợp sử dụng của chúng đang phát triển vào năm 2024. Các kỹ thuật AI truyền thống như thị giác máy tính và xử lý ngôn ngữ tự nhiên rất cần thiết cho các tác vụ như ước tính tư thế, phát hiện đối tượng và nhận dạng giọng nói. Tuy nhiên, AI tạo sinh đại diện cho một làn sóng công nghệ AI mới hơn, bao gồm các ứng dụng như chatbot, tạo văn bản thành hình ảnh, viết mã và thậm chí văn bản thành video.
Dmitriy đã chỉ ra sự khác biệt về quy mô giữa hai loại AI. Ông giải thích rằng trong khi các mô hình AI truyền thống bao gồm hàng triệu tham số, thì các mô hình AI tạo sinh hoạt động trên quy mô lớn hơn nhiều. Các mô hình AI tạo sinh thường liên quan đến hàng tỷ hoặc thậm chí hàng nghìn tỷ tham số, khiến chúng đòi hỏi nhiều tính toán hơn.
Dmitriy đã giới thiệu Intel AI PC như một giải pháp phần cứng mới được thiết kế để giải quyết những thách thức ngày càng tăng trong việc chạy các mô hình AI truyền thống và AI tạo sinh một cách hiệu quả. Intel AI PC là một cỗ máy mạnh mẽ và tiết kiệm năng lượng. Nó có khả năng chạy một loạt các mô hình AI cục bộ mà không cần đến quá trình xử lý dựa trên đám mây.
Xử lý cục bộ giúp giữ dữ liệu nhạy cảm ở chế độ riêng tư. Khi các mô hình AI có thể hoạt động độc lập với kết nối internet, các mối quan tâm về đạo đức của các ngành liên quan đến quyền riêng tư và bảo mật được giải quyết.
Động lực thúc đẩy Intel AI PC là bộ xử lý Intel Core Ultra 200V Series. Bộ xử lý này tích hợp ba thành phần chính: Bộ xử lý trung tâm (CPU), Bộ xử lý đồ họa (GPU) và Bộ xử lý thần kinh (NPU). Mỗi thành phần đóng một vai trò cụ thể trong việc xử lý các loại khối lượng công việc AI khác nhau. CPU lý tưởng cho các tác vụ nhỏ hơn, độ trễ thấp, đòi hỏi phản hồi nhanh, trong khi GPU được tối ưu hóa cho các hoạt động thông lượng cao như chạy các mô hình AI. NPU, được thiết kế để tiết kiệm điện năng, rất phù hợp cho các tác vụ chạy dài như phát hiện đối tượng theo thời gian thực với các mô hình như YOLO11.
Người ta đã nhấn mạnh rằng CPU có thể cung cấp tới 5 TOPS (nghìn tỷ hoạt động mỗi giây), GPU lên đến 67 TOPS và NPU cung cấp một cách tiết kiệm năng lượng để chạy các tác vụ AI liên tục mà không làm cạn kiệt tài nguyên hệ thống.
Bộ xử lý Intel Core Ultra 200V Series tích hợp cả ba công cụ AI - NPU, CPU và GPU - vào một chip nhỏ duy nhất. Thiết kế của nó hoàn toàn phù hợp với các thiết bị nhỏ gọn như máy tính xách tay, mà không làm giảm hiệu suất.
Bộ xử lý cũng bao gồm RAM tích hợp, giảm nhu cầu về card đồ họa riêng biệt. Điều này giúp giảm mức sử dụng điện năng và giữ cho thiết bị nhỏ gọn. Dmitriy cũng nhấn mạnh tính linh hoạt của bộ xử lý. Người dùng có thể quyết định có nên chạy các mô hình AI trên CPU, GPU hay NPU, tùy thuộc vào tác vụ. Ví dụ: phát hiện đối tượng bằng các mô hình YOLO11 có thể chạy trên bất kỳ công cụ nào trong số này, trong khi các tác vụ phức tạp hơn, như tạo văn bản thành hình ảnh, có thể sử dụng cả GPU và NPU cùng lúc để có hiệu suất tốt hơn.
Trong bài thuyết trình, Dmitriy đã lấy con chip ra khỏi túi, cho mọi người thấy rõ nó nhỏ đến mức nào - mặc dù nó có khả năng xử lý các tác vụ AI tiên tiến như vậy. Đó là một cách thú vị và đáng nhớ để cho thấy Intel đang mang những khả năng AI mạnh mẽ đến các thiết bị di động và thiết thực hơn như thế nào.
Sau khi giới thiệu những tiến bộ phần cứng mới nhất của Intel, Dmitriy chuyển sang giới thiệu về nền tảng phần mềm của Intel hỗ trợ AI. Ông giới thiệu OpenVINO, một framework mã nguồn mở của Intel được thiết kế để tối ưu hóa và triển khai các mô hình AI một cách hiệu quả trên các thiết bị khác nhau. OpenVINO không chỉ giới hạn ở các tác vụ thị giác mà còn mở rộng hỗ trợ cho các mô hình AI được sử dụng cho xử lý ngôn ngữ tự nhiên, xử lý âm thanh, transformers, v.v.
OpenVINO tương thích với các nền tảng phổ biến như PyTorch, TensorFlow, và ONNX, và các nhà phát triển có thể dễ dàng tích hợp nó vào quy trình làm việc của họ. Một tính năng quan trọng mà anh ấy đã thu hút sự chú ý là lượng tử hóa. Lượng tử hóa nén trọng số mô hình để giảm kích thước của chúng để các mô hình lớn có thể chạy trơn tru trên các thiết bị cục bộ mà không cần đến đám mây. OpenVINO hoạt động trên nhiều khung khác nhau, chạy trên CPU, GPU, NPU, FPGA hoặc thậm chí các thiết bị ARM và hỗ trợ Windows, Linux và macOS. Dmitriy cũng đã hướng dẫn khán giả cách dễ dàng để bắt đầu với OpenVINO.
Trong phần thứ hai của buổi nói chuyện, mic đã được chuyển cho Adrian, người đã giải thích sự tích hợp liền mạch giữa các mô hình Ultralytics YOLO và bộ công cụ OpenVINO của Intel, đơn giản hóa quy trình triển khai mô hình YOLO. Ông đã cung cấp một lời giải thích từng bước về cách xuất mô hình YOLO bằng gói Ultralytics Python sang định dạng OpenVINO là nhanh chóng và đơn giản. Sự tích hợp này giúp các nhà phát triển dễ dàng tối ưu hóa các mô hình của họ cho phần cứng Intel và khai thác tối đa cả hai nền tảng.
Adrian đã chứng minh rằng sau khi một mô hình Ultralytics YOLO được huấn luyện, người dùng có thể xuất nó bằng một vài flag dòng lệnh đơn giản. Ví dụ: người dùng có thể chỉ định xem họ muốn xuất mô hình dưới dạng phiên bản dấu phẩy động để có độ chính xác tối đa hay dưới dạng phiên bản lượng tử hóa để có tốc độ và hiệu quả tốt hơn. Ông cũng nhấn mạnh cách các nhà phát triển có thể quản lý quy trình này trực tiếp thông qua code, sử dụng các tùy chọn như lượng tử hóa INT8 để tăng cường hiệu suất mà không làm giảm quá nhiều độ chính xác.
Để đưa tất cả lý thuyết này vào thực tế, nhóm Intel đã trình bày một bản demo thời gian thực về phát hiện đối tượng bằng cách chạy YOLO11 trên Intel AI PC. Adrian đã trình diễn cách hệ thống xử lý mô hình trên các bộ xử lý khác nhau, đạt được 36 khung hình trên giây (FPS) trên CPU với mô hình dấu phẩy động, hơn 100 FPS trên GPU tích hợp và 70 FPS với phiên bản lượng tử hóa INT8. Họ đã có thể cho thấy Intel AI PC có thể quản lý các tác vụ AI phức tạp một cách hiệu quả như thế nào.
Ông cũng chỉ ra rằng hệ thống có thể chạy các mô hình song song, sử dụng CPU, GPU và NPU cùng nhau cho các tác vụ mà tất cả dữ liệu hoặc khung hình video đều có sẵn ngay từ đầu. Điều này hữu ích khi xử lý các tác vụ nặng như video. Hệ thống có thể chia khối lượng công việc trên các bộ xử lý khác nhau, giúp hệ thống nhanh hơn và hiệu quả hơn.
Để kết thúc, Adrian đã đề cập rằng người dùng có thể dùng thử các bản demo tại nhà, bao gồm các giải pháp như đếm người và quản lý hàng đợi thông minh. Sau đó, anh ấy đã trình chiếu một bản demo bổ sung nơi người dùng có thể nhập lời nhắc để tạo hình ảnh giống như mơ trong thời gian thực trên GPU. Nó đã chứng minh tính linh hoạt của Intel AI PC cho cả các tác vụ AI truyền thống và các dự án AI sáng tạo, mang tính tạo sinh.
Tại sự kiện, Intel có một gian hàng trưng bày bản demo phát hiện đối tượng theo thời gian thực bằng YOLO11, chạy trên Intel AI PC của họ. Những người tham dự đã được xem mô hình hoạt động, được tối ưu hóa bằng OpenVINO và triển khai trên bộ xử lý Intel Core Ultra 200V.
Tại gian hàng của Intel, Dmitry chia sẻ: "Đây là lần đầu tiên tôi tham dự YOLO Vision và tôi rất vui khi được ở Madrid. Chúng tôi đang giới thiệu mô hình YOLO11 từ Ultralytics, chạy trên bộ xử lý Intel Core Ultra 200V. Nó cho thấy hiệu suất tuyệt vời và chúng tôi sử dụng OpenVINO để tối ưu hóa và triển khai mô hình. Rất dễ dàng để hợp tác với Ultralytics và chạy mô hình trên phần cứng Intel mới nhất, tận dụng CPU, GPU và NPU." Gian hàng cũng có một số quà tặng thú vị, chẳng hạn như áo phông và sổ tay cho những người tham dự mang về nhà.
Bài nói chuyện công nghệ của Intel tại YV24, giới thiệu bộ vi xử lý Intel Core Ultra 200V Series, đã trình bày cách bộ công cụ OpenVINO tối ưu hóa các mô hình AI như Ultralytics YOLO11. Sự tích hợp này cho phép người dùng chạy các mô hình YOLO trực tiếp trên thiết bị của họ, mang lại hiệu suất tuyệt vời cho các tác vụ thị giác máy tính như phát hiện đối tượng. Lợi ích chính là người dùng không cần phải dựa vào các dịch vụ đám mây.
Các nhà phát triển và những người đam mê AI có thể dễ dàng chạy và tinh chỉnh các mô hình YOLO, tận dụng tối đa phần cứng như CPU, GPU và NPU cho các ứng dụng thời gian thực. Bộ công cụ Intel OpenVINO, kết hợp với các mô hình Ultralytics YOLO, mở ra những khả năng mới để mang các khả năng AI tiên tiến trực tiếp vào các thiết bị cá nhân, khiến nó trở thành một lựa chọn lý tưởng cho các nhà phát triển mong muốn thúc đẩy các đổi mới AI trong nhiều ngành công nghiệp khác nhau.
Hãy cùng hợp tác và đổi mới! Truy cập kho lưu trữ GitHub của chúng tôi để khám phá những đóng góp của chúng tôi và tương tác với cộng đồng của chúng tôi. Xem cách chúng tôi đang sử dụng AI để tạo ra tác động trong các ngành công nghiệp như sản xuất và chăm sóc sức khỏe.
.webp)