Thúc đẩy dự án CV bằng các công cụ mã nguồn mở của Hugging Face

Lựa chọn đúng thuật toán chỉ là một phần trong quá trình xây dựng các giải pháp thị giác máy tính có tác động thực tiễn. Kỹ sư AI thường làm việc với tập dữ liệu lớn, tinh chỉnh model cho các tác vụ cụ thể và tối ưu hóa hệ thống AI để đạt hiệu năng trong thế giới thực. Khi các ứng dụng AI được áp dụng nhanh hơn, nhu cầu về công cụ giúp đơn giản hóa những quy trình này cũng ngày càng tăng.

Tại YOLO Vision 2024 (YV24), sự kiện thường niên theo hình thức kết hợp do Ultralytics tổ chức, các chuyên gia AI và người đam mê công nghệ đã cùng nhau khám phá những đổi mới mới nhất trong lĩnh vực thị giác máy tính. Sự kiện khơi mào các cuộc thảo luận về nhiều chủ đề, chẳng hạn như cách đẩy nhanh quá trình phát triển ứng dụng AI.

Một điểm nhấn đáng chú ý của sự kiện là bài phát biểu chính về Hugging Face, nền tảng AI mã nguồn mở giúp tinh giản quy trình huấn luyện, tối ưu hóa và triển khai model. Pavel Iakubovskii, kỹ sư Machine Learning tại Hugging Face, chia sẻ cách các công cụ của nền tảng này cải thiện quy trình làm việc cho các tác vụ thị giác máy tính, chẳng hạn như phát hiện đối tượng trong ảnh, phân loại ảnh thành các nhóm khác nhau và đưa ra dự đoán mà không cần huấn luyện trước trên các ví dụ cụ thể (học zero-shot).

Hugging Face Hub lưu trữ và cung cấp quyền truy cập vào nhiều model AI và thị giác máy tính, chẳng hạn như Ultralytics YOLO11. Trong bài viết này, chúng ta sẽ điểm lại những nội dung chính từ bài nói chuyện của Pavel và tìm hiểu cách nhà phát triển có thể sử dụng các công cụ mã nguồn mở của Hugging Face để nhanh chóng xây dựng và triển khai model AI.

Hình 1. Pavel trên sân khấu tại YV24.

Hugging Face Hub hỗ trợ phát triển AI nhanh hơn#

Pavel mở đầu bài nói chuyện bằng cách giới thiệu Hugging Face là nền tảng AI mã nguồn mở cung cấp các model đã huấn luyện trước cho nhiều ứng dụng. Những model này được thiết kế cho nhiều nhánh AI, bao gồm xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính và AI đa phương thức, cho phép hệ thống xử lý nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.

Pavel cho biết Hugging Face Hub hiện lưu trữ hơn 1 triệu model và các nhà phát triển có thể dễ dàng tìm thấy model phù hợp với dự án cụ thể của mình. Hugging Face hướng đến việc đơn giản hóa quá trình phát triển AI bằng cách cung cấp công cụ huấn luyện, tinh chỉnh và triển khai model. Khi có thể thử nghiệm nhiều model khác nhau, các nhà phát triển sẽ dễ dàng tích hợp AI vào ứng dụng thực tế hơn.

Ban đầu Hugging Face được biết đến chủ yếu trong lĩnh vực NLP, nhưng sau đó đã mở rộng sang thị giác máy tính và AI đa phương thức, cho phép nhà phát triển giải quyết nhiều tác vụ AI hơn. Nền tảng này cũng có cộng đồng vững mạnh, nơi nhà phát triển có thể cộng tác, chia sẻ thông tin chuyên sâu và nhận hỗ trợ qua diễn đàn, Discord và GitHub.

Khám phá các model Hugging Face cho ứng dụng thị giác máy tính#

Đi sâu hơn, Pavel giải thích cách các công cụ của Hugging Face giúp xây dựng ứng dụng thị giác máy tính dễ dàng hơn. Nhà phát triển có thể sử dụng các công cụ này cho những tác vụ như phân loại hình ảnh, phát hiện đối tượng và ứng dụng thị giác-ngôn ngữ.

Ông cũng chỉ ra rằng nhiều tác vụ thị giác máy tính có thể được xử lý bằng các model đã huấn luyện trước có trên Hugging Face Hub, giúp tiết kiệm thời gian nhờ giảm nhu cầu huấn luyện từ đầu. Trên thực tế, Hugging Face cung cấp hơn 13.000 model đã huấn luyện trước cho các tác vụ phân loại hình ảnh, bao gồm phân loại thực phẩm, phân loại thú cưng và phát hiện cảm xúc.

Nhấn mạnh khả năng tiếp cận dễ dàng với các model này, ông nói: "Có thể bạn thậm chí không cần huấn luyện model cho dự án của mình - bạn có thể tìm thấy trên Hub một model đã được ai đó trong cộng đồng huấn luyện sẵn."

Các model Hugging Face dùng cho phát hiện đối tượng#

Đưa ra một ví dụ khác, Pavel giải thích thêm cách Hugging Face có thể hỗ trợ phát hiện đối tượng, một chức năng quan trọng trong thị giác máy tính, dùng để nhận diện và định vị đối tượng trong ảnh. Ngay cả khi dữ liệu được gán nhãn còn hạn chế, các model được huấn luyện trước trên Hugging Face Hub vẫn có thể giúp phát hiện đối tượng hiệu quả hơn.

Anh cũng giới thiệu nhanh một số model được xây dựng cho tác vụ này mà bạn có thể tìm thấy trên Hugging Face:

• Model phát hiện vật thể thời gian thực: Trong các môi trường biến động, nơi tốc độ đóng vai trò then chốt, những model như Real-Time Detection Transformer (RT-DETR) cung cấp khả năng phát hiện vật thể theo thời gian thực. RT-DETR được huấn luyện trên tập dữ liệu COCO và thiết kế để xử lý hiệu quả các đặc trưng đa tỷ lệ, phù hợp với những ứng dụng nhạy cảm về thời gian.
• Model thị giác-ngôn ngữ: Các model này kết hợp xử lý hình ảnh và văn bản, giúp hệ thống AI ghép hình ảnh với mô tả hoặc nhận diện các đối tượng nằm ngoài dữ liệu huấn luyện. Ví dụ gồm CLIP và SigLIP, các model cải thiện khả năng tìm kiếm hình ảnh bằng cách liên kết văn bản với hình ảnh trực quan, đồng thời cho phép giải pháp AI nhận diện đối tượng mới thông qua việc hiểu ngữ cảnh.
• Các model phát hiện đối tượng zero-shot: Chúng có thể nhận diện những đối tượng chưa từng thấy bằng cách hiểu mối quan hệ giữa hình ảnh và văn bản. Ví dụ gồm OWL-ViT, Grounding DINO và OmDet, sử dụng học zero-shot để phát hiện đối tượng mới mà không cần dữ liệu huấn luyện được gán nhãn. Bảng xếp hạng VLM của Ultralytics so sánh các bộ phát hiện từ vựng mở như vậy trên các bộ dữ liệu phát hiện trong thế giới thực.

Cách sử dụng các model Hugging Face#

Sau đó, Pavel chuyển sang phần thực hành với các model Hugging Face, giải thích ba cách nhà phát triển có thể khai thác chúng: khám phá model, kiểm thử nhanh và tùy chỉnh sâu hơn.

Anh minh họa cách nhà phát triển có thể duyệt model trực tiếp trên Hugging Face Hub mà không cần viết mã, nhờ đó dễ dàng kiểm thử model ngay lập tức qua giao diện tương tác. Pavel nói thêm: “Bạn có thể dùng thử mà không cần viết dù chỉ một dòng mã hay tải model xuống máy tính”. Vì một số model có kích thước lớn, chạy chúng trên Hub giúp tránh các giới hạn về lưu trữ và xử lý.

Hình 2. Cách sử dụng các model Hugging Face.

Ngoài ra, Hugging Face Inference API cho phép nhà phát triển chạy các model AI bằng những lệnh gọi API đơn giản. Đây là lựa chọn phù hợp để kiểm thử nhanh, triển khai dự án proof-of-concept và tạo prototype nhanh mà không cần thiết lập phức tạp.

Với các trường hợp sử dụng nâng cao hơn, nhà phát triển có thể dùng framework Hugging Face Transformers, một công cụ mã nguồn mở cung cấp các model được huấn luyện trước cho tác vụ văn bản, thị giác và âm thanh, đồng thời hỗ trợ cả PyTorch lẫn TensorFlow. Pavel giải thích rằng chỉ với hai dòng code, nhà phát triển có thể lấy một model từ Hugging Face Hub và kết nối model đó với công cụ tiền xử lý, chẳng hạn như bộ xử lý hình ảnh, để phân tích dữ liệu hình ảnh cho các ứng dụng Vision AI.

Tối ưu hóa quy trình AI với Hugging Face#

Tiếp theo, Pavel giải thích cách Hugging Face có thể tinh gọn quy trình AI. Một chủ đề quan trọng được đề cập là tối ưu hóa cơ chế attention trong Transformers, một tính năng cốt lõi của các model học sâu giúp chúng tập trung vào những phần dữ liệu đầu vào phù hợp nhất. Điều này cải thiện độ chính xác của các tác vụ xử lý ngôn ngữ và thị giác máy tính. Tuy nhiên, quá trình này có thể tiêu tốn nhiều tài nguyên.

Tối ưu hóa cơ chế attention có thể giảm đáng kể mức sử dụng bộ nhớ đồng thời cải thiện tốc độ. Pavel lưu ý: “Chẳng hạn, khi chuyển sang cách triển khai attention hiệu quả hơn, bạn có thể thấy hiệu năng nhanh hơn tới 1.8 lần”.

Hugging Face tích hợp sẵn khả năng hỗ trợ các cách triển khai attention hiệu quả hơn trong framework Transformers. Nhà phát triển có thể bật các tối ưu hóa này chỉ bằng cách chỉ định một cách triển khai attention thay thế khi tải model.

Optimum và Torch Compile#

Ông cũng nói về lượng tử hóa, một kỹ thuật thu nhỏ model AI bằng cách giảm độ chính xác của các giá trị số mà model sử dụng mà không ảnh hưởng quá nhiều đến độ chính xác. Nhờ đó, model dùng ít bộ nhớ hơn và chạy nhanh hơn, phù hợp hơn với các thiết bị có năng lực xử lý hạn chế như điện thoại thông minh và hệ thống nhúng.

Để nâng cao hơn nữa hiệu quả, Pavel giới thiệu thư viện Hugging Face Optimum, một bộ công cụ được thiết kế để tối ưu hóa và triển khai model. Chỉ với vài dòng mã, nhà phát triển có thể áp dụng các kỹ thuật lượng tử hóa và chuyển đổi model sang những định dạng hiệu quả như ONNX (Trao đổi mạng nơ-ron mở), cho phép model chạy mượt mà trên nhiều loại phần cứng, bao gồm máy chủ đám mây và thiết bị edge.

Hình 3. Pavel trình bày về thư viện Optimum và các tính năng.

Cuối cùng, Pavel đề cập đến lợi ích của Torch Compile, một tính năng trong PyTorch giúp tối ưu hóa cách model AI xử lý dữ liệu, nhờ đó model chạy nhanh hơn và hiệu quả hơn. Hugging Face tích hợp Torch Compile trong các thư viện Transformers và Optimum, cho phép nhà phát triển tận dụng những cải thiện hiệu năng này mà chỉ cần thay đổi rất ít mã.

Bằng cách tối ưu cấu trúc tính toán của model, Torch Compile có thể rút ngắn thời gian suy luận và tăng tốc độ khung hình từ 29 lên 150 khung hình mỗi giây mà không ảnh hưởng đến độ chính xác hay chất lượng.

Triển khai model bằng công cụ Hugging Face#

Tiếp theo, Pavel trình bày ngắn gọn cách nhà phát triển có thể mở rộng và triển khai các model Vision AI bằng công cụ Hugging Face sau khi chọn model phù hợp và phương pháp phát triển tối ưu.

Chẳng hạn, nhà phát triển có thể triển khai ứng dụng AI tương tác bằng Gradio và Streamlit. Gradio cho phép nhà phát triển tạo giao diện web cho model machine learning, còn Streamlit hỗ trợ xây dựng ứng dụng dữ liệu tương tác bằng các script Python đơn giản.

Pavel cũng lưu ý: “Bạn không cần bắt đầu viết mọi thứ từ đầu”, khi nhắc đến các hướng dẫn, notebook huấn luyện và script ví dụ do Hugging Face cung cấp. Những tài nguyên này giúp nhà phát triển nhanh chóng bắt đầu mà không phải xây dựng mọi thứ từ đầu.

Hình 4. Pavel trao đổi về các khả năng của Hugging Face tại YV24.

Lợi ích của Hugging Face Hub#

Khép lại bài phát biểu chính, Pavel tóm tắt những lợi ích của Hugging Face Hub. Anh nhấn mạnh cách nền tảng này đơn giản hóa việc quản lý model và cộng tác. Anh cũng đề cập đến các hướng dẫn, notebook và bài hướng dẫn hiện có, giúp cả người mới bắt đầu lẫn chuyên gia hiểu và triển khai model AI.

Anh giải thích: “Trên Hub đã có rất nhiều Space thú vị. Bạn có thể tìm các Space tương tự, sao chép mã được chia sẻ, chỉnh sửa vài dòng, thay model bằng model của mình rồi đẩy lại lên”, đồng thời khuyến khích nhà phát triển tận dụng tính linh hoạt của nền tảng.

Điểm chính cần ghi nhớ#

Trong bài nói chuyện tại YV24, Pavel chia sẻ cách Hugging Face cung cấp công cụ hỗ trợ huấn luyện, tối ưu hóa và triển khai model AI. Chẳng hạn, các công nghệ như Transformers, Optimum và Torch Compile có thể giúp nhà phát triển nâng cao hiệu năng model.

Khi model AI ngày càng hiệu quả, những tiến bộ trong lượng tử hóa và triển khai edge giúp việc chạy model trên các thiết bị hạn chế tài nguyên trở nên dễ dàng hơn. Những cải tiến này, kết hợp với các công cụ như Hugging Face và các model thị giác máy tính tiên tiến như Ultralytics YOLO11, đóng vai trò then chốt trong việc xây dựng ứng dụng Vision AI có khả năng mở rộng và hiệu năng cao.

Tham gia cộng đồng đang phát triển của chúng tôi! Khám phá kho lưu trữ GitHub để tìm hiểu về AI và xem giấy phép YOLO để bắt đầu các dự án Vision AI của bạn. Bạn quan tâm đến những đổi mới như thị giác máy tính trong y tế hay thị giác máy tính trong nông nghiệp? Truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!