Đưa Ultralytics YOLO11 lên các thiết bị Apple qua CoreML
Xem việc đưa Ultralytics YOLO11 lên các thiết bị Apple bằng CoreML dễ dàng như thế nào và kích hoạt các tác vụ thị giác máy tính offline nhanh cho ứng dụng iOS theo thời gian thực.
Khi Apple giới thiệu các tính năng như Apple Intelligence, rõ ràng AI trên thiết bị đang trở thành một phần trọng tâm trong cách chúng ta sử dụng điện thoại. Đối với các developer, sự chuyển dịch này có nghĩa là người dùng đang áp dụng các ứng dụng iOS sử dụng những khả năng như computer vision để mang lại trải nghiệm thông minh hơn và phản hồi nhanh hơn.
Computer vision là một loại trí tuệ nhân tạo (AI) cho phép máy tính hiểu và phân tích thông tin trực quan, chẳng hạn như hình ảnh hoặc video. Trên các thiết bị di động, công nghệ này có thể được sử dụng theo thời gian thực để phát hiện, phân loại và tương tác với các đối tượng thông qua camera của điện thoại. Các model Vision AI như Ultralytics YOLO11 có thể được huấn luyện tùy chỉnh để nhận diện các đối tượng cụ thể, tùy theo nhu cầu của ứng dụng.
Tuy nhiên, Ultralytics YOLO11 chưa được thiết lập để chạy trên iOS ngay khi cài đặt. Để triển khai YOLO11 trên iPhone hoặc các thiết bị Apple khác, đặc biệt là khi sử dụng ngoại tuyến, model cần được chuyển đổi sang một định dạng được tối ưu hóa cho hệ sinh thái Apple.
Đây chính xác là loại vấn đề mà CoreML được xây dựng để giải quyết. CoreML là framework machine learning của Apple, được xây dựng để chạy các model cục bộ và tích hợp liền mạch vào các ứng dụng iOS và macOS. Tích hợp CoreML do Ultralytics hỗ trợ giúp bạn dễ dàng export model để triển khai cục bộ trên iPhone.
Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về cách export model Ultralytics YOLO11 sang định dạng CoreML. Chúng ta cũng sẽ khám phá các trường hợp sử dụng theo thời gian thực cho thấy lợi ích của việc chạy các model computer vision trực tiếp trên thiết bị iOS. Hãy bắt đầu!
CoreML là gì?#
CoreML là một framework machine learning (ML) do Apple phát triển, cho phép các developer tích hợp trực tiếp các model ML đã huấn luyện vào ứng dụng trên toàn hệ sinh thái Apple, bao gồm iOS (iPhone và iPad), macOS (Mac), watchOS (Apple Watch) và tvOS (Apple TV). Framework này được thiết kế để giúp machine learning trở nên dễ tiếp cận và hiệu quả trên các thiết bị Apple bằng cách cho phép model chạy trực tiếp trên thiết bị mà không cần kết nối internet.
Nền tảng của CoreML là một định dạng model thống nhất, hỗ trợ nhiều tác vụ AI như phân loại hình ảnh, phát hiện đối tượng, nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên. Framework này được tối ưu hóa để tận dụng tối đa phần cứng Apple, sử dụng CPU (bộ xử lý trung tâm), GPU (bộ xử lý đồ họa) và ANE (Bộ xử lý thần kinh Apple) để thực thi model nhanh chóng và hiệu quả.
CoreML hỗ trợ nhiều loại model và tương thích với các thư viện machine learning phổ biến, bao gồm TensorFlow, PyTorch, scikit-learn, XGBoost và LibSVM. Điều này giúp các developer dễ dàng đưa các khả năng ML nâng cao vào những ứng dụng hằng ngày, đồng thời bảo đảm chúng chạy mượt mà trên các thiết bị Apple.
Hình 1. CoreML hỗ trợ các model từ những framework AI phổ biến khác (Nguồn).
Các tính năng chính của CoreML#
Dưới đây là một số tính năng chính giúp CoreML trở thành công cụ đáng tin cậy để tích hợp AI vào các ứng dụng Apple:
- Tối ưu hóa model: CoreML hỗ trợ các kỹ thuật nén như lượng tử hóa và cắt tỉa để giảm kích thước model và cải thiện hiệu quả khi chạy.
- Cá nhân hóa trên thiết bị: Framework ML của Apple hỗ trợ cá nhân hóa trên thiết bị, cho phép model được huấn luyện và cập nhật cục bộ dựa trên tương tác của người dùng.
- Dự đoán bất đồng bộ: Framework này cho phép ứng dụng chạy dự đoán trong nền, giữ cho giao diện người dùng mượt mà và phản hồi nhanh trong khi xử lý các tác vụ AI.
- Học đa tác vụ: CoreML hỗ trợ các model có thể thực hiện nhiều tác vụ cùng lúc, chẳng hạn như phát hiện đối tượng và nhận dạng văn bản trong cùng một hình ảnh.
Cách export Ultralytics YOLO11 sang định dạng CoreML#
Giờ đây, khi đã hiểu rõ hơn về framework CoreML, hãy cùng tìm hiểu cách sử dụng tích hợp CoreML do Ultralytics hỗ trợ để export một model YOLO11 sang định dạng CoreML.
Bước 1: Thiết lập môi trường#
Để truy cập các tính năng tích hợp do Ultralytics cung cấp, trước tiên hãy cài đặt package Ultralytics Python. Đây là một thư viện nhẹ, dễ sử dụng, giúp đơn giản hóa các tác vụ như huấn luyện, đánh giá, dự đoán và export các model Ultralytics YOLO.
Bạn có thể cài đặt package Ultralytics Python bằng cách chạy “pip install ultralytics” trong terminal lệnh. Nếu bạn sử dụng môi trường như Jupyter Notebook hoặc Google Colab, hãy thêm dấu chấm than (!) trước lệnh: “!pip install ultralytics”.
Nếu gặp bất kỳ vấn đề nào trong quá trình cài đặt hoặc export sang CoreML, hãy xem tài liệu Ultralytics chính thức hoặc hướng dẫn Các vấn đề thường gặp để được trợ giúp.
Bước 2: Export Ultralytics YOLO11 sang CoreML#
Sau khi package được cài đặt thành công, bạn đã sẵn sàng load một model Ultralytics YOLO11 và chuyển đổi model đó sang định dạng CoreML.
Nếu chưa chắc nên sử dụng model YOLO11 được huấn luyện trước nào, bạn có thể khám phá danh sách các model được Ultralytics hỗ trợ. Mỗi model mang lại sự cân bằng khác nhau giữa tốc độ, kích thước và độ chính xác, để bạn có thể chọn model phù hợp nhất cho dự án. Bạn cũng có thể sử dụng model YOLO11 được huấn luyện tùy chỉnh nếu đã huấn luyện model trên dataset riêng.
Trong đoạn code bên dưới, một file model YOLO11 được huấn luyện trước có tên "yolo11n.pt" được sử dụng. Trong quá trình export, model này được chuyển đổi thành một package CoreML có tên "yolo11n.mlpackage."
Model "yolo11n" là phiên bản nano, được tối ưu hóa cho tốc độ và mức sử dụng tài nguyên thấp. Tùy theo nhu cầu dự án, bạn cũng có thể chọn các kích thước model khác như "s" cho small, "m" cho medium, "l" cho large hoặc "x" cho extra-large. Mỗi phiên bản mang lại sự cân bằng khác nhau giữa hiệu năng và độ chính xác.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="coreml")Bước 3: Chạy inference bằng model CoreML đã export#
Sau khi export sang định dạng CoreML, Ultralytics YOLO11 có thể dễ dàng được tích hợp vào các ứng dụng iOS, cho phép thực hiện các tác vụ computer vision theo thời gian thực như phát hiện đối tượng trên các thiết bị như iPhone, iPad và Mac.
Ví dụ, đoạn code bên dưới minh họa cách load model CoreML đã export và thực hiện inference. Inference là quá trình sử dụng model đã huấn luyện để đưa ra dự đoán trên dữ liệu mới. Trong trường hợp này, model phân tích hình ảnh một gia đình đang chơi với quả bóng.
coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)Sau khi chạy code, hình ảnh đầu ra sẽ được lưu trong thư mục "runs/detect/predict".
Hình 2. Sử dụng model Ultralytics YOLO11 đã export ở định dạng CoreML để phát hiện đối tượng. Hình ảnh do tác giả thực hiện.
Có thể sử dụng các model CoreML đã export ở đâu?#
Việc export Ultralytics YOLO11 sang CoreML mang lại sự linh hoạt để xây dựng nhiều ứng dụng computer vision khác nhau, có thể chạy hiệu quả trên iPhone, iPad và Mac. Tiếp theo, hãy xem một số tình huống thực tế mà sự tích hợp này đặc biệt hữu ích.
Các ứng dụng thực tế tăng cường và game được hỗ trợ bởi model CoreML#
Thực tế tăng cường (AR) kết hợp nội dung kỹ thuật số với thế giới thực bằng cách phủ các thành phần ảo lên hình ảnh camera trực tiếp. Công nghệ này đang trở thành một phần quan trọng của game di động, tạo ra trải nghiệm tương tác và sống động hơn.
Với Ultralytics YOLO11 được export sang định dạng CoreML, các developer iOS có thể xây dựng game AR nhận diện những đối tượng trong thế giới thực như ghế băng, cây cối hoặc biển báo bằng camera điện thoại. Sau đó, game có thể phủ các vật phẩm ảo như tiền xu, manh mối hoặc sinh vật lên những đối tượng này để làm phong phú môi trường xung quanh người chơi.
Phía sau quy trình này là tính năng phát hiện và tracking đối tượng. Ultralytics YOLO11 phát hiện và xác định các đối tượng theo thời gian thực, trong khi tracking giữ các đối tượng đó trong khung hình khi camera di chuyển, bảo đảm các thành phần ảo luôn khớp với thế giới thực.
Người chơi có thể hướng điện thoại, khám phá môi trường xung quanh và tương tác với những gì họ nhìn thấy để thu thập vật phẩm hoặc hoàn thành các thử thách nhanh. Tất cả có thể chạy trực tiếp trên thiết bị mà không cần kết nối internet, mang lại trải nghiệm mượt mà và hấp dẫn.
Các ứng dụng iOS tích hợp model CoreML cho ANPR theo thời gian thực#
Nhận dạng biển số tự động (ANPR) là một ứng dụng computer vision được sử dụng để phát hiện và đọc biển số xe. Công nghệ này thường được sử dụng trong các hệ thống bảo mật, giám sát giao thông và kiểm soát ra vào. Với CoreML và các model như YOLO11, ANPR giờ đây có thể chạy hiệu quả trên các thiết bị iOS.
Một ứng dụng ANPR trên iPhone có thể đặc biệt hữu ích trong các môi trường chú trọng bảo mật. Ví dụ, ứng dụng có thể giúp các đội nhóm nhanh chóng xác định liệu một phương tiện đi vào khu vực hạn chế có được cấp quyền hay không.
Ứng dụng như vậy có thể sử dụng một model Vision AI như Ultralytics YOLO11, được tích hợp thông qua CoreML, để phát hiện phương tiện và xác định vị trí biển số của chúng theo thời gian thực bằng camera của thiết bị. Khi biển số được phát hiện, công nghệ nhận dạng ký tự quang học (OCR) có thể đọc số đăng ký. Sau đó, ứng dụng có thể đối chiếu số này với cơ sở dữ liệu cục bộ hoặc trên cloud để xác minh quyền truy cập hoặc đánh dấu các phương tiện không được cấp quyền.
Hình 3. Vision AI có thể được sử dụng để phát hiện và đọc số biển số xe. (Nguồn).
Các ứng dụng tập trung vào khả năng tiếp cận có thể tận dụng model CoreML#
AI đã tạo ra tác động rất lớn đến khả năng tiếp cận, giúp phá bỏ các rào cản đối với người khiếm thị. Với những công cụ như CoreML và các model computer vision như Ultralytics YOLO11, developer có thể xây dựng các ứng dụng iOS mô tả thế giới xung quanh người dùng theo thời gian thực, giúp các tác vụ hằng ngày trở nên dễ dàng và độc lập hơn.
Ví dụ, một người khiếm thị có thể hướng camera iPhone vào môi trường xung quanh. Ứng dụng sử dụng tính năng phát hiện đối tượng để nhận diện các thành phần quan trọng như phương tiện, con người hoặc biển báo đường phố, rồi thuyết minh những gì camera nhìn thấy. Tính năng này có thể được sử dụng trong các tình huống như đi qua một con phố đông đúc hoặc nhận biết một tình huống khẩn cấp.
Hình 4. Ví dụ sử dụng Ultralytics YOLO11 để phát hiện người
Những điểm chính#
Việc export Ultralytics YOLO11 sang định dạng CoreML tạo ra những cơ hội mới cho các ứng dụng theo thời gian thực, bao gồm phát hiện đối tượng ngoại tuyến trên thiết bị iOS. Từ nông nghiệp và bảo mật đến khả năng tiếp cận, sự kết hợp này cho phép các developer xây dựng những ứng dụng thông minh, hiệu quả và chú trọng quyền riêng tư, chạy hoàn toàn trên thiết bị.
Chỉ với vài bước đơn giản, bạn có thể chuyển đổi model Ultralytics YOLO11 và bổ sung các tính năng computer vision đáng tin cậy cho iPhone. Quan trọng nhất là tính năng này hoạt động mà không cần kết nối internet. Nhìn chung, tích hợp CoreML mang sức mạnh của AI nâng cao đến các ứng dụng di động hằng ngày, giúp chúng nhanh hơn, phản hồi tốt hơn và sẵn sàng chạy ở mọi nơi.
Bạn muốn tìm hiểu thêm về AI? Hãy khám phá repository GitHub của chúng tôi, kết nối với cộng đồng của chúng tôi và xem các tùy chọn cấp phép để bắt đầu dự án computer vision của bạn. Tìm hiểu cách những đổi mới như AI trong bán lẻ và computer vision trong logistics đang định hình tương lai trên các trang giải pháp của chúng tôi.
