Các mô hình phát hiện đối tượng tốt nhất cho ứng dụng iOS trên chip Apple silicon

Thiết bị Android và iPhone đã trở thành một nhu cầu thiết yếu hàng ngày. Mọi người sử dụng chúng để mua sắm, điều hướng, chụp ảnh, quét sản phẩm và tương tác với các ứng dụng suốt cả ngày.

Với sự phát triển nhanh chóng của trí tuệ nhân tạo, nhiều điện thoại thông minh hiện nay bao gồm các tính năng có thể hiểu hình ảnh và video do camera của thiết bị ghi lại. Khả năng chạy các tính năng này một cách hiệu quả phụ thuộc phần lớn vào phần cứng nền tảng.

Ví dụ, trong hệ sinh thái Apple, các thiết bị như iPhone, iPad và Mac được vận hành bởi chip Apple Silicon, bao gồm dòng A và dòng M. Các thiết kế system-on-chip (SoC) này tích hợp bộ xử lý trung tâm (CPU), bộ xử lý đồ họa (GPU) và các bộ tăng tốc học máy chuyên dụng, cho phép suy luận ngay trên thiết bị (on-device inference) cho các khối lượng công việc AI.

Cụ thể, các khả năng phân tích hình ảnh được thực hiện thông qua computer vision, một lĩnh vực của AI cho phép máy móc diễn giải và hiểu thông tin hình ảnh từ các bức ảnh và video bằng cách sử dụng các tác vụ như object detection.

Cụ thể hơn, các model object detection phân tích hình ảnh và xác định các đối tượng bằng cách vẽ các khung bao (bounding box) xung quanh chúng. Các model này có thể được tối ưu hóa để chạy hiệu quả trên phần cứng di động, chẳng hạn như chip Apple Silicon, cho phép phân tích hình ảnh theo thời gian thực ngay trên thiết bị iOS.

Hình 1. Ví dụ về object detection, với các đối tượng được xác định bởi các khung bao. (Nguồn)

Trong bài viết này, chúng ta sẽ khám phá một số model object detection tốt nhất để xây dựng các ứng dụng iOS thời gian thực, tốc độ cao. Hãy bắt đầu nào!

Link to this sectionCách các object detector hoạt động trên thiết bị iOS#

Object detection hỗ trợ các ứng dụng nhận diện và định vị đối tượng trong một hình ảnh. Khi một ứng dụng xử lý một hình ảnh đầu vào, một model object detection có thể phân tích cảnh và xác định các đối tượng khác nhau bằng cách đặt các khung bao xung quanh chúng và gán nhãn.

Hầu hết các hệ thống object detection dựa vào các mạng thần kinh (neural networks) có thể nhận diện các mẫu trong dữ liệu huấn luyện. Đối với các tác vụ hình ảnh, các model này học các biểu diễn hình ảnh bằng cách phân tích thông tin ở cấp độ pixel từ các tập dữ liệu huấn luyện lớn.

Các mạng thần kinh tích chập (CNNs) thường được sử dụng làm xương sống (backbone) cho các model object detection. CNNs rất hiệu quả cho các dự đoán hình ảnh vì chúng học các đặc trưng hình ảnh phân cấp như cạnh, hình dạng và kết cấu, giúp model nhận diện các đối tượng trong một cảnh.

Các nhà nghiên cứu cũng đang khám phá các kiến trúc dựa trên Transformer cho các tác vụ computer vision. Các model này phân tích mối quan hệ giữa các vùng khác nhau của một hình ảnh và nắm bắt thông tin ngữ cảnh rộng hơn trên toàn cảnh.

Ngoài loại kiến trúc model, hiệu suất là một cân nhắc quan trọng cho object detection trên thiết bị iOS. Vì các model này chạy trực tiếp trên thiết bị di động, chúng phải xử lý hình ảnh nhanh chóng trong khi sử dụng các tài nguyên tính toán hạn chế.

Các model hiệu quả duy trì độ trễ thấp và hỗ trợ object detection thời gian thực trong các ứng dụng di động, đặc biệt là khi phân tích dữ liệu đầu vào liên tục từ camera.

Link to this sectionĐiều gì làm cho một model object detection phù hợp với iOS?#

Trước khi đi sâu vào một số model object detection tốt nhất cho iOS, hãy cùng lùi lại một bước và tìm hiểu điều gì làm cho một model trở nên tuyệt vời cho các ứng dụng di động.

Model object detection lý tưởng cho ứng dụng iOS cân bằng giữa hiệu năng, hiệu suất và độ tin cậy. Dưới đây là một số yếu tố chính định nghĩa một model mạnh mẽ cho việc triển khai trên iOS:

• Độ trễ thấp: Model nên xử lý hình ảnh nhanh chóng để hỗ trợ object detection thời gian thực, đặc biệt đối với các ứng dụng dựa vào dữ liệu đầu vào liên tục từ camera.
• Kích thước model hiệu quả: Các model nhỏ gọn chạy hiệu quả hơn trên thiết bị di động và thường yêu cầu ít bộ nhớ và tài nguyên tính toán hơn.
• Độ chính xác phát hiện: Độ chính xác đảm bảo các đối tượng được phân loại đúng, và các khung bao duy trì sự chính xác trên các cảnh, quy mô đối tượng và điều kiện ánh sáng khác nhau.
• Độ ổn định suy luận: Thời gian suy luận nhất quán trên các khung hình là rất quan trọng cho các ứng dụng thời gian thực. Những biến động lớn về thời gian xử lý có thể gây ra hiện tượng rớt khung hình hoặc trải nghiệm camera không ổn định.
• Dung lượng bộ nhớ: Lượng RAM cần thiết trong quá trình suy luận ảnh hưởng đến độ mượt mà khi model chạy cùng với các quy trình ứng dụng khác trên thiết bị iOS.

Link to this sectionĐiểm qua các model object detection tốt nhất cho iOS#

Tiếp theo, hãy cùng xem qua một số model object detection được sử dụng rộng rãi nhất cho thiết bị iOS.

Link to this sectionCác model Ultralytics YOLO#

Ultralytics YOLO models là một họ các model object detection phổ biến được thiết kế cho các ứng dụng computer vision thời gian thực. Qua nhiều năm, Ultralytics đã phát hành các vision model như Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11, và model hiện đại nhất, Ultralytics YOLO26.

Mỗi phiên bản phát hành mới đều mang đến những cải tiến về độ chính xác phát hiện, hiệu suất model và hiệu năng thời gian chạy. Những cập nhật này đã làm cho các model Ultralytics YOLO ngày càng phù hợp hơn với các thiết bị biên (edge devices) như điện thoại thông minh.

Hình 2. YOLO26 có thể được sử dụng để phát hiện nhiều đối tượng trong cảnh thực tế. (Nguồn)

Một trong những lợi ích chính của việc sử dụng các model Ultralytics YOLO cho ứng dụng iOS là CoreML integration được cung cấp thông qua Ultralytics Python package. Thư viện mã nguồn mở này giúp các nhà phát triển huấn luyện, kiểm thử và xuất (export) các model Ultralytics YOLO với quy trình làm việc đơn giản.

Gói này hỗ trợ xuất các model đã huấn luyện sang CoreML, định dạng học máy của Apple được sử dụng để triển khai models on iOS devices. Sau khi xuất, model CoreML có thể được tích hợp vào một ứng dụng và chạy trực tiếp trên thiết bị bằng cách sử dụng phần cứng như CPU, GPU và Apple Neural Engine.

Hình 3. CoreML là framework của Apple để tích hợp và chạy các AI model bên trong ứng dụng. (Nguồn)

Điều này giúp các nhà phát triển tích hợp object detection thời gian thực vào các ứng dụng iOS một cách đơn giản trong khi vẫn giữ việc suy luận model ngay trên thiết bị.

Link to this sectionCác tùy chọn triển khai cho các model Ultralytics YOLO trên Apple Silicon#

Ngoài chính các model, hệ sinh thái Ultralytics còn cung cấp một loạt các tùy chọn giúp việc triển khai các model YOLO trên chip Apple Silicon trở nên dễ dàng hơn.

Ví dụ, Ultralytics gần đây đã giới thiệu Ultralytics Platform, nơi kết hợp quản lý tập dữ liệu, huấn luyện model, xác thực và triển khai vào một môi trường duy nhất. Quy trình làm việc thống nhất này giảm bớt nhu cầu sử dụng nhiều công cụ và giúp hợp lý hóa lộ trình từ thử nghiệm đến các ứng dụng thực tế.

Là một phần của nền tảng, các model đã huấn luyện có thể được xuất sang nhiều định dạng, bao gồm CoreML cho các thiết bị Apple. Điều này giúp bạn có thể xuất một model Ultralytics YOLO để suy luận trên thiết bị chỉ với vài cú nhấp chuột.

Ngoài khả năng xuất, Ultralytics còn cung cấp một bản triển khai Swift (ngôn ngữ lập trình của Apple dùng để xây dựng ứng dụng iOS) mã nguồn mở cho iOS. Điều này bao gồm một YOLO iOS app viết bằng Swift sẵn sàng sử dụng, minh họa cách tích hợp các model CoreML, chạy trên dữ liệu đầu vào camera và sử dụng cho object detection thời gian thực.

Link to this sectionCác ưu điểm khác của các model Ultralytics YOLO#

Dưới đây là một số đặc điểm chính khác khiến các model Ultralytics YOLO trở thành một lựa chọn tuyệt vời để xây dựng các ứng dụng iOS:

• Hỗ trợ nhiều tác vụ thị giác: Ngoài object detection, các model Ultralytics YOLO có thể được sử dụng cho instance segmentation, pose estimation, object tracking, phát hiện khung bao định hướng (OBB), và phân loại hình ảnh.
• Nhiều kích thước model: Ultralytics cung cấp các biến thể model khác nhau (như nano, small, medium, large và extra-large), cho phép các nhà phát triển chọn phiên bản phù hợp với các hạn chế về hiệu năng của thiết bị di động.
• Các model đã được huấn luyện sẵn (Pre-trained models): Các model Ultralytics YOLO có sẵn dưới dạng các model đã huấn luyện trước, có thể sử dụng ngay hoặc tinh chỉnh (fine-tune) cho các tác vụ cụ thể, giúp giảm thời gian phát triển.

Link to this sectionEfficientDet#

EfficientDet là một kiến trúc object detection được các nhà nghiên cứu tại Google giới thiệu vào năm 2019. Nó được thiết kế để cân bằng giữa độ chính xác phát hiện và hiệu quả tính toán, làm cho nó phù hợp với các môi trường có tài nguyên hạn chế.

Một ý tưởng chính đằng sau EfficientDet là một phương pháp mở rộng được gọi là compound scaling. Thay vì chỉ tăng một phần của model, chẳng hạn như độ sâu mạng hoặc độ phân giải hình ảnh, cách tiếp cận này mở rộng nhiều thành phần của kiến trúc cùng lúc.

Bằng cách điều chỉnh các yếu tố này đồng thời, model duy trì hiệu suất ổn định dù được cấu hình cho độ chính xác cao hay tối ưu hóa cho các triển khai nhẹ.

Kiến trúc này có sẵn trong một vài biến thể, từ EfficientDet-D0 đến EfficientDet-D7. Các model nhỏ hơn được thiết kế cho suy luận nhanh hơn và sử dụng ít tài nguyên hơn, trong khi các phiên bản lớn hơn tập trung vào việc đạt được độ chính xác phát hiện cao hơn.

Link to this sectionMobileNet SSD#

MobileNet SSD là một model object detection nhẹ được thiết kế để chạy hiệu quả trên các thiết bị di động và thiết bị biên. Nó trở nên phổ biến vào khoảng năm 2017.

Model này kết hợp xương sống MobileNet, tập trung vào trích xuất đặc trưng hiệu quả, với cách tiếp cận SSD (Single Shot Detector) để phát hiện đối tượng. Phương pháp SSD phát hiện các đối tượng và tạo các khung bao trong một lần truyền duy nhất (single forward pass).

Thiết kế này giữ cho model tương đối nhanh và đơn giản, hữu ích cho các ứng dụng cần kết quả phát hiện nhanh. MobileNet SSD thường được sử dụng trong các tình huống mà kích thước model nhỏ và tốc độ suy luận nhanh là quan trọng.

Kiến trúc MobileNet giảm lượng tính toán cần thiết, giúp việc chạy model trên các thiết bị có sức mạnh xử lý hạn chế trở nên dễ dàng hơn. Mặc dù MobileNet SSD có thể không đạt được mức độ chính xác như một số kiến trúc phát hiện mới hơn, nó vẫn hoạt động tốt cho nhiều tác vụ object detection phổ biến.

Link to this sectionCenterNet#

CenterNet là một model object detection xác định các đối tượng bằng cách dự đoán các điểm trung tâm của chúng. Nó được giới thiệu vào năm 2019.

Thay vì tạo ra nhiều vùng ứng viên, model phát hiện tâm của một đối tượng và sau đó dự đoán kích thước của khung bao xung quanh nó. Cách tiếp cận này đơn giản hóa quy trình phát hiện và giảm số bước liên quan trong quá trình suy luận.

Hình 4. Tổng quan về các giai đoạn object detection trong CenterNet (Nguồn)

CenterNet có thể được sử dụng cho các tác vụ phát hiện thời gian thực và được biết đến với kiến trúc tương đối đơn giản so với một số detector đa giai đoạn. Các biến thể như CenterNet với xương sống ResNet thường được sử dụng trong các ứng dụng computer vision khác nhau.

Thiết kế hiệu quả của nó làm cho CenterNet phù hợp với các hệ thống cần object detection nhanh, bao gồm cả các ứng dụng chạy trên thiết bị iOS.

Link to this sectionNanoDet#

NanoDet là một model object detection nhẹ được thiết kế cho các ứng dụng thời gian thực trên các thiết bị biên và di động. Nó được giới thiệu vào năm 2020 với mục tiêu cung cấp khả năng phát hiện đối tượng hiệu quả trong khi giữ cho kích thước model và yêu cầu tính toán ở mức rất thấp.

Model này sử dụng kiến trúc phát hiện một giai đoạn, cho phép nó dự đoán vị trí và danh mục đối tượng trong một lần truyền duy nhất qua mạng. Thiết kế này giúp model giữ được tốc độ nhanh và phù hợp với các hệ thống có tài nguyên phần cứng hạn chế.

NanoDet sử dụng xương sống nhỏ gọn và head phát hiện được tối ưu hóa để giảm số lượng tham số và tính toán cần thiết trong quá trình suy luận. Những lựa chọn thiết kế này giúp duy trì độ chính xác phát hiện hợp lý trong khi ưu tiên tốc độ và hiệu suất.

Link to this sectionChọn model object detection phù hợp cho ứng dụng iOS của bạn#

Việc chọn một model object detection cho một ứng dụng iOS thường phụ thuộc vào các yêu cầu cụ thể của từng trường hợp sử dụng. Vì các model này chạy trực tiếp trên các thiết bị như iPhone và iPad, một số yếu tố ảnh hưởng đến tùy chọn nào sẽ hoạt động tốt nhất.

Dưới đây là một số cân nhắc quan trọng:

• Hiệu suất năng lượng: Các model tiêu thụ ít năng lượng hơn giúp bảo toàn thời lượng pin, điều này quan trọng cho các ứng dụng di động thực hiện xử lý camera liên tục.
• Hỗ trợ Model optimization: Một số model hỗ trợ các kỹ thuật tối ưu hóa như lượng tử hóa (quantization) hoặc cắt tỉa (pruning), có thể giảm kích thước model và cải thiện hiệu suất trên các thiết bị iOS.
• Tương thích phần cứng: Kiến trúc model bạn chọn nên chạy hiệu quả trên phần cứng iOS, bao gồm CPU, GPU và Apple Neural Engine.
• Khả năng mở rộng: Một số kiến trúc cung cấp nhiều kích thước hoặc biến thể model, cho phép các nhà phát triển chọn các phiên bản khớp nhất với các yêu cầu về hiệu năng và phần cứng.

Link to this sectionCác điểm chính cần lưu ý#

Các model object detection mang đến các khả năng computer vision tiên tiến cho các ứng dụng di động thông minh. Chạy trực tiếp trên thiết bị iOS, các model này giúp các ứng dụng có thể phân tích hình ảnh và video từ camera của thiết bị theo thời gian thực. Bằng cách chọn đúng model, các nhà phát triển có thể xây dựng các ứng dụng di động dựa trên thị giác phản hồi tốt, mang lại hiệu suất thời gian thực đáng tin cậy.

Tham gia cộng đồng đang phát triển của chúng tôi và khám phá GitHub repository của chúng tôi để có các tài nguyên AI thực tế. Để xây dựng với vision AI ngay hôm nay, hãy khám phá các lựa chọn cấp phép của chúng tôi. Tìm hiểu cách AI trong nông nghiệp đang chuyển đổi canh tác và cách vision AI trong robot đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.