Các model phát hiện đối tượng tốt nhất cho app iOS trên chip Apple Silicon

Các thiết bị Android và iPhone đã trở thành nhu cầu thiết yếu hằng ngày. Mọi người sử dụng chúng để mua sắm, định hướng, chụp ảnh, quét sản phẩm và tương tác với các ứng dụng trong suốt cả ngày.

Cùng với sự phát triển nhanh chóng của trí tuệ nhân tạo, nhiều smartphone hiện nay tích hợp các tính năng có thể hiểu hình ảnh và video được camera của thiết bị ghi lại. Khả năng chạy hiệu quả các tính năng này phụ thuộc phần lớn vào phần cứng bên dưới.

Ví dụ, trong hệ sinh thái Apple, các thiết bị như iPhone, iPad và Mac được trang bị chip Apple Silicon, bao gồm dòng A và dòng M. Các thiết kế hệ thống trên chip (SoC) này tích hợp bộ xử lý trung tâm (CPU), bộ xử lý đồ họa (GPU) và các bộ tăng tốc machine learning chuyên dụng, cho phép thực hiện suy luận trên thiết bị đối với các workload AI.

Cụ thể, khả năng phân tích hình ảnh được thực hiện nhờ thị giác máy tính, một lĩnh vực AI cho phép máy móc diễn giải và hiểu thông tin trực quan từ hình ảnh và video bằng các tác vụ như phát hiện đối tượng.

Cụ thể, các model phát hiện đối tượng phân tích hình ảnh và xác định các đối tượng bằng cách vẽ bounding box quanh chúng. Các model này có thể được tối ưu để chạy hiệu quả trên phần cứng di động, chẳng hạn như chip Apple Silicon, cho phép phân tích hình ảnh theo thời gian thực ngay trên thiết bị iOS.

Hình 1. Ví dụ về phát hiện đối tượng, trong đó các đối tượng được xác định bằng bounding box. (Nguồn)

Trong bài viết này, chúng ta sẽ khám phá một số model phát hiện đối tượng tốt nhất để xây dựng các ứng dụng iOS nhanh và hoạt động theo thời gian thực. Hãy bắt đầu!

Cách các bộ phát hiện đối tượng hoạt động trên thiết bị iOS#

Phát hiện đối tượng hỗ trợ ứng dụng nhận dạng và định vị các đối tượng trong hình ảnh. Khi một ứng dụng xử lý hình ảnh đầu vào, model phát hiện đối tượng có thể phân tích cảnh và xác định các đối tượng khác nhau bằng cách đặt bounding box quanh chúng và gán nhãn.

Hầu hết các hệ thống phát hiện đối tượng đều dựa trên mạng nơ-ron có khả năng nhận diện các pattern trong dữ liệu huấn luyện. Đối với các tác vụ hình ảnh, những model này học các biểu diễn trực quan bằng cách phân tích thông tin ở cấp độ pixel từ các dataset huấn luyện lớn.

Mạng nơ-ron tích chập (CNNs) thường được sử dụng làm backbone cho các model phát hiện đối tượng. CNNs rất phù hợp với việc dự đoán hình ảnh vì chúng học các đặc trưng trực quan phân cấp như cạnh, hình dạng và texture, qua đó giúp model nhận diện các đối tượng trong một cảnh.

Các nhà nghiên cứu cũng đang khám phá các kiến trúc dựa trên Transformer cho các tác vụ thị giác máy tính. Những model này phân tích mối quan hệ giữa các vùng khác nhau của hình ảnh và nắm bắt thông tin ngữ cảnh rộng hơn trong toàn cảnh.

Ngoài loại kiến trúc model, hiệu quả là yếu tố đặc biệt quan trọng khi phát hiện đối tượng trên thiết bị iOS. Vì các model này chạy trực tiếp trên thiết bị di động, chúng phải xử lý hình ảnh nhanh chóng trong khi sử dụng tài nguyên tính toán hạn chế.

Các model hiệu quả duy trì độ trễ thấp và hỗ trợ phát hiện đối tượng theo thời gian thực trong ứng dụng di động, đặc biệt khi phân tích input liên tục từ camera.

Điều gì khiến một model phát hiện đối tượng phù hợp với iOS?#

Trước khi tìm hiểu một số model phát hiện đối tượng tốt nhất cho iOS, hãy lùi lại một bước để hiểu điều gì khiến một model trở nên phù hợp với các ứng dụng di động.

Model phát hiện đối tượng lý tưởng cho ứng dụng iOS cần cân bằng giữa hiệu năng, hiệu quả và độ tin cậy. Dưới đây là một số yếu tố chính xác định một model mạnh cho việc triển khai trên iOS:

• Độ trễ thấp: Model cần xử lý hình ảnh nhanh để hỗ trợ phát hiện đối tượng theo thời gian thực, đặc biệt đối với các ứng dụng phụ thuộc vào input liên tục từ camera.
• Kích thước model hiệu quả: Các model nhỏ gọn chạy hiệu quả hơn trên thiết bị di động và thường yêu cầu ít bộ nhớ cũng như tài nguyên tính toán hơn.
• Độ chính xác phát hiện: Khả năng phát hiện chính xác đảm bảo các đối tượng được phân loại đúng và bounding box vẫn chính xác trong nhiều cảnh, kích thước đối tượng và điều kiện ánh sáng khác nhau.
• Độ ổn định của suy luận: Thời gian suy luận nhất quán giữa các frame rất quan trọng đối với ứng dụng thời gian thực. Biến động lớn trong thời gian xử lý có thể gây rớt frame hoặc khiến trải nghiệm camera không ổn định.
• Memory footprint: Lượng RAM cần thiết trong quá trình suy luận ảnh hưởng đến mức độ mượt mà khi model chạy đồng thời với các process khác của ứng dụng trên thiết bị iOS.

Tổng quan về các model phát hiện đối tượng tốt nhất cho iOS#

Tiếp theo, hãy cùng xem xét một số model phát hiện đối tượng được sử dụng rộng rãi nhất trên thiết bị iOS.

1. Các model Ultralytics YOLO#

Các model Ultralytics YOLO là một dòng model phát hiện đối tượng phổ biến, được thiết kế cho các ứng dụng thị giác máy tính theo thời gian thực. Trong nhiều năm qua, Ultralytics đã phát hành các model thị giác như Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 và model state-of-the-art mới nhất, Ultralytics YOLO26.

Mỗi bản phát hành mới đều mang đến những cải tiến về độ chính xác phát hiện, hiệu quả của model và hiệu năng runtime. Những cập nhật này khiến các model Ultralytics YOLO ngày càng phù hợp hơn với các thiết bị edge như smartphone.

Hình 2. YOLO26 có thể được sử dụng để phát hiện nhiều đối tượng trong một cảnh thực tế. (Nguồn)

Một trong những lợi ích chính của việc sử dụng các model Ultralytics YOLO cho ứng dụng iOS là tích hợp CoreML được cung cấp thông qua package Ultralytics Python. Thư viện mã nguồn mở này giúp developer huấn luyện, kiểm thử và export các model Ultralytics YOLO theo một workflow đơn giản.

Package này hỗ trợ export các model đã huấn luyện sang CoreML, định dạng machine learning của Apple được sử dụng để triển khai model trên thiết bị iOS. Sau khi export, model CoreML có thể được tích hợp vào ứng dụng và chạy trực tiếp trên thiết bị bằng phần cứng như CPU, GPU và Apple Neural Engine.

Hình 3. CoreML là framework của Apple để tích hợp và chạy các model AI trong ứng dụng. (Nguồn)

Điều này giúp developer dễ dàng tích hợp tính năng phát hiện đối tượng theo thời gian thực vào các ứng dụng iOS, đồng thời giữ cho quá trình suy luận của model diễn ra trên thiết bị.

Các tùy chọn triển khai model Ultralytics YOLO trên Apple Silicon#

Ngoài bản thân các model, hệ sinh thái Ultralytics cung cấp nhiều tùy chọn giúp triển khai các model YOLO trên chip Apple Silicon dễ dàng hơn.

Ví dụ, gần đây Ultralytics đã giới thiệu Ultralytics Platform, nền tảng hợp nhất việc quản lý dataset, huấn luyện model, validation và triển khai trong một môi trường duy nhất. Workflow hợp nhất này làm giảm nhu cầu sử dụng nhiều công cụ và giúp rút ngắn lộ trình từ thử nghiệm đến các ứng dụng thực tế.

Là một phần của nền tảng, các model đã huấn luyện có thể được export sang nhiều định dạng, bao gồm CoreML dành cho thiết bị Apple. Nhờ đó, bạn có thể export một model Ultralytics YOLO để suy luận trên thiết bị chỉ với vài cú nhấp chuột.

Bên cạnh khả năng export, Ultralytics cung cấp một implementation Swift mã nguồn mở (Swift là ngôn ngữ lập trình của Apple được sử dụng để xây dựng ứng dụng iOS) cho iOS. Implementation này bao gồm một ứng dụng YOLO iOS viết bằng Swift, sẵn sàng sử dụng, minh họa cách tích hợp và chạy các model CoreML trên input từ camera cũng như sử dụng chúng để phát hiện đối tượng theo thời gian thực.

Các ưu điểm bổ sung của model Ultralytics YOLO#

Dưới đây là một số đặc điểm quan trọng khác khiến các model Ultralytics YOLO trở thành lựa chọn tuyệt vời để xây dựng ứng dụng iOS:

• Hỗ trợ nhiều tác vụ thị giác: Ngoài phát hiện đối tượng, các model Ultralytics YOLO có thể được sử dụng cho segmentation theo instance, ước tính pose, tracking đối tượng, phát hiện bounding box định hướng (OBB) và phân loại hình ảnh.
• Nhiều kích thước model: Ultralytics cung cấp các biến thể model khác nhau (chẳng hạn như nano, small, medium, large và extra-large), cho phép developer chọn phiên bản phù hợp với các giới hạn về hiệu năng của thiết bị di động.
• Model pretrained: Các model Ultralytics YOLO có sẵn dưới dạng model pretrained, có thể sử dụng ngay hoặc fine-tune cho các tác vụ cụ thể, qua đó rút ngắn thời gian phát triển.

2. EfficientDet#

EfficientDet là một kiến trúc phát hiện đối tượng được các nhà nghiên cứu tại Google giới thiệu vào năm 2019. Kiến trúc này được thiết kế để cân bằng độ chính xác phát hiện và hiệu quả tính toán, phù hợp với các môi trường có tài nguyên hạn chế.

Một ý tưởng cốt lõi đằng sau EfficientDet là phương pháp scaling được gọi là compound scaling. Thay vì chỉ tăng một thành phần của model, chẳng hạn như độ sâu của network hoặc độ phân giải hình ảnh, phương pháp này scale đồng thời nhiều thành phần của kiến trúc.

Bằng cách điều chỉnh đồng thời các yếu tố này, model duy trì hiệu năng ổn định dù được cấu hình để đạt độ chính xác cao hay được tối ưu cho việc triển khai nhẹ.

Kiến trúc này có nhiều biến thể, từ EfficientDet-D0 đến EfficientDet-D7. Các model nhỏ hơn được thiết kế để suy luận nhanh hơn và sử dụng ít tài nguyên hơn, trong khi các phiên bản lớn hơn tập trung đạt độ chính xác phát hiện cao hơn.

3. MobileNet SSD#

MobileNet SSD là một model phát hiện đối tượng nhẹ, được thiết kế để chạy hiệu quả trên các thiết bị di động và edge. Model này trở nên phổ biến vào khoảng năm 2017.

Model kết hợp backbone MobileNet, tập trung vào việc trích xuất đặc trưng hiệu quả, với phương pháp SSD (bộ phát hiện một lần) để phát hiện đối tượng. Phương pháp SSD phát hiện đối tượng và tạo bounding box trong một lượt truyền tiến duy nhất.

Thiết kế này giúp model tương đối nhanh và đơn giản, hữu ích cho các ứng dụng cần kết quả phát hiện nhanh. MobileNet SSD thường được sử dụng trong những tình huống cần kích thước model nhỏ hơn và tốc độ suy luận nhanh hơn.

Kiến trúc MobileNet làm giảm lượng tính toán cần thiết, giúp model dễ chạy hơn trên các thiết bị có năng lực xử lý hạn chế. Mặc dù MobileNet SSD có thể không đạt độ chính xác tương đương một số kiến trúc phát hiện mới hơn, model này vẫn hoạt động tốt với nhiều tác vụ phát hiện đối tượng phổ biến.

4. CenterNet#

CenterNet là một model phát hiện đối tượng xác định các đối tượng bằng cách dự đoán tâm của chúng. Model này được giới thiệu vào năm 2019.

Thay vì tạo ra nhiều vùng ứng viên, model phát hiện tâm của một đối tượng, sau đó dự đoán kích thước bounding box bao quanh đối tượng đó. Phương pháp này đơn giản hóa pipeline phát hiện và giảm số bước cần thực hiện trong quá trình suy luận.

Hình 4. Tổng quan các giai đoạn phát hiện đối tượng trong CenterNet (Nguồn)

CenterNet có thể được sử dụng cho các tác vụ phát hiện theo thời gian thực và được biết đến với kiến trúc tương đối đơn giản so với một số bộ phát hiện đa giai đoạn. Các biến thể như CenterNet với backbone ResNet thường được sử dụng trong nhiều ứng dụng thị giác máy tính khác nhau.

Thiết kế hiệu quả giúp CenterNet phù hợp với các hệ thống cần phát hiện đối tượng nhanh, bao gồm cả những ứng dụng chạy trên thiết bị iOS.

5. NanoDet#

NanoDet là một model phát hiện đối tượng nhẹ, được thiết kế cho các ứng dụng theo thời gian thực trên thiết bị edge và di động. Model này được giới thiệu vào năm 2020 với mục tiêu cung cấp khả năng phát hiện đối tượng hiệu quả, đồng thời giữ kích thước model và yêu cầu tính toán ở mức rất thấp.

Model sử dụng kiến trúc phát hiện một giai đoạn, cho phép dự đoán vị trí và category của đối tượng trong một lượt truyền qua network. Thiết kế này giúp model nhanh và phù hợp với các hệ thống có tài nguyên phần cứng hạn chế.

NanoDet sử dụng backbone nhỏ gọn và detection head được tối ưu để giảm số lượng parameter cũng như phép tính cần thiết trong quá trình suy luận. Những lựa chọn thiết kế này giúp duy trì độ chính xác phát hiện ở mức hợp lý, đồng thời ưu tiên tốc độ và hiệu quả.

Lựa chọn model phát hiện đối tượng phù hợp cho ứng dụng iOS#

Việc lựa chọn model phát hiện đối tượng cho ứng dụng iOS thường phụ thuộc vào các yêu cầu cụ thể của use case. Vì những model này chạy trực tiếp trên các thiết bị như iPhone và iPad, một số yếu tố sẽ ảnh hưởng đến việc lựa chọn phương án phù hợp nhất.

Dưới đây là một số điểm cần cân nhắc quan trọng:

• Hiệu quả năng lượng: Các model tiêu thụ ít điện năng hơn giúp kéo dài thời lượng pin, điều này rất quan trọng đối với các ứng dụng di động thực hiện xử lý camera liên tục.
• Hỗ trợ tối ưu hóa model : Một số model hỗ trợ các kỹ thuật tối ưu hóa như quantization hoặc pruning, có thể làm giảm kích thước model và cải thiện hiệu năng trên thiết bị iOS.
• Khả năng tương thích phần cứng: Kiến trúc model bạn chọn cần chạy hiệu quả trên phần cứng iOS, bao gồm CPU, GPU và Neural Engine của Apple.
• Khả năng mở rộng: Một số kiến trúc cung cấp nhiều kích thước hoặc biến thể model, cho phép developer chọn phiên bản phù hợp nhất với yêu cầu về hiệu năng và phần cứng.

Những điểm chính#

Các model phát hiện đối tượng mang khả năng thị giác máy tính tiên tiến đến các ứng dụng di động thông minh. Khi chạy trực tiếp trên thiết bị iOS, những model này cho phép ứng dụng phân tích hình ảnh và video từ camera của thiết bị theo thời gian thực. Bằng cách chọn đúng model, developer có thể xây dựng các ứng dụng di động định hướng thị giác có khả năng phản hồi nhanh và mang lại hiệu năng thời gian thực đáng tin cậy.

Hãy tham gia cộng đồng đang phát triển của chúng tôi và khám phá repository GitHub để tìm các tài nguyên AI thực hành. Để xây dựng với vision AI ngay hôm nay, hãy khám phá các tùy chọn cấp phép của chúng tôi. Tìm hiểu cách AI trong nông nghiệp đang chuyển đổi hoạt động canh tác và cách vision AI trong robotics đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.