Thúc đẩy Edge AI với Sony IMX500 và AITRIOS

AI biên cho phép các model trí tuệ nhân tạo (AI) hoạt động trực tiếp trên những thiết bị như điện thoại thông minh, camera và drone. Ưu điểm chính của AI biên là hỗ trợ ra quyết định nhanh hơn theo thời gian thực mà không phụ thuộc vào cloud. Trên thực tế, các nghiên cứu cho thấy việc sử dụng AI trên nền tảng biên có thể tăng hiệu quả vận hành lên đến 40%.

Những tiến bộ gần đây của AI biên, đặc biệt trong lĩnh vực thị giác máy tính, đã biến công nghệ này thành chủ đề trọng tâm tại YOLO Vision 2024 (YV24), sự kiện hybrid thường niên của Ultralytics, nơi những người đam mê và chuyên gia AI cùng khám phá các xu hướng mới nhất về AI thị giác. Một trong những điểm nhấn của sự kiện là bài trình bày quan trọng của Sony, giới thiệu các giải pháp phần cứng và phần mềm AI mới. Cảm biến IMX500 và nền tảng AITRIOS được giới thiệu, đồng thời Sony trình bày cách những cải tiến này giúp triển khai các model Ultralytics YOLO như Ultralytics YOLO11 và Ultralytics YOLOv8 tại biên dễ dàng và hiệu quả hơn.

Buổi chia sẻ do Wei Tang, Giám đốc Phát triển Kinh doanh chuyên về các giải pháp hình ảnh của Sony, và Amir Servi, Giám đốc Sản phẩm Học sâu biên có chuyên môn triển khai các model học sâu trên thiết bị biên, chủ trì.

Trong bài viết này, chúng ta sẽ nhìn lại bài nói chuyện của Sony tại YV24 và tìm hiểu cách cảm biến IMX500 cùng nền tảng AITRIOS tối ưu hóa việc sử dụng các model YOLO để xử lý AI nhanh hơn theo thời gian thực tại biên.

Tầm nhìn của Sony: Phổ cập AI trên thiết bị biên#

Wei Tang mở đầu buổi chia sẻ bằng cách nói về mục tiêu của Sony: giúp AI biên dễ tiếp cận như cách hãng từng làm với nhiếp ảnh nhiều năm trước. Bà nhấn mạnh rằng Sony hiện tập trung đưa AI thị giác tiên tiến đến với nhiều người hơn thông qua điện toán biên. Một trong những động lực thúc đẩy mục tiêu này là tác động tích cực của AI biên đối với môi trường. Bằng cách xử lý dữ liệu trực tiếp trên thiết bị thay vì phụ thuộc vào các trung tâm dữ liệu quy mô lớn, điện toán biên giúp giảm mức tiêu thụ năng lượng và lượng khí thải carbon. Đây là phương pháp thông minh và thân thiện với môi trường hơn, phù hợp với cam kết xây dựng công nghệ không chỉ hoạt động tốt hơn mà còn góp phần tạo nên tương lai bền vững hơn của Sony.

Wei tiếp tục giải thích cách Sony Semiconductor Solutions, bộ phận chuyên về công nghệ hình ảnh và cảm biến của Sony, tạo ra các cảm biến hình ảnh tiên tiến. Các cảm biến này được sử dụng trong nhiều loại thiết bị, chuyển đổi ánh sáng thành tín hiệu điện tử để ghi lại hình ảnh. Với hơn 1,2 tỷ cảm biến được xuất xưởng mỗi năm, cảm biến của Sony có mặt trong gần một nửa số điện thoại di động trên thế giới, đưa Sony trở thành một doanh nghiệp lớn trong ngành hình ảnh.

Hình 1. Ví dụ về cảm biến hình ảnh của Sony.

Dựa trên chuyên môn này, Sony đang tiến xa hơn bằng cách chuyển đổi cảm biến từ thiết bị ghi hình thành công cụ thông minh có khả năng xử lý dữ liệu theo thời gian thực, cho phép tạo thông tin chi tiết nhờ AI trực tiếp trên thiết bị. Trước khi thảo luận về các giải pháp phần cứng và phần mềm Sony sử dụng để hỗ trợ sự chuyển đổi này, hãy cùng tìm hiểu những thách thức của AI biên mà các cải tiến này hướng đến giải quyết.

Những thách thức liên quan đến xử lý ảnh AI trên thiết bị biên#

Phát triển giải pháp AI biên đi kèm một số thách thức quan trọng, đặc biệt khi làm việc với các thiết bị như camera và cảm biến. Nhiều thiết bị trong số này có nguồn điện và khả năng xử lý hạn chế, khiến việc chạy hiệu quả các model AI tiên tiến trở nên khó khăn.

Dưới đây là một số hạn chế chính khác:

• Độ phức tạp của phần mềm: Việc điều chỉnh model AI để hoạt động trên nhiều thiết bị biên có cấu hình phần cứng khác nhau có thể phức tạp, đòi hỏi phải điều chỉnh và tối ưu hóa.
• Nút thắt cổ chai ở khâu hậu xử lý: Việc chuyển lượng lớn dữ liệu từ thiết bị sang host để hậu xử lý thường gây ra độ trễ. Quá trình này thường tốn nhiều thời gian hơn cả suy luận model AI thực tế.
• Bùng nổ dữ liệu: Nhiều thiết bị IoT liên tục tạo dữ liệu khiến lượng dữ liệu cần xử lý cục bộ trở nên quá lớn, gây thêm áp lực cho thiết bị biên.

Tìm hiểu cảm biến thị giác thông minh Sony IMX500#

Cảm biến thị giác thông minh Sony IMX500 là phần cứng then chốt để xử lý AI biên. Sony mô tả đây là cảm biến thị giác thông minh đầu tiên trên thế giới có khả năng AI tích hợp trên chip. Cảm biến này giúp khắc phục nhiều thách thức của AI biên, bao gồm nút thắt cổ chai trong xử lý dữ liệu, lo ngại về quyền riêng tư và hạn chế về hiệu năng.

Trong khi các cảm biến khác chỉ truyền hình ảnh và khung hình, IMX500 kể trọn câu chuyện. Cảm biến xử lý dữ liệu trực tiếp trên chính nó, cho phép thiết bị tạo thông tin chi tiết theo thời gian thực. Trong buổi chia sẻ, Wei Tang cho biết: "Bằng cách tận dụng công nghệ cảm biến hình ảnh tiên tiến, chúng tôi mong muốn trao quyền cho một thế hệ ứng dụng mới có thể cải thiện đời sống hằng ngày." IMX500 được thiết kế để hiện thực hóa mục tiêu này, thay đổi cách thiết bị xử lý dữ liệu trực tiếp trên cảm biến mà không cần gửi dữ liệu lên cloud để xử lý.

Dưới đây là một số tính năng chính:

• Đầu ra metadata: Thay vì gửi toàn bộ hình ảnh, cảm biến xuất metadata, giúp giảm đáng kể kích thước dữ liệu, từ đó giảm mức sử dụng băng thông và chi phí.
• Tăng cường quyền riêng tư: Bằng cách xử lý dữ liệu trên thiết bị, IMX500 tăng cường quyền riêng tư, đặc biệt trong các tình huống liên quan đến thông tin nhạy cảm, chẳng hạn như tác vụ thị giác máy tính liên quan đến con người như đếm người.
• Xử lý thời gian thực: Khả năng xử lý dữ liệu nhanh của cảm biến hỗ trợ ra quyết định nhanh chóng theo thời gian thực, cho phép triển khai các ứng dụng AI biên như hệ thống tự hành.

IMX500 không chỉ là cảm biến camera mà còn là công cụ cảm biến mạnh mẽ, thay đổi cách thiết bị cảm nhận và tương tác với thế giới xung quanh. Bằng cách tích hợp AI trực tiếp vào cảm biến, Sony giúp AI biên dễ tiếp cận hơn trong các ngành như ô tô, y tế và đô thị thông minh. Trong các phần tiếp theo, chúng ta sẽ tìm hiểu sâu hơn cách IMX500 kết hợp với các model Ultralytics YOLO để cải thiện phát hiện đối tượng và xử lý dữ liệu trên thiết bị biên.

Hình 2. Wei Tang trên sân khấu tại YOLO Vision 2024 giới thiệu cảm biến thị giác thông minh Sony IMX500.

Nền tảng AITRIOS của Sony: Đơn giản hóa AI biên#

Sau khi giới thiệu cảm biến IMX500, Wei Tang cho biết phần cứng tuy quan trọng nhưng chưa đủ để giải quyết toàn diện các thách thức liên quan đến triển khai AI biên. Bà nói về việc tích hợp AI vào các thiết bị như camera và cảm biến đòi hỏi nhiều hơn phần cứng tiên tiến — cần có phần mềm thông minh để quản lý phần cứng đó. Đây là lúc nền tảng AITRIOS của Sony phát huy vai trò, cung cấp giải pháp phần mềm đáng tin cậy được thiết kế để giúp việc triển khai AI trên thiết bị biên đơn giản và hiệu quả hơn.

AITRIOS đóng vai trò cầu nối giữa các model AI phức tạp và những hạn chế của thiết bị biên. Nền tảng cung cấp cho nhà phát triển nhiều công cụ để triển khai nhanh các model AI đã huấn luyện trước. Quan trọng hơn, nền tảng hỗ trợ huấn luyện lại liên tục để các model AI có thể thích ứng với những thay đổi trong thế giới thực.

Wei cũng nhấn mạnh rằng AITRIOS đơn giản hóa quy trình cho những người chưa có chuyên môn sâu về AI, đồng thời cho phép tùy chỉnh linh hoạt model AI cho các trường hợp sử dụng AI biên cụ thể. Nền tảng cũng giải quyết những thách thức thường gặp như giới hạn bộ nhớ và suy giảm hiệu năng, giúp tích hợp AI vào các thiết bị nhỏ hơn mà không phải đánh đổi độ chính xác hay tốc độ.

Hình 3. Ví dụ về các trường hợp sử dụng AI biên. Nguồn ảnh: SONY Semicon | AITRIOS.

Tối ưu hóa model YOLO trên IMX500#

Trong phần thứ hai của buổi nói chuyện, Amir tiếp quản micro và đi sâu vào khía cạnh kỹ thuật trong cách Sony tối ưu hóa các model YOLO trên cảm biến IMX500.

Amir mở đầu: “Các model YOLO phù hợp để triển khai trên thiết bị biên và khá dễ tối ưu hóa nhờ Glenn cùng đội ngũ. Đừng lo, tôi sẽ thuyết phục được các bạn.” Sau đó, Amir giải thích rằng dù người ta thường tập trung nhiều vào việc tối ưu hóa bản thân model AI, cách tiếp cận này thường bỏ qua một vấn đề quan trọng: nút thắt cổ chai ở khâu hậu xử lý.

Amir chỉ ra rằng trong nhiều trường hợp, sau khi model AI hoàn thành tác vụ, quá trình truyền dữ liệu và xử lý hậu kỳ trên thiết bị host có thể gây chậm trễ đáng kể. Việc truyền dữ liệu qua lại giữa thiết bị và host tạo ra độ trễ, có thể trở thành trở ngại lớn đối với việc đạt hiệu năng tối ưu.

Hình 4. Amir Servi trên sân khấu YOLO Vision 2024 giải thích các nút thắt cổ chai trong xử lý hậu kỳ.

Để giải quyết vấn đề này, Amir nhấn mạnh tầm quan trọng của việc xem xét toàn bộ hệ thống end-to-end thay vì chỉ tập trung vào model AI. Với cảm biến IMX500, họ phát hiện hậu xử lý là nút thắt cổ chai chính làm chậm toàn bộ hệ thống. Ông chia sẻ rằng bước đột phá thực sự là mở khóa khả năng chạy loại bỏ dư thừa phi cực đại (NMS) ngay trên chip.

Điều này cho phép thực hiện hậu xử lý trực tiếp trên cảm biến, loại bỏ nhu cầu truyền lượng lớn dữ liệu đến thiết bị host. Bằng cách chạy NMS trực tiếp trên IMX500, Sony đã vượt qua điều mà Amir gọi là “trần kính hậu xử lý”, đạt hiệu năng tốt hơn đáng kể và giảm latency.

Hình 5. Khắc phục nút thắt ở khâu hậu xử lý. Nguồn ảnh: SONY Semicon | AITRIOS

Tiếp theo, chúng ta sẽ xem cải tiến này đã giúp các model YOLO, đặc biệt là Ultralytics YOLOv8 Nano, hoạt động hiệu quả hơn trên thiết bị biên như thế nào, mở ra cơ hội mới cho xử lý AI theo thời gian thực trên phần cứng nhỏ hơn, có tài nguyên hạn chế.

Model Ultralytics YOLOv8 tăng tốc gấp 4 lần với IMX500 của Sony#

Kết thúc buổi nói chuyện đầy ấn tượng, Amir trình diễn cách họ tăng hiệu năng của model Ultralytics YOLOv8 Nano lên gấp bốn lần bằng cách chạy NMS tại biên. Ông minh họa điều này trên một Raspberry Pi 5 được tích hợp cảm biến AI IMX500. Amir so sánh hiệu năng giữa xử lý hậu kỳ trên thiết bị host và xử lý hậu kỳ trên chip IMX500.

Kết quả cho thấy rõ mức cải thiện đáng kể về số khung hình mỗi giây (FPS) và hiệu quả tổng thể khi xử lý được thực hiện trên chip. Việc tối ưu hóa giúp phát hiện đối tượng nhanh và mượt hơn, đồng thời chứng minh tính khả thi của xử lý AI theo thời gian thực trên các thiết bị nhỏ có tài nguyên hạn chế như Raspberry Pi.

Điểm chính cần ghi nhớ#

Cảm biến IMX500 của Sony, nền tảng AITRIOS và các model Ultralytics YOLO, kết hợp thông qua quan hệ đối tác giữa Ultralytics và Sony, đang định hình lại quá trình phát triển AI biên. Xử lý AI trên chip giảm truyền dữ liệu và độ trễ, đồng thời tăng cường quyền riêng tư, bảo mật và hiệu quả. Bằng cách tập trung vào toàn bộ hệ thống thay vì chỉ riêng model AI, những cải tiến này giúp AI biên dễ tiếp cận hơn với nhà phát triển và cả những người chưa có chuyên môn sâu về AI. Khi công nghệ AI biên tiếp tục phát triển, công nghệ này nhiều khả năng sẽ hỗ trợ các thiết bị thông minh hơn, ra quyết định nhanh hơn và bảo vệ quyền riêng tư tốt hơn trong nhiều ngành và ứng dụng.

Hãy kết nối với cộng đồng của chúng tôi để tiếp tục tìm hiểu về AI! Khám phá kho GitHub để tìm hiểu cách ứng dụng AI tạo ra các giải pháp đổi mới trong nhiều ngành như nông nghiệp và sản xuất.