Nâng cao năng lực Edge AI với Sony IMX500 và AITRIOS

Edge AI cho phép các mô hình trí tuệ nhân tạo (AI) hoạt động trực tiếp trên các thiết bị như điện thoại thông minh, máy ảnh và drone. Ưu điểm cốt lõi là hỗ trợ ra quyết định thời gian thực nhanh hơn mà không cần phụ thuộc vào đám mây. Thực tế, các nghiên cứu cho thấy việc sử dụng AI trên nền tảng biên có thể nâng cao hiệu suất vận hành lên đến 40%.

Những tiến bộ gần đây trong edge AI, đặc biệt là trong computer vision, đã biến công nghệ này thành chủ đề trọng tâm tại YOLO Vision 2024 (YV24), sự kiện lai thường niên của Ultralytics quy tụ các chuyên gia và những người đam mê AI để khám phá các xu hướng mới nhất về Vision AI. Một trong những điểm nhấn của sự kiện là bài phát biểu chủ đạo của Sony, nơi họ trưng bày các giải pháp phần mềm và phần cứng AI tiên tiến mới. Cảm biến IMX500 và nền tảng AITRIOS đã được giới thiệu, và Sony đã minh họa cách các đổi mới này giúp đơn giản hóa và tối ưu hóa việc deploy các mô hình Ultralytics YOLO như Ultralytics YOLO11 và Ultralytics YOLOv8 lên thiết bị biên.

Phiên làm việc được dẫn dắt bởi Wei Tang, Giám đốc Phát triển Kinh doanh chuyên trách các giải pháp hình ảnh của Sony, và Amir Servi, Giám đốc Sản phẩm Edge Deep Learning có chuyên môn về deploy các mô hình deep learning trên edge device.

Trong bài viết này, chúng ta sẽ xem xét lại bài nói chuyện của Sony tại YV24 và khám phá cách cảm biến IMX500 và nền tảng AITRIOS tối ưu hóa việc sử dụng các mô hình YOLO để xử lý AI tại biên theo thời gian thực nhanh hơn. Hãy cùng bắt đầu nào!

Tầm nhìn của Sony: Phổ cập AI trên các thiết bị biên#

Wei Tang mở đầu phiên thảo luận bằng việc chia sẻ mục tiêu của Sony trong việc phổ biến edge AI tương tự như cách họ đã làm với ngành nhiếp ảnh nhiều năm trước. Cô nhấn mạnh cách Sony hiện đang tập trung mang công nghệ Vision AI tiên tiến đến với nhiều người hơn thông qua điện toán biên. Một trong những động lực thúc đẩy điều này là tác động tích cực của edge AI đối với môi trường. Bằng cách xử lý dữ liệu trực tiếp trên thiết bị thay vì phụ thuộc vào các trung tâm dữ liệu khổng lồ, điện toán biên giúp cắt giảm mức tiêu thụ năng lượng và giảm phát thải carbon. Đây là một cách tiếp cận thông minh và thân thiện với môi trường hơn, hoàn toàn phù hợp với cam kết của Sony trong việc kiến tạo công nghệ không chỉ hoạt động hiệu quả hơn mà còn góp phần xây dựng một tương lai bền vững hơn.

Wei tiếp tục giải thích cách Sony Semiconductor Solutions — bộ phận của Sony chuyên về các công nghệ cảm biến và hình ảnh — tạo ra các cảm biến hình ảnh tiên tiến. Những cảm biến này được sử dụng trong nhiều loại thiết bị, chuyển đổi ánh sáng thành tín hiệu điện tử để ghi lại hình ảnh. Với hơn 1,2 tỷ cảm biến được shipped mỗi năm, chúng xuất hiện trong gần một nửa số điện thoại di động trên thế giới, khẳng định vị thế của Sony là một tên tuổi lớn trong ngành công nghiệp imaging.

Hình 1. Ví dụ về các cảm biến hình ảnh của Sony.

Dựa trên nền tảng chuyên môn này, Sony đang tiến xa hơn bằng cách chuyển đổi các cảm biến này từ thiết bị chụp ảnh thành các công cụ thông minh có khả năng xử lý dữ liệu thời gian thực, hỗ trợ thông tin chi tiết tích hợp AI trực tiếp trên thiết bị. Trước khi thảo luận về các giải pháp phần cứng và phần mềm mà Sony đang sử dụng để hỗ trợ sự chuyển dịch này, hãy cùng tìm hiểu các thách thức của edge AI mà những đổi mới này hướng tới giải quyết.

Những thách thức liên quan đến xử lý hình ảnh AI trên các thiết bị biên#

Phát triển các giải pháp edge AI đi kèm với một số thách thức cốt lõi, đặc biệt khi làm việc với các thiết bị như camera và cảm biến. Nhiều thiết bị trong số này có nguồn năng lượng và năng lực xử lý hạn chế, khiến việc chạy các mô hình AI tiên tiến một cách hiệu quả trở nên phức tạp.

Dưới đây là một số hạn chế chính khác:

• Độ phức tạp của phần mềm: Việc điều chỉnh các mô hình AI để hoạt động trên nhiều edge device với cấu hình phần cứng khác nhau có thể rất phức tạp và đòi hỏi các công đoạn tinh chỉnh cũng như tối ưu hóa.
• Điểm nghẽn hậu xử lý: Thường xảy ra độ trễ khi truyền tải lượng lớn dữ liệu từ thiết bị sang máy chủ (host) để hậu xử lý. Quá trình này thường tiêu tốn nhiều thời gian hơn cả bước inference mô hình AI thực tế.
• Bùng nổ dữ liệu: Với việc nhiều thiết bị IoT liên tục tạo ra dữ liệu, khối lượng dữ liệu cần xử lý cục bộ có thể trở nên quá tải, gây áp lực lớn hơn cho các edge device.

Tìm hiểu về cảm biến thị giác thông minh Sony IMX500#

Cảm biến thị giác thông minh Sony IMX500 là một phần cứng mang tính cách mạng trong xử lý edge AI. Đây là cảm biến thị giác thông minh đầu tiên trên thế giới tích hợp năng lực AI trực tiếp trên vi mạch (on-chip). Cảm biến này giúp vượt qua nhiều thách thức trong edge AI, bao gồm điểm nghẽn xử lý dữ liệu, vấn đề về quyền riêng tư và các giới hạn về hiệu năng.

Trong khi các cảm biến khác chỉ đơn thuần truyền đi hình ảnh và khung hình, IMX500 kể lại toàn bộ câu chuyện. Nó xử lý dữ liệu trực tiếp trên cảm biến, cho phép các thiết bị tạo ra thông tin chi tiết theo thời gian thực. Trong phiên thảo luận, Wei Tang cho biết: "Bằng cách tận dụng công nghệ cảm biến hình ảnh tiên tiến của mình, chúng tôi hướng tới việc trao quyền cho một thế hệ ứng dụng mới có khả năng nâng cao cuộc sống hàng ngày." IMX500 được thiết kế để đạt được mục tiêu này, chuyển đổi cách các thiết bị xử lý dữ liệu trực tiếp trên cảm biến mà không cần gửi lên đám mây để xử lý.

Dưới đây là một số tính năng chính của thiết bị:

• Xuất dữ liệu siêu dữ liệu (metadata): Thay vì gửi hình ảnh đầy đủ, nó xuất ra metadata, giúp giảm đáng kể kích thước dữ liệu, từ đó giảm việc sử dụng băng thông và chi phí.
• Bảo mật nâng cao: Bằng cách xử lý dữ liệu ngay trên thiết bị, IMX500 cải thiện tính riêng tư, đặc biệt trong các trường hợp liên quan đến thông tin nhạy cảm, chẳng hạn như các tác vụ computer vision liên quan đến con người như đếm số lượng người.
• Xử lý thời gian thực: Khả năng xử lý dữ liệu nhanh chóng của cảm biến đồng nghĩa với việc nó hỗ trợ ra quyết định thời gian thực, tốc độ cao, từ đó thúc đẩy các ứng dụng edge AI như hệ thống tự động.

IMX500 không chỉ đơn thuần là cảm biến máy ảnh — đây là một công cụ cảm nhận mạnh mẽ thay đổi cách các thiết bị nhận thức và tương tác với thế giới xung quanh. Bằng cách tích hợp trực tiếp AI vào cảm biến, Sony đang giúp edge AI trở nên dễ tiếp cận hơn đối với các ngành công nghiệp như ô tô, y tế và thành phố thông minh. Trong các phần tiếp theo, chúng ta sẽ đi sâu hơn vào cách IMX500 hoạt động cùng các mô hình Ultralytics YOLO nhằm cải thiện phát hiện đối tượng và xử lý dữ liệu trên edge device.

Hình 2. Wei Tang trên sân khấu tại YOLO Vision 2024 giới thiệu Cảm biến thị giác thông minh Sony IMX500.

Nền tảng AITRIOS của Sony: Đơn giản hóa edge AI#

Sau khi giới thiệu cảm biến IMX500, Wei Tang bày tỏ rằng mặc dù phần cứng đóng vai trò cốt lõi, yếu tố này là chưa đủ để giải quyết toàn diện mọi thử thách trong việc deploy AI ở biên. Cô thảo luận về việc tích hợp AI trên các thiết bị như camera và cảm biến đòi hỏi nhiều hơn là phần cứng tiên tiến — nó cần phần mềm thông minh để quản lý. Đây là lúc nền tảng AITRIOS của Sony phát huy tác dụng, cung cấp một giải pháp phần mềm đáng tin cậy được thiết kế để giúp việc deploy AI trên edge device trở nên đơn giản và hiệu quả hơn.

AITRIOS đóng vai trò là cầu nối giữa các mô hình AI phức tạp và những hạn chế của edge device. Nền tảng này cung cấp cho các nhà phát triển một loạt công cụ để deploy nhanh chóng các mô hình AI được huấn luyện trước. Quan trọng hơn, nó hỗ trợ huấn luyện lại liên tục để các mô hình AI luôn thích ứng được với những thay đổi trong thế giới thực.

Wei cũng nhấn mạnh cách AITRIOS đơn giản hóa quy trình cho những người chưa có chuyên môn sâu về AI, đồng thời mang lại sự linh hoạt để tùy chỉnh các mô hình AI cho các use case edge AI cụ thể. Nền tảng này cũng giải quyết các thách thức phổ biến như giới hạn bộ nhớ và sụt giảm hiệu năng, giúp việc tích hợp AI vào các thiết bị nhỏ gọn trở nên dễ dàng hơn mà không làm hy sinh độ chính xác hay tốc độ.

Hình 3. Ví dụ về các trường hợp sử dụng edge AI. Nguồn ảnh: SONY Semicon | AITRIOS.

Tối ưu hóa các mô hình YOLO trên IMX500#

Trong phần thứ hai của bài thuyết trình, micro được chuyển cho Amir, người đã đi sâu vào khía cạnh kỹ thuật về cách Sony tối ưu hóa các mô hình YOLO trên cảm biến IMX500.

Amir bắt đầu bằng câu nói: “Các mô hình YOLO mang tính hỗ trợ thiết bị biên và khá dễ tối ưu hóa, nhờ có Glenn và đội ngũ. Tôi sẽ chứng minh điều đó cho các bạn thấy, đừng lo lắng.” Amir sau đó giải thích rằng trong khi phần lớn sự chú ý thường đổ dồn vào việc tối ưu hóa chính mô hình AI, cách tiếp cận này thường bỏ quên một mối quan tâm cốt lõi: điểm nghẽn hậu xử lý.

Amir chỉ ra rằng trong nhiều trường hợp, ngay khi mô hình AI hoàn thành nhiệm vụ, quá trình truyền tải dữ liệu và xử lý hậu kỳ trên thiết bị chủ (host) có thể gây ra độ trễ đáng kể. Việc truyền dữ liệu qua lại liên tục giữa thiết bị và host này tạo ra độ trễ (latency), có thể trở thành rào cản lớn để đạt được hiệu năng tối ưu.

Hình 4. Amir Servi trên sân khấu tại YOLO Vision 2024 giải thích về các nút thắt cổ chai trong hậu xử lý.

Để giải quyết vấn đề này, Amir nhấn mạnh tầm quan trọng của việc nhìn nhận toàn bộ hệ thống từ đầu đến cuối thay vì chỉ tập trung vào mô hình AI. Với cảm biến IMX500, họ phát hiện ra rằng hậu xử lý chính là nút thắt cổ chai làm chậm mọi thứ lại. Ông chia sẻ rằng bước đột phá thực sự là mở khóa tính năng non-maximum suppression (NMS) ngay trên vi mạch (on-chip).

Điều này cho phép hậu xử lý diễn ra trực tiếp trên cảm biến, loại bỏ nhu cầu truyền một lượng lớn dữ liệu đến thiết bị chủ. Bằng cách chạy NMS trực tiếp trên IMX500, Sony đã phá vỡ những gì Amir gọi là “trần nhà kính hậu xử lý”, đạt được hiệu suất tốt hơn nhiều và giảm độ trễ.

Hình 5. Vượt qua nút thắt cổ chai trong hậu xử lý. Nguồn ảnh: SONY Semicon | AITRIOS

Tiếp theo, chúng ta sẽ xem xét cách đổi mới này giúp các model YOLO, đặc biệt là Ultralytics YOLOv8 Nano, chạy hiệu quả hơn trên các thiết bị edge, tạo ra những cơ hội mới cho việc xử lý AI thời gian thực trên phần cứng nhỏ hơn, bị hạn chế về tài nguyên.

Các model Ultralytics YOLOv8 đạt tốc độ tăng gấp 4 lần với IMX500 của Sony#

Khép lại bài nói chuyện với một điểm nhấn ấn tượng, Amir đã minh họa cách họ có thể tăng gấp bốn lần hiệu năng của model Ultralytics YOLOv8 Nano bằng cách chạy NMS ở edge. Anh ấy đã trình diễn điều này trên một thiết bị Raspberry Pi 5 được tích hợp cảm biến AI IMX500. Amir đã so sánh hiệu năng khi quá trình hậu xử lý được xử lý trên thiết bị host so với trên chip IMX500.

Kết quả cho thấy rõ ràng sự cải thiện lớn về khung hình trên giây (FPS) và tổng thể hiệu quả khi việc xử lý được thực hiện trực tiếp trên chip. Việc tối ưu hóa này giúp phát hiện đối tượng trở nên nhanh hơn, mượt mà hơn và đồng thời chứng minh tính khả thi của việc xử lý AI thời gian thực trên các thiết bị nhỏ gọn, bị hạn chế tài nguyên như Raspberry Pi.

Các điểm chính cần lưu ý#

Cảm biến IMX500 của Sony, nền tảng AITRIOS và các mô hình Ultralytics YOLO đang định hình lại sự phát triển của edge AI. Xử lý AI trên chip giúp giảm truyền dữ liệu và độ trễ, đồng thời tăng cường quyền riêng tư, bảo mật và hiệu quả. Bằng cách tập trung vào toàn bộ hệ thống, chứ không chỉ mô hình AI, những cải tiến này làm cho edge AI trở nên dễ tiếp cận hơn với các nhà phát triển và những người không có chuyên môn sâu về AI. Khi công nghệ edge AI tiếp tục phát triển, nó có khả năng sẽ kích hoạt các thiết bị thông minh hơn, ra quyết định nhanh hơn và bảo vệ quyền riêng tư mạnh mẽ hơn trên nhiều ngành công nghiệp và ứng dụng khác nhau.

Hãy kết nối với cộng đồng của chúng tôi để tiếp tục tìm hiểu về AI! Khám phá kho lưu trữ GitHub của chúng tôi để khám phá cách chúng ta có thể sử dụng AI để tạo ra các giải pháp đổi mới trong nhiều ngành công nghiệp khác nhau như nông nghiệp và sản xuất. 🚀