Thúc đẩy AI biên với Sony IMX500 và AITRIOS

Edge AI cho phép các model trí tuệ nhân tạo (AI) hoạt động trực tiếp trên các thiết bị như smartphone, camera và drone. Ưu điểm chính của công nghệ này là hỗ trợ ra quyết định nhanh hơn theo thời gian thực mà không cần phụ thuộc vào cloud. Trên thực tế, các nghiên cứu cho thấy việc sử dụng AI trên các nền tảng edge có thể tăng hiệu quả vận hành lên đến 40%.

Những tiến bộ gần đây trong Edge AI, đặc biệt là trong thị giác máy tính, đã biến lĩnh vực này thành một chủ đề trọng tâm tại YOLO Vision 2024 (YV24), sự kiện kết hợp thường niên của Ultralytics quy tụ những người đam mê và chuyên gia AI để khám phá những phát triển mới nhất trong Vision AI. Một trong những điểm nhấn của sự kiện là bài thuyết trình chính của Sony, nơi Sony giới thiệu các giải pháp phần cứng AI và phần mềm tiên tiến mới. Cảm biến IMX500 và nền tảng AITRIOS được giới thiệu, đồng thời Sony trình diễn cách những đổi mới này giúp việc triển khai các model YOLO của Ultralytics như Ultralytics YOLO11 và Ultralytics YOLOv8 trên edge trở nên dễ dàng và hiệu quả hơn.

Phiên thảo luận do Wei Tang, Quản lý Phát triển Kinh doanh tập trung vào các giải pháp hình ảnh của Sony, và Amir Servi, Quản lý Sản phẩm Deep Learning Edge với chuyên môn về triển khai các model deep learning trên thiết bị edge, dẫn dắt.

Trong bài viết này, chúng ta sẽ nhìn lại bài nói chuyện của Sony tại YV24 và tìm hiểu cách cảm biến IMX500 cùng nền tảng AITRIOS tối ưu hóa việc sử dụng các model YOLO để xử lý AI trên edge nhanh hơn theo thời gian thực. Hãy bắt đầu!

Tầm nhìn của Sony: Phổ cập AI trên các thiết bị edge#

Wei Tang mở đầu phiên thảo luận bằng việc chia sẻ mục tiêu của Sony là giúp Edge AI trở nên dễ tiếp cận như cách họ đã làm với nhiếp ảnh nhiều năm trước. Cô nhấn mạnh rằng Sony hiện tập trung đưa Vision AI tiên tiến đến với nhiều người hơn thông qua điện toán edge. Một trong những động lực chính là tác động tích cực mà Edge AI có thể mang lại cho môi trường. Bằng cách xử lý dữ liệu trực tiếp trên thiết bị thay vì phụ thuộc vào các trung tâm dữ liệu quy mô lớn, điện toán edge giúp giảm mức tiêu thụ năng lượng và lượng khí thải carbon. Đây là một cách tiếp cận thông minh, xanh hơn, hoàn toàn phù hợp với cam kết của Sony trong việc xây dựng công nghệ không chỉ hoạt động tốt hơn mà còn góp phần tạo nên một tương lai bền vững hơn.

Wei tiếp tục giải thích cách Sony Semiconductor Solutions, bộ phận của Sony chuyên về công nghệ hình ảnh và cảm biến, tạo ra các cảm biến hình ảnh tiên tiến. Những cảm biến này được sử dụng trong nhiều loại thiết bị, chuyển đổi ánh sáng thành tín hiệu điện tử để ghi lại hình ảnh. Với hơn 1,2 tỷ cảm biến được xuất xưởng mỗi năm, chúng hiện diện trong gần một nửa số điện thoại di động trên thế giới, giúp Sony trở thành một tên tuổi lớn trong ngành hình ảnh.

Hình 1. Các ví dụ về cảm biến hình ảnh của Sony.

Dựa trên chuyên môn này, Sony đang tiến xa hơn bằng cách chuyển đổi các cảm biến từ thiết bị chụp ảnh thành những công cụ thông minh có thể xử lý dữ liệu theo thời gian thực, cho phép tạo ra thông tin chuyên sâu do AI hỗ trợ trực tiếp trên thiết bị. Trước khi thảo luận về các giải pháp phần cứng và phần mềm mà Sony sử dụng để hỗ trợ sự chuyển đổi này, hãy cùng tìm hiểu những thách thức của Edge AI mà các đổi mới này hướng đến giải quyết.

Các thách thức liên quan đến xử lý ảnh AI trên thiết bị edge#

Phát triển các giải pháp Edge AI đi kèm một số thách thức chính, đặc biệt khi làm việc với các thiết bị như camera và cảm biến. Nhiều thiết bị trong số này có công suất và khả năng xử lý hạn chế, khiến việc chạy các model AI tiên tiến một cách hiệu quả trở nên khó khăn.

Dưới đây là một số hạn chế chính khác:

• Độ phức tạp của phần mềm: Việc điều chỉnh model AI để hoạt động trên nhiều thiết bị edge với các cấu hình phần cứng khác nhau có thể phức tạp, đồng thời đòi hỏi các điều chỉnh và tối ưu hóa.
• Nút thắt cổ chai trong hậu xử lý: Thường xảy ra độ trễ khi truyền một lượng lớn dữ liệu từ thiết bị đến host để hậu xử lý. Quá trình này thường tốn nhiều thời gian hơn cả việc suy luận model AI thực tế.
• Bùng nổ dữ liệu: Khi nhiều thiết bị IoT liên tục tạo dữ liệu, khối lượng dữ liệu cần được xử lý cục bộ có thể trở nên quá tải, gây thêm áp lực cho các thiết bị edge.

Tìm hiểu về cảm biến thị giác thông minh Sony IMX500#

Cảm biến thị giác thông minh Sony IMX500 là một phần cứng mang tính đột phá trong xử lý Edge AI. Đây là cảm biến thị giác thông minh đầu tiên trên thế giới có khả năng AI tích hợp trên chip. Cảm biến này giúp khắc phục nhiều thách thức trong Edge AI, bao gồm các nút thắt cổ chai khi xử lý dữ liệu, mối lo ngại về quyền riêng tư và các hạn chế về hiệu năng.

Trong khi các cảm biến khác chỉ truyền hình ảnh và frame, IMX500 cung cấp một bức tranh toàn diện. Cảm biến xử lý dữ liệu trực tiếp trên chính nó, cho phép thiết bị tạo ra thông tin chuyên sâu theo thời gian thực. Trong phiên thảo luận, Wei Tang cho biết: "Bằng cách tận dụng công nghệ cảm biến hình ảnh tiên tiến, chúng tôi hướng đến việc trao quyền cho một thế hệ ứng dụng mới có thể nâng cao đời sống hằng ngày." IMX500 được thiết kế để hiện thực hóa mục tiêu này, thay đổi cách thiết bị xử lý dữ liệu trực tiếp trên cảm biến mà không cần gửi dữ liệu lên cloud để xử lý.

Dưới đây là một số tính năng chính của thiết bị:

• Đầu ra metadata: Thay vì gửi toàn bộ hình ảnh, cảm biến xuất metadata, giúp giảm đáng kể kích thước dữ liệu và từ đó giảm mức sử dụng băng thông cũng như chi phí.
• Tăng cường quyền riêng tư: Bằng cách xử lý dữ liệu trên thiết bị, IMX500 cải thiện quyền riêng tư, đặc biệt trong những tình huống liên quan đến thông tin nhạy cảm, chẳng hạn như các [tác vụ thị giác máy tính](https://ultralytics-translation-2.invalid liên quan đến con người như đếm người.
• Xử lý theo thời gian thực: Khả năng xử lý dữ liệu nhanh chóng của cảm biến giúp hỗ trợ ra quyết định nhanh theo thời gian thực, qua đó kích hoạt các ứng dụng Edge AI như hệ thống tự hành.

IMX500 không chỉ là một cảm biến camera - đây là một công cụ cảm nhận mạnh mẽ, thay đổi cách thiết bị nhận thức và tương tác với thế giới xung quanh. Bằng cách tích hợp AI trực tiếp vào cảm biến, Sony đang giúp Edge AI trở nên dễ tiếp cận hơn đối với các ngành như ô tô, chăm sóc sức khỏe và thành phố thông minh. Trong các phần tiếp theo, chúng ta sẽ tìm hiểu sâu hơn về cách IMX500 kết hợp với các model YOLO của Ultralytics để cải thiện phát hiện đối tượng và xử lý dữ liệu trên thiết bị edge.

Hình 2. Wei Tang trên sân khấu tại YOLO Vision 2024 giới thiệu Cảm biến thị giác thông minh Sony IMX500.

Nền tảng AITRIOS của Sony: Đơn giản hóa Edge AI#

Sau khi giới thiệu cảm biến IMX500, Wei Tang cho biết mặc dù phần cứng đóng vai trò quan trọng, chỉ phần cứng thôi vẫn chưa đủ để giải quyết toàn bộ phạm vi thách thức liên quan đến triển khai AI trên edge. Cô chia sẻ rằng việc tích hợp AI vào các thiết bị như camera và cảm biến đòi hỏi nhiều hơn phần cứng tiên tiến - cần có phần mềm thông minh để quản lý chúng. Đây là lúc nền tảng AITRIOS của Sony phát huy vai trò, cung cấp một giải pháp phần mềm đáng tin cậy được thiết kế để giúp việc triển khai AI trên thiết bị edge trở nên đơn giản và hiệu quả hơn.

AITRIOS hoạt động như một cầu nối giữa các model AI phức tạp và những hạn chế của thiết bị edge. Nền tảng này cung cấp cho developer nhiều công cụ để nhanh chóng triển khai các model AI đã được huấn luyện trước. Quan trọng hơn, nền tảng hỗ trợ huấn luyện lại liên tục để các model AI có thể thích ứng với những thay đổi trong thế giới thực.

Wei cũng nhấn mạnh cách AITRIOS đơn giản hóa quy trình cho những người không có chuyên môn sâu về AI, đồng thời cung cấp sự linh hoạt để tùy chỉnh model AI cho các trường hợp sử dụng Edge AI cụ thể. Nền tảng cũng giải quyết những thách thức phổ biến như giới hạn bộ nhớ và tình trạng suy giảm hiệu năng, giúp việc tích hợp AI vào các thiết bị nhỏ hơn trở nên dễ dàng mà không phải hy sinh độ chính xác hay tốc độ.

Hình 3. Các ví dụ về trường hợp sử dụng Edge AI. Nguồn hình ảnh: SONY Semicon | AITRIOS.

Tối ưu hóa các model YOLO trên IMX500#

Trong phần thứ hai của bài nói chuyện, Amir tiếp quản và đi sâu vào khía cạnh kỹ thuật về cách Sony tối ưu hóa các model YOLO trên cảm biến IMX500.

Amir mở đầu: “Các model YOLO có khả năng hoạt động trên edge và tương đối dễ tối ưu hóa nhờ Glenn cùng đội ngũ. Tôi sẽ thuyết phục các bạn về điều đó, đừng lo.” Sau đó, Amir giải thích rằng mặc dù phần lớn sự tập trung thường dành cho việc tối ưu hóa bản thân model AI, cách tiếp cận này thường bỏ qua một vấn đề quan trọng: các nút thắt cổ chai trong hậu xử lý.

Amir chỉ ra rằng trong nhiều trường hợp, sau khi model AI hoàn thành tác vụ, quá trình truyền dữ liệu và thực hiện hậu xử lý trên thiết bị host có thể gây ra độ trễ đáng kể. Việc truyền dữ liệu qua lại giữa thiết bị và host tạo ra latency, có thể là trở ngại lớn để đạt được hiệu năng tốt nhất.

Hình 4. Amir Servi trên sân khấu tại YOLO Vision 2024 giải thích về các nút thắt cổ chai trong hậu xử lý.

Để giải quyết vấn đề này, Amir nhấn mạnh tầm quan trọng của việc xem xét toàn bộ hệ thống end-to-end thay vì chỉ tập trung vào model AI. Với cảm biến IMX500, họ phát hiện hậu xử lý là nút thắt cổ chai chính làm chậm toàn bộ hệ thống. Ông chia sẻ rằng bước đột phá thực sự là mở khóa tính năng ức chế cực đại (NMS) trên chip.

Điều này cho phép hậu xử lý diễn ra trực tiếp trên cảm biến, loại bỏ nhu cầu truyền một lượng lớn dữ liệu đến thiết bị host. Bằng cách chạy NMS trực tiếp trên IMX500, Sony đã vượt qua điều mà Amir gọi là “trần kính hậu xử lý”, đạt được hiệu năng tốt hơn nhiều và giảm latency.

Hình 5. Vượt qua nút thắt cổ chai trong hậu xử lý. Nguồn hình ảnh: SONY Semicon | AITRIOS

Tiếp theo, chúng ta sẽ xem đổi mới này đã giúp các model YOLO, đặc biệt là Ultralytics YOLOv8 Nano, hoạt động hiệu quả hơn trên thiết bị edge như thế nào, từ đó mở ra những cơ hội mới cho xử lý AI theo thời gian thực trên phần cứng nhỏ hơn và bị giới hạn về tài nguyên.

Các model Ultralytics YOLOv8 đạt tốc độ nhanh hơn 4 lần với IMX500 của Sony#

Khép lại bài nói chuyện đầy ấn tượng, Amir trình diễn cách họ tăng hiệu năng của model Ultralytics YOLOv8 Nano lên gấp bốn lần bằng cách chạy NMS trên edge. Ông trình diễn trên một Raspberry Pi 5 được tích hợp với cảm biến AI IMX500. Amir so sánh hiệu năng khi hậu xử lý được thực hiện trên thiết bị host với khi được thực hiện trên chip IMX500.

Kết quả cho thấy rõ mức cải thiện lớn về số khung hình mỗi giây (FPS) và hiệu quả tổng thể khi quá trình xử lý được thực hiện trên chip. Việc tối ưu hóa giúp phát hiện đối tượng nhanh và mượt mà hơn, đồng thời chứng minh tính khả thi của xử lý AI theo thời gian thực trên các thiết bị nhỏ hơn và bị giới hạn về tài nguyên như Raspberry Pi.

Những điểm chính#

Cảm biến IMX500 của Sony, nền tảng AITRIOS và các model YOLO của Ultralytics đang định hình lại hoạt động phát triển Edge AI. Xử lý AI trên chip giúp giảm truyền dữ liệu và latency, đồng thời tăng cường quyền riêng tư, bảo mật và hiệu quả. Bằng cách tập trung vào toàn bộ hệ thống thay vì chỉ model AI, những đổi mới này giúp Edge AI dễ tiếp cận hơn với developer và những người không có chuyên môn sâu về AI. Khi công nghệ Edge AI tiếp tục phát triển, công nghệ này nhiều khả năng sẽ cho phép tạo ra các thiết bị thông minh hơn, ra quyết định nhanh hơn và các biện pháp bảo vệ quyền riêng tư mạnh mẽ hơn trong nhiều ngành và ứng dụng.

Hãy kết nối với cộng đồng của chúng tôi để tiếp tục tìm hiểu về AI! Hãy xem kho lưu trữ GitHub của chúng tôi để khám phá cách sử dụng AI nhằm tạo ra các giải pháp đổi mới trong nhiều ngành như nông nghiệp và sản xuất. 🚀