Nâng cao năng lực Edge AI với Sony IMX500 và AITRIOS

Edge AI cho phép các mô hình trí tuệ nhân tạo (AI) vận hành trực tiếp trên các thiết bị như điện thoại thông minh, camera và drone. Ưu điểm chính của nó là hỗ trợ ra quyết định nhanh hơn, theo thời gian thực mà không cần phụ thuộc vào đám mây. Trên thực tế, các nghiên cứu cho thấy việc sử dụng AI trên các nền tảng biên có thể tăng hiệu quả vận hành lên tới 40%.

Những tiến bộ gần đây trong edge AI, đặc biệt là về thị giác máy tính, đã khiến nó trở thành chủ đề trọng tâm tại YOLO Vision 2024 (YV24), sự kiện hybrid thường niên của Ultralytics, nơi tập hợp những người đam mê và chuyên gia AI để khám phá những điều mới nhất về Vision AI. Một trong những điểm nhấn của sự kiện là bài phát biểu quan trọng của Sony, nơi họ giới thiệu các giải pháp phần mềm và phần cứng AI tiên tiến mới. Cảm biến IMX500 và nền tảng AITRIOS đã được giới thiệu, và Sony đã chứng minh cách các cải tiến này giúp triển khai các mô hình Ultralytics YOLO như Ultralytics YOLO11 và Ultralytics YOLOv8 trên biên trở nên dễ dàng và hiệu quả hơn.

Phiên thảo luận được dẫn dắt bởi Wei Tang, Giám đốc Phát triển Kinh doanh tập trung vào các giải pháp hình ảnh của Sony, và Amir Servi, Giám đốc Sản phẩm Deep Learning biên với chuyên môn về triển khai các mô hình deep learning trên các thiết bị biên.

Trong bài viết này, chúng ta sẽ xem xét lại bài nói chuyện của Sony tại YV24 và khám phá cách cảm biến IMX500 và nền tảng AITRIOS tối ưu hóa việc sử dụng các mô hình YOLO để xử lý AI tại biên theo thời gian thực nhanh hơn. Hãy cùng bắt đầu nào!

Link to this sectionTầm nhìn của Sony: Phổ cập AI trên các thiết bị biên#

Wei Tang mở đầu phiên họp bằng cách nói về mục tiêu của Sony là làm cho edge AI trở nên dễ tiếp cận như cách họ đã làm với nhiếp ảnh nhiều năm trước. Cô nhấn mạnh cách Sony hiện đang tập trung vào việc mang Vision AI tiên tiến đến với nhiều người hơn thông qua điện toán biên. Một trong những yếu tố thúc đẩy đằng sau điều này là tác động tích cực mà edge AI có thể mang lại cho môi trường. Bằng cách xử lý dữ liệu trực tiếp trên thiết bị thay vì dựa vào các trung tâm dữ liệu khổng lồ, điện toán biên giúp cắt giảm việc sử dụng năng lượng và giảm lượng khí thải carbon. Đó là một cách tiếp cận thông minh hơn, xanh hơn, phù hợp hoàn hảo với cam kết của Sony trong việc xây dựng công nghệ không chỉ hoạt động tốt hơn mà còn giúp tạo ra một tương lai bền vững hơn.

Wei tiếp tục giải thích cách Sony Semiconductor Solutions, bộ phận của Sony chuyên về công nghệ hình ảnh và cảm biến, tạo ra các cảm biến hình ảnh tiên tiến. Những cảm biến này được sử dụng trong nhiều loại thiết bị, chuyển đổi ánh sáng thành tín hiệu điện tử để chụp ảnh. Với hơn 1,2 tỷ cảm biến được vận chuyển mỗi năm, chúng được tìm thấy trong gần một nửa số điện thoại di động trên thế giới, đưa Sony trở thành một đơn vị lớn trong ngành hình ảnh.

Hình 1. Ví dụ về các cảm biến hình ảnh của Sony.

Dựa trên chuyên môn này, Sony hiện đang tiến xa hơn bằng cách chuyển đổi các cảm biến này từ thiết bị chụp ảnh thành các công cụ thông minh có thể xử lý dữ liệu trong thời gian thực, cho phép các thông tin chi tiết được hỗ trợ bởi AI trực tiếp trên các thiết bị. Trước khi chúng ta thảo luận về các giải pháp phần cứng và phần mềm mà Sony đang sử dụng để hỗ trợ sự thay đổi này, hãy cùng tìm hiểu các thách thức về edge AI mà những cải tiến này nhằm giải quyết.

Link to this sectionNhững thách thức liên quan đến xử lý hình ảnh AI trên các thiết bị biên#

Phát triển các giải pháp edge AI đi kèm với một vài thách thức chính, đặc biệt là khi làm việc với các thiết bị như camera và cảm biến. Nhiều thiết bị trong số này có khả năng xử lý và nguồn điện hạn chế, điều này khiến việc chạy các mô hình AI tiên tiến một cách hiệu quả trở nên khó khăn.

Dưới đây là một số hạn chế chính khác:

• Độ phức tạp của phần mềm: Việc điều chỉnh các mô hình AI để hoạt động trên các thiết bị biên khác nhau với các cấu hình phần cứng khác nhau có thể phức tạp và đòi hỏi sự điều chỉnh và tối ưu hóa.
• Nút thắt cổ chai trong hậu xử lý: Thường có độ trễ khi truyền một lượng lớn dữ liệu từ thiết bị đến máy chủ để hậu xử lý. Nó thường tốn nhiều thời gian hơn so với phép suy luận mô hình AI thực tế.
• Bùng nổ dữ liệu: Với nhiều thiết bị IoT liên tục tạo ra dữ liệu, khối lượng dữ liệu cần xử lý tại chỗ có thể quá lớn, gây thêm áp lực lên các thiết bị biên.

Link to this sectionTìm hiểu về cảm biến thị giác thông minh Sony IMX500#

Cảm biến thị giác thông minh Sony IMX500 là một phần cứng thay đổi cuộc chơi trong xử lý edge AI. Đây là cảm biến thị giác thông minh đầu tiên trên thế giới có khả năng AI trên chip. Cảm biến này giúp vượt qua nhiều thách thức trong edge AI, bao gồm các nút thắt xử lý dữ liệu, mối quan ngại về quyền riêng tư và các giới hạn hiệu suất.

Trong khi các cảm biến khác chỉ đơn giản là chuyển tiếp hình ảnh và khung hình, IMX500 kể một câu chuyện đầy đủ. Nó xử lý dữ liệu trực tiếp trên cảm biến, cho phép các thiết bị tạo ra thông tin chi tiết trong thời gian thực. Trong phiên họp, Wei Tang cho biết: "Bằng cách tận dụng công nghệ cảm biến hình ảnh tiên tiến của mình, chúng tôi đặt mục tiêu trao quyền cho một thế hệ ứng dụng mới có thể nâng cao cuộc sống hàng ngày." IMX500 được thiết kế để đáp ứng mục tiêu này, biến đổi cách các thiết bị xử lý dữ liệu trực tiếp trên cảm biến mà không cần phải gửi nó lên đám mây để xử lý.

Dưới đây là một số tính năng chính của thiết bị:

• Xuất dữ liệu siêu dữ liệu (metadata): Thay vì gửi hình ảnh đầy đủ, nó xuất ra metadata, giúp giảm đáng kể kích thước dữ liệu, từ đó giảm việc sử dụng băng thông và chi phí.
• Tăng cường quyền riêng tư: Bằng cách xử lý dữ liệu trên thiết bị, IMX500 cải thiện quyền riêng tư, đặc biệt là trong các tình huống liên quan đến thông tin nhạy cảm, chẳng hạn như các tác vụ thị giác máy tính liên quan đến con người như đếm người.
• Xử lý theo thời gian thực: Khả năng xử lý dữ liệu nhanh chóng của cảm biến có nghĩa là nó hỗ trợ việc ra quyết định nhanh, thời gian thực, cho phép các ứng dụng edge AI như hệ thống tự hành.

IMX500 không chỉ là một cảm biến camera - nó là một công cụ cảm biến mạnh mẽ giúp biến đổi cách các thiết bị nhận thức và tương tác với thế giới xung quanh. Bằng cách nhúng AI trực tiếp vào cảm biến, Sony đang làm cho edge AI trở nên dễ tiếp cận hơn đối với các ngành công nghiệp như ô tô, chăm sóc sức khỏe và thành phố thông minh. Trong các phần tiếp theo, chúng ta sẽ đi sâu hơn vào cách IMX500 hoạt động với các mô hình Ultralytics YOLO để cải thiện phát hiện đối tượng và xử lý dữ liệu trên các thiết bị biên.

Hình 2. Wei Tang trên sân khấu tại YOLO Vision 2024 giới thiệu Cảm biến thị giác thông minh Sony IMX500.

Link to this sectionNền tảng AITRIOS của Sony: Đơn giản hóa edge AI#

Sau khi giới thiệu cảm biến IMX500, Wei Tang bày tỏ rằng mặc dù phần cứng là rất quan trọng, nhưng chỉ riêng nó là không đủ để giải quyết toàn bộ các thách thức liên quan đến triển khai AI tại biên. Cô chia sẻ rằng việc tích hợp AI trên các thiết bị như camera và cảm biến đòi hỏi nhiều hơn là chỉ phần cứng tiên tiến - nó cần phần mềm thông minh để quản lý. Đây chính là nơi nền tảng AITRIOS của Sony phát huy tác dụng, cung cấp một giải pháp phần mềm đáng tin cậy được thiết kế để làm cho việc triển khai AI trên các thiết bị biên trở nên đơn giản và hiệu quả hơn.

AITRIOS đóng vai trò là cầu nối giữa các mô hình AI phức tạp và những hạn chế của thiết bị biên. Nó cung cấp cho các nhà phát triển một loạt các công cụ để nhanh chóng triển khai các mô hình AI đã được đào tạo trước. Nhưng quan trọng hơn, nó hỗ trợ đào tạo lại liên tục để các mô hình AI có thể duy trì sự thích nghi với những thay đổi trong thế giới thực.

Wei cũng nhấn mạnh cách AITRIOS đơn giản hóa quy trình cho những người không có chuyên môn sâu về AI, mang lại sự linh hoạt để tùy chỉnh các mô hình AI cho các trường hợp sử dụng edge AI cụ thể. Nó cũng giải quyết các thách thức phổ biến như hạn chế bộ nhớ và giảm hiệu suất, giúp tích hợp AI vào các thiết bị nhỏ hơn dễ dàng hơn mà không làm giảm độ chính xác hoặc tốc độ.

Hình 3. Ví dụ về các trường hợp sử dụng edge AI. Nguồn ảnh: SONY Semicon | AITRIOS.

Link to this sectionTối ưu hóa các mô hình YOLO trên IMX500#

Trong phần thứ hai của bài nói chuyện, micro được chuyển cho Amir, người đã đi sâu vào khía cạnh kỹ thuật về cách Sony tối ưu hóa các mô hình YOLO trên cảm biến IMX500.

Amir bắt đầu bằng câu: “Các mô hình YOLO hỗ trợ cho biên và khá dễ tối ưu hóa, nhờ vào Glenn và đội ngũ. Tôi sẽ thuyết phục các bạn về điều đó, đừng lo." Amir sau đó giải thích rằng mặc dù rất nhiều sự tập trung thường đổ dồn vào việc tối ưu hóa chính mô hình AI, phương pháp này thường bỏ qua một mối quan tâm quan trọng: các nút thắt cổ chai trong hậu xử lý.

Amir chỉ ra rằng trong nhiều trường hợp, sau khi mô hình AI hoàn thành nhiệm vụ, quy trình truyền dữ liệu và xử lý hậu kỳ trên thiết bị chủ có thể gây ra những trì hoãn đáng kể. Việc truyền dữ liệu qua lại giữa thiết bị và máy chủ này tạo ra độ trễ, đây có thể là một trở ngại lớn để đạt được hiệu suất tốt nhất.

Hình 4. Amir Servi trên sân khấu tại YOLO Vision 2024 giải thích về các nút thắt cổ chai trong hậu xử lý.

Để giải quyết vấn đề này, Amir nhấn mạnh tầm quan trọng của việc xem xét toàn bộ hệ thống từ đầu đến cuối, thay vì chỉ tập trung vào mô hình AI. Với cảm biến IMX500, họ phát hiện ra rằng hậu xử lý là nút thắt cổ chai chính làm chậm mọi thứ. Anh chia sẻ rằng bước đột phá thực sự là mở khóa non-maximum suppression (NMS) trên chip.

Điều này cho phép hậu xử lý diễn ra trực tiếp trên cảm biến, loại bỏ nhu cầu truyền một lượng lớn dữ liệu đến thiết bị chủ. Bằng cách chạy NMS trực tiếp trên IMX500, Sony đã phá vỡ những gì Amir gọi là “trần nhà kính hậu xử lý”, đạt được hiệu suất tốt hơn nhiều và giảm độ trễ.

Hình 5. Vượt qua nút thắt cổ chai trong hậu xử lý. Nguồn ảnh: SONY Semicon | AITRIOS

Tiếp theo, chúng ta sẽ xem xét cách sự đổi mới này giúp các mô hình YOLO, đặc biệt là YOLOv8 Nano, chạy hiệu quả hơn trên các thiết bị biên, tạo ra những cơ hội mới cho việc xử lý AI theo thời gian thực trên các phần cứng nhỏ hơn, hạn chế về tài nguyên.

Link to this sectionCác mô hình YOLOv8 đạt được tốc độ nhanh gấp 4 lần với cảm biến IMX500 của Sony#

Kết thúc bài nói chuyện trên một nốt cao, Amir đã chứng minh cách họ có thể tăng gấp bốn lần hiệu suất của mô hình YOLOv8 Nano bằng cách chạy NMS trên biên. Anh đã trình diễn điều này trên một Raspberry Pi 5, được tích hợp với cảm biến AI IMX500. Amir đã so sánh hiệu suất khi hậu xử lý được thực hiện trên thiết bị chủ so với trên chip IMX500.

Kết quả cho thấy rõ ràng sự cải thiện lớn về khung hình trên giây (FPS) và hiệu quả tổng thể khi quá trình xử lý được thực hiện trên chip. Tối ưu hóa này làm cho việc phát hiện đối tượng nhanh hơn, mượt mà hơn và cũng chứng minh tính thực tiễn của việc xử lý AI theo thời gian thực trên các thiết bị nhỏ hơn, hạn chế về tài nguyên như Raspberry Pi.

Link to this sectionCác điểm chính cần lưu ý#

Cảm biến IMX500 của Sony, nền tảng AITRIOS và các mô hình Ultralytics YOLO đang định hình lại sự phát triển của edge AI. Xử lý AI trên chip giúp giảm truyền dữ liệu và độ trễ, đồng thời tăng cường quyền riêng tư, bảo mật và hiệu quả. Bằng cách tập trung vào toàn bộ hệ thống, chứ không chỉ mô hình AI, những cải tiến này làm cho edge AI trở nên dễ tiếp cận hơn với các nhà phát triển và những người không có chuyên môn sâu về AI. Khi công nghệ edge AI tiếp tục phát triển, nó có khả năng sẽ kích hoạt các thiết bị thông minh hơn, ra quyết định nhanh hơn và bảo vệ quyền riêng tư mạnh mẽ hơn trên nhiều ngành công nghiệp và ứng dụng khác nhau.

Hãy kết nối với cộng đồng của chúng tôi để tiếp tục tìm hiểu về AI! Kiểm tra kho lưu trữ GitHub của chúng tôi để khám phá cách chúng ta có thể sử dụng AI để tạo ra các giải pháp sáng tạo trong nhiều ngành công nghiệp khác nhau như nông nghiệp và sản xuất. 🚀