Khám phá Google Beam: Công cụ hội nghị truyền hình 3D thế hệ tiếp theo

Chuyển từ Dự án Starline sang Google Beam

Trước khi tìm hiểu sâu hơn về Google Beam, chúng ta hãy cùng tìm hiểu rõ hơn về dự án tiền nhiệm của nó, Project Starline.

Được giới thiệu tại Google I/O 2021, Dự án Starline là một sáng kiến nghiên cứu nhằm mục đích làm cho giao tiếp từ xa trở nên sống động hơn, gần như thể bạn đang ở trong cùng một phòng. Nó hoạt động bằng cách tạo ra hình ảnh 3D có kích thước bằng người thật của mọi người theo thời gian thực. Mặc dù công nghệ này thu hút được nhiều sự chú ý, nhưng nó đòi hỏi các thiết lập phức tạp và phần cứng nặng.

‍

Qua nhiều năm, khi công nghệ phát triển, Google đã tinh chỉnh phần mềm và hợp lý hóa phần cứng. Sau bốn năm phát triển, Dự án Starline đã phát triển thành Google Beam - một giải pháp nhỏ gọn và thân thiện với người dùng hơn.

Google Beam sử dụng AI để nâng cao cuộc gọi video bằng cách tạo ra hình ảnh giống 3D thực tế hơn về những người bạn đang nói chuyện. Nó biến video 2D thông thường thành chế độ xem điều chỉnh theo các góc khác nhau, giúp duy trì giao tiếp bằng mắt và giúp biểu cảm khuôn mặt dễ nhìn hơn. Nó cũng bao gồm các tính năng như dịch thời gian thực, theo dõi đầu và âm thanh không gian.

Tổng quan về Google Beam

Google Beam được phát triển để hoạt động mà không cần các phụ kiện bổ sung như tai nghe thực tế tăng cường (AR) hoặc thực tế ảo (VR). Thay vào đó, nó đi kèm với màn hình, hệ thống camera và phần cứng tích hợp riêng để tạo hình ảnh 3D. Điều này khiến các cuộc gọi video trở nên tự nhiên, thoải mái và hấp dẫn hơn so với các cuộc họp video thông thường.

‍

Cách Google Beam tạo ra các cuộc họp ảo thực tế

Bây giờ chúng ta đã thảo luận về sự ra đời của Google Beam, hãy cùng xem xét kỹ hơn cách thức hoạt động của nó.

Hội nghị truyền hình từ hình ảnh 2D sang 3D

Tiếp theo, AI được sử dụng để kết hợp sáu nguồn cấp dữ liệu camera 2D để tạo ra mô hình 3D thời gian thực của người trong tầm nhìn. Thay vì chỉ xếp lớp các hình ảnh 2D, nó tái tạo độ sâu, bóng tối và mối quan hệ không gian để tạo ra một bản sao kỹ thuật số 3D đầy đủ.

Để xây dựng mô hình 3D này, Beam sử dụng AI và các kỹ thuật thị giác máy tính như ước tính độ sâu và theo dõi chuyển động. Các phương pháp này giúp xác định khoảng cách của một người so với máy ảnh, cách họ di chuyển và cách cơ thể họ được định vị. Với dữ liệu này, hệ thống có thể lập bản đồ các đặc điểm khuôn mặt và các bộ phận cơ thể một cách chính xác trong không gian 3D.

Mô hình AI đằng sau Beam cập nhật hình ảnh 3D ở tốc độ 60 khung hình/giây (FPS) để giữ cho cuộc trò chuyện diễn ra mượt mà và sống động. Nó cũng thực hiện các điều chỉnh theo thời gian thực để phản ánh chính xác chuyển động của người đó.

‍

Hệ thống hiển thị trường ánh sáng của Google Beam

Mô hình 3D được hiển thị trên hệ thống Beam của máy thu bằng màn hình trường sáng. Không giống như màn hình thông thường hiển thị cùng một hình ảnh cho cả hai mắt, màn hình trường sáng phát ra hình ảnh hơi khác nhau cho mỗi mắt, mô phỏng cách chúng ta cảm nhận độ sâu trong cuộc sống thực. Điều này tạo ra trải nghiệm hình ảnh ba chiều thực tế hơn.

‍

Ứng dụng của Google Beam

Google Beam, mặc dù vẫn đang trong giai đoạn đầu, cho thấy tiềm năng đầy hứa hẹn trong không gian hội nghị truyền hình. Sau đây là một số ứng dụng chính của nó:

• Cộng tác từ xa: Google Beam có thể giúp các cuộc họp, đặc biệt là các cuộc thảo luận về lãnh đạo hoặc các cuộc đàm phán quan trọng, trở nên cá nhân và hiệu quả hơn. Bằng cách nắm bắt các yếu tố tinh tế như ngôn ngữ cơ thể và giao tiếp bằng mắt, nó giúp mọi người cảm thấy hiện diện hơn, ngay cả khi họ ở xa nhau.
  ‍
• Giáo dục : Beam có tiềm năng giúp việc học trực tuyến trở nên thú vị và dễ tiếp cận hơn. Hãy tưởng tượng một nhà khoa học đang giảng bài trực tiếp cho sinh viên ở cách xa nửa vòng trái đất, và thực sự có cảm giác như họ đang ở trong cùng một phòng.
  ‍
• Chăm sóc sức khỏe : Beam có thể khiến các buổi tư vấn từ xa trở nên cá nhân hơn. Khi bác sĩ và bệnh nhân có thể nhìn thấy nhau rõ ràng và giao tiếp bằng mắt tự nhiên, điều đó sẽ xây dựng lòng tin và khiến tương tác trở nên gần gũi hơn.
  ‍
• Ngành công nghiệp sáng tạo: Đối với những người trong lĩnh vực sáng tạo, như họa sĩ hoạt hình, nghệ sĩ và nhà sản xuất, Beam có thể giúp làm việc nhóm từ xa trở nên dễ dàng và tự nhiên hơn. Cho dù đó là động não ý tưởng hay xem xét một dự án, cảm giác giống như ngồi cùng nhau trong một studio hơn là gọi điện video.

Ưu và nhược điểm của Google Beam

Sau đây là một số lợi ích chính mà một sáng kiến như Google Beam mang lại:

• Không cần tai nghe: Không giống như nhiều công nghệ nhập vai khác, Beam hoạt động mà không cần tai nghe AR hoặc VR. Điều này giúp trải nghiệm thoải mái hơn và tránh các vấn đề thường gặp như say tàu xe hoặc sự bất tiện khi đeo thêm thiết bị.
  ‍
• Giảm mỏi mắt khi nhìn màn hình : Màn hình 3D mang lại trải nghiệm xem tự nhiên và thoải mái hơn, giúp giảm mỏi mắt so với việc nhìn chằm chằm vào màn hình phẳng trong thời gian dài.
  ‍
• Dịch ngôn ngữ theo thời gian thực: Beam có thể tích hợp tính năng dịch thời gian thực hỗ trợ bởi AI, giúp những người nói nhiều ngôn ngữ khác nhau dễ dàng giao tiếp tự nhiên trong các cuộc họp hoặc môi trường học tập quốc tế.

Beam là một bước tiến đầy hứa hẹn, nhưng giống như bất kỳ công nghệ mới nào, nó cũng có một số hạn chế. Sau đây là một số điều cần cân nhắc:

• Yêu cầu về phần cứng: Beam yêu cầu thiết bị chuyên dụng, cao cấp, chẳng hạn như màn hình trường sáng và nhiều camera, khiến công nghệ này đắt tiền và khó tiếp cận đối với cá nhân và các tổ chức nhỏ.
  ‍
• Không di động: Hệ thống Beam được thiết kế để lắp đặt cố định và không dễ di chuyển, điều này hạn chế tính linh hoạt và khả năng sử dụng trong môi trường di động hoặc thay đổi.

Những điểm chính

Google Beam là một bước tiến hấp dẫn hướng đến việc khiến giao tiếp ảo trở nên gần gũi hơn với con người. Mặc dù vẫn đang trong giai đoạn đầu, nhưng nó có tiềm năng biến đổi cách chúng ta gặp gỡ, kết nối và cộng tác. Bằng cách kết hợp AI tiên tiến, hình ảnh 3D và âm thanh không gian, nó tạo ra trải nghiệm từ xa sống động và hấp dẫn hơn.

Khi Google tiếp tục cải thiện phần cứng của Beam, làm cho nó nhỏ hơn nữa và có thể đưa nó đến với người dùng hàng ngày, nó mang lại những khả năng thú vị cho tương lai của giao tiếp ảo. Cùng với các xu hướng công nghệ mới như các cuộc họp ba chiều và hình đại diện 3D, Beam đang thiết lập một tiêu chuẩn mới cho các cuộc họp ảo.

Tham gia cộng đồng của chúng tôi và xem các tùy chọn cấp phép của chúng tôi để bắt đầu với thị giác máy tính ngay hôm nay. Kiểm tra kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Đọc các trang giải pháp của chúng tôi để có được thông tin chi tiết về các trường hợp sử dụng khác nhau của AI trong bán lẻ và thị giác máy tính trong nông nghiệp .