Khám phá Google Beam: Công cụ hội nghị truyền hình 3D thế hệ mới

Các cuộc gọi video và cuộc họp ảo đã biến làm việc từ xa trở nên khả thi, giúp các nhóm duy trì kết nối trên khắp các quốc gia và múi giờ. Chúng đã trở thành một phần thường nhật trong cuộc sống của chúng ta và thay đổi cách chúng ta giao tiếp.

Tuy nhiên, bất chấp việc được sử dụng rộng rãi, công nghệ cốt lõi đằng sau hội nghị truyền hình vẫn hầu như không thay đổi trong nhiều năm. Nhờ những tiến bộ gần đây, các nền tảng hội nghị truyền hình đang bắt đầu chuyển mình, hướng tới cảm giác tự nhiên và sống động hơn.

Thật thú vị, tại hội nghị nhà phát triển thường niên (Google I/O 2025), Google đã giới thiệu công cụ truyền thông video mới của mình, được gọi là Google Beam. Beam sử dụng trí tuệ nhân tạo (AI) và công nghệ hội nghị truyền hình 3D để vượt ra khỏi các màn hình phẳng truyền thống và tạo ra trải nghiệm trực tiếp, chân thực hơn.

Hình 1. CEO Google, Sundar Pichai, giới thiệu Google Beam (Nguồn).

Trên thực tế, Google Beam được thiết kế để mang lại cảm giác như người bạn đang trò chuyện cùng đang ở ngay trước mặt bạn. Khác với các cuộc gọi video thông thường, công nghệ này tái tạo lại các tín hiệu con người tinh tế, như giao tiếp bằng mắt và chuyển động tự nhiên thay đổi theo góc nhìn của bạn, những chi tiết thường bị mất đi trên màn hình phẳng.

Trong bài viết này, chúng ta sẽ đi sâu vào tìm hiểu Google Beam là gì, cách nó được phát triển, cách thức hoạt động và các ứng dụng của nó. Hãy cùng bắt đầu!

Link to this sectionTừ Project Starline đến Google Beam#

Trước khi tìm hiểu kỹ hơn về Google Beam, hãy cùng nắm bắt rõ hơn về người tiền nhiệm của nó, Project Starline.

Được giới thiệu tại Google I/O 2021, Project Starline là một sáng kiến nghiên cứu nhằm mục đích làm cho giao tiếp từ xa trở nên sống động hơn, gần như thể bạn đang ở trong cùng một căn phòng. Công nghệ này hoạt động bằng cách tạo ra các hình ảnh 3D kích thước thật của con người trong thời gian thực. Mặc dù công nghệ này thu hút rất nhiều sự chú ý, nhưng nó lại đòi hỏi các thiết lập phức tạp và phần cứng cồng kềnh.

Hình 2. Cái nhìn về Project Starline (Nguồn).

Qua nhiều năm, khi công nghệ phát triển, Google đã cải tiến phần mềm và tinh giản phần cứng. Sau bốn năm phát triển, Project Starline đã tiến hóa thành Google Beam - một giải pháp nhỏ gọn và thân thiện với người dùng hơn.

Google Beam sử dụng AI để cải thiện các cuộc gọi video bằng cách tạo ra những hình ảnh 3D chân thực hơn về những người bạn đang trò chuyện. Nó biến video 2D thông thường thành các chế độ xem điều chỉnh theo các góc khác nhau, giúp duy trì giao tiếp bằng mắt và giúp các biểu cảm khuôn mặt dễ quan sát hơn. Nó cũng bao gồm các tính năng như dịch thuật thời gian thực, theo dõi đầu và âm thanh không gian.

Link to this sectionTổng quan về Google Beam#

Google Beam được phát triển để hoạt động mà không cần các phụ kiện bổ sung như kính thực tế tăng cường (AR) hoặc thực tế ảo (VR). Thay vào đó, nó đi kèm với màn hình, hệ thống camera và phần cứng tích hợp sẵn để tạo ra hình ảnh 3D. Điều này làm cho các cuộc gọi video trở nên tự nhiên, thoải mái và hấp dẫn hơn so với các cuộc họp video thông thường.

Hình 3. Một ví dụ về việc sử dụng Google Beam (Nguồn).

Link to this sectionCách Google Beam tạo ra các cuộc họp ảo chân thực#

Bây giờ chúng ta đã thảo luận về nguồn gốc của Google Beam, hãy cùng xem xét kỹ hơn cách thức hoạt động của nó.

Link to this sectionGhi hình cho cộng tác từ xa nhập vai#

Mọi thứ bắt đầu bằng việc ghi lại thông tin hình ảnh. Beam sử dụng sáu camera độ phân giải cao để chụp ảnh từ các góc khác nhau cùng lúc.

Các camera này giúp theo dõi các đặc điểm khuôn mặt, ngôn ngữ cơ thể và những chuyển động nhỏ trong thời gian thực. AI đóng vai trò chủ chốt trong việc tối ưu hóa cài đặt camera và giữ cho tất cả các luồng video đồng bộ hoàn hảo. Điều này chuẩn bị cho hệ thống bước sang giai đoạn tiếp theo: xử lý dữ liệu.

Link to this sectionHội nghị truyền hình từ hình ảnh 2D sang 3D#

Tiếp theo, AI được sử dụng để kết hợp sáu luồng camera 2D nhằm tạo ra mô hình 3D thời gian thực của người trong khung hình. Thay vì chỉ xếp lớp các hình ảnh 2D, hệ thống tái cấu trúc chiều sâu, bóng đổ và các mối quan hệ không gian để tạo ra một bản sao kỹ thuật số 3D hoàn chỉnh.

Để xây dựng mô hình 3D này, Beam sử dụng AI và các kỹ thuật thị giác máy tính như ước tính chiều sâu và theo dõi chuyển động. Các phương pháp này giúp xác định khoảng cách của một người so với camera, cách họ di chuyển và tư thế cơ thể của họ. Với dữ liệu này, hệ thống có thể ánh xạ các đặc điểm khuôn mặt và các bộ phận cơ thể một cách chính xác trong không gian 3D.

Mô hình AI đằng sau Beam cập nhật biểu diễn 3D ở tốc độ 60 khung hình trên giây (FPS) để giữ cho các cuộc hội thoại diễn ra mượt mà và sống động. Nó cũng thực hiện các điều chỉnh theo thời gian thực để phản ánh chính xác các chuyển động của người đó.

Hình 4. Sáu camera của Google Beam ghi lại hình ảnh từ các góc độ khác nhau (Nguồn).

Link to this sectionHệ thống hiển thị trường ánh sáng của Google Beam#

Mô hình 3D được hiển thị trên hệ thống Beam của người nhận bằng màn hình trường ánh sáng. Không giống như các màn hình thông thường trình chiếu cùng một hình ảnh cho cả hai mắt, màn hình trường ánh sáng phát ra các hình ảnh hơi khác nhau cho mỗi mắt, mô phỏng cách chúng ta nhận thức chiều sâu trong thực tế. Điều này tạo ra trải nghiệm thị giác ba chiều chân thực hơn.

Hình 5. Đập tay ảo thông qua Google Beam (Nguồn).

Link to this sectionTheo dõi đầu chính xác đến từng milimet trong thời gian thực#

Một trong những tính năng ấn tượng nhất của Google Beam là khả năng theo dõi AI theo thời gian thực. Hệ thống sử dụng theo dõi đầu và mắt chính xác để bám theo các chuyển động đến từng chi tiết nhỏ nhất.

Ví dụ, công cụ AI của Beam có thể theo dõi liên tục vị trí đầu của người dùng và thực hiện các điều chỉnh tinh tế đối với hình ảnh trong thời gian thực. Điều này tạo cảm giác rằng người trên màn hình thực sự đang ngồi đối diện với bạn. Khi bạn di chuyển đầu, hình ảnh 3D cũng thay đổi theo, giống như trong một cuộc hội thoại trực tiếp thực sự.

Link to this sectionXử lý âm thanh cho giao tiếp ảo tăng cường bằng AI#

Beam cũng cải thiện trải nghiệm âm thanh bằng cách sử dụng âm thanh không gian khớp với vị trí của người đó trên màn hình. Nếu ai đó ở bên trái màn hình, giọng nói của họ sẽ nghe như phát ra từ bên trái. Khi họ thay đổi vị trí, âm thanh cũng điều chỉnh theo. Điều này làm cho các cuộc hội thoại cảm thấy tự nhiên hơn và giúp não bộ của bạn theo dõi người đang nói mà không cần tốn thêm nỗ lực.

Điều này hoạt động bằng cách kết hợp các kỹ thuật âm thanh định hướng với theo dõi thời gian thực. Beam sử dụng âm thanh không gian để mô phỏng cách chúng ta tự nhiên tiếp nhận âm thanh trong thế giới thực (dựa trên hướng phát ra và cách nó truyền đến từng tai). Hệ thống cũng theo dõi các chuyển động đầu của người xem và điều chỉnh đầu ra âm thanh cho phù hợp, để âm thanh luôn “gắn liền” với người trên màn hình.

Link to this sectionỨng dụng của Google Beam#

Google Beam, mặc dù vẫn đang trong giai đoạn đầu, cho thấy tiềm năng đầy hứa hẹn trong lĩnh vực hội nghị truyền hình. Dưới đây là một số ứng dụng chính của nó:

• Cộng tác từ xa: Google Beam có thể giúp các cuộc họp, đặc biệt là các cuộc thảo luận của lãnh đạo hoặc các cuộc đàm phán quan trọng, trở nên cá nhân và hiệu quả hơn. Bằng cách nắm bắt các yếu tố tinh tế như ngôn ngữ cơ thể và giao tiếp bằng mắt, nó giúp mọi người cảm thấy hiện diện rõ hơn, ngay cả khi họ ở rất xa nhau.
• Giáo dục: Beam có tiềm năng làm cho việc học ảo trở nên thú vị và dễ tiếp cận hơn. Hãy tưởng tượng một nhà khoa học đang giảng bài trực tiếp cho sinh viên ở nửa kia của thế giới, và cảm giác thực sự như thể họ đang ở trong cùng một phòng.
• Chăm sóc sức khỏe: Beam có thể làm cho các cuộc tư vấn từ xa trở nên cá nhân hóa hơn. Khi bác sĩ và bệnh nhân có thể nhìn thấy nhau rõ ràng và giao tiếp bằng mắt tự nhiên, điều đó xây dựng lòng tin và làm cho tương tác trở nên nhân văn hơn.
• Ngành công nghiệp sáng tạo: Đối với những người làm trong các lĩnh vực sáng tạo, như nhà làm phim hoạt họa, nghệ sĩ và nhà sản xuất, Beam có thể làm cho việc làm việc nhóm từ xa trở nên dễ dàng và tự nhiên hơn. Cho dù là lên ý tưởng hay đánh giá một dự án, cảm giác sẽ giống như đang cùng ngồi làm việc trong một studio hơn là đang tham gia một cuộc gọi video.

Link to this sectionƯu điểm và nhược điểm của Google Beam#

Dưới đây là một số lợi ích chính mà một sự đổi mới như Google Beam mang lại:

• Không cần tai nghe: Không giống như nhiều công nghệ nhập vai khác, Beam hoạt động mà không cần kính AR hoặc VR. Điều này làm cho trải nghiệm trở nên thoải mái hơn và tránh được các vấn đề phổ biến như say tàu xe hoặc sự bất tiện khi phải đeo thêm thiết bị.
• Giảm mỏi mắt: Màn hình 3D mang lại trải nghiệm xem tự nhiên và thoải mái hơn, giúp giảm mỏi mắt so với việc nhìn chằm chằm vào các màn hình phẳng trong thời gian dài.
• Dịch ngôn ngữ thời gian thực: Beam có thể tích hợp tính năng dịch thuật thời gian thực dựa trên AI, giúp những người nói các ngôn ngữ khác nhau giao tiếp tự nhiên hơn trong các cuộc họp quốc tế hoặc môi trường học tập.

Beam là một bước tiến đầy hứa hẹn, nhưng giống như bất kỳ công nghệ mới nào, nó đi kèm với một vài hạn chế. Dưới đây là một số điều cần cân nhắc:

• Yêu cầu về phần cứng: Beam đòi hỏi các thiết bị chuyên dụng, cao cấp, chẳng hạn như màn hình trường ánh sáng và nhiều camera, điều này khiến nó trở nên đắt đỏ và ít tiếp cận hơn đối với các cá nhân và các tổ chức nhỏ hơn.
• Không di động: Hệ thống của Beam được thiết kế để lắp đặt cố định và không nhằm mục đích dễ dàng di chuyển, điều này giới hạn tính linh hoạt và việc sử dụng trong các môi trường di động hoặc hay thay đổi.

Link to this sectionCác điểm chính cần lưu ý#

Google Beam là một bước tiến thú vị hướng tới việc làm cho giao tiếp ảo trở nên gần gũi với con người hơn. Mặc dù vẫn đang trong giai đoạn đầu, nhưng nó có tiềm năng thay đổi cách chúng ta gặp gỡ, kết nối và cộng tác. Bằng cách kết hợp AI tiên tiến, hình ảnh 3D và âm thanh không gian, nó tạo ra một trải nghiệm từ xa chân thực và hấp dẫn hơn.

Khi Google tiếp tục cải tiến phần cứng của Beam, làm cho nó nhỏ gọn hơn nữa, và có khả năng đưa nó đến với người dùng phổ thông, nó mang lại những khả năng thú vị cho tương lai của giao tiếp ảo. Cùng với các xu hướng công nghệ mới như các cuộc họp ảnh toàn ký và avatar 3D, Beam đang thiết lập một tiêu chuẩn mới cho các cuộc họp ảo.

Hãy tham gia cộng đồng của chúng tôi và xem qua các tùy chọn cấp phép của chúng tôi để bắt đầu với thị giác máy tính ngay hôm nay. Kiểm tra kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Đọc các trang giải pháp của chúng tôi để có được thông tin chi tiết về nhiều trường hợp sử dụng khác nhau của AI trong bán lẻ và thị giác máy tính trong nông nghiệp.