Các model Google Gemini Robotics đang giúp robot thông minh hơn

Trong nhiều thập kỷ, robot là biểu tượng của tương lai, xuất hiện trong các phòng thí nghiệm nghiên cứu, phim khoa học viễn tưởng và buổi giới thiệu nguyên mẫu trong ngành. Giờ đây, nhờ những tiến bộ gần đây của trí tuệ nhân tạo (AI), các nguyên mẫu này đang vượt ra khỏi môi trường được kiểm soát để bước vào những ứng dụng thực tế.

Cụ thể, với Gemini Robotics, Google đang tiến gần hơn đến công nghệ cần thiết để chế tạo robot thông minh hơn. Ra mắt ngày 12 tháng 3 năm 2025, model Gemini Robotics và model đồng hành Gemini Robotics-ER (lập luận hiện thân) là những đổi mới mới nhất của Google DeepMind.

Chúng được xây dựng trên Gemini 2.0, một mô hình ngôn ngữ lớn đa phương thức (LLM) có thể xử lý và tạo ra nhiều loại dữ liệu, bao gồm văn bản, hình ảnh, âm thanh và video, qua đó hỗ trợ các tương tác linh hoạt và tự nhiên hơn. Những model này đưa các khả năng đa phương thức của Gemini 2.0 vào thế giới vật lý, giúp robot khéo léo, tương tác và thông minh hơn.

Chẳng hạn, không giống robot truyền thống vốn làm theo các chỉ dẫn cố định, robot tích hợp model Gemini Robotics có thể xử lý hình ảnh và ngôn ngữ. Nhờ đó, robot có thể đưa ra quyết định theo thời gian thực và thích ứng với môi trường luôn thay đổi.

Trong bài viết này, chúng ta sẽ tìm hiểu Gemini Robotics và Gemini Robotics-ER, cách các model này hoạt động, cùng những tính năng và ứng dụng chính.

Hình 1. Gemini Robotics giúp robot thực hiện hiệu quả nhiều tác vụ.

Giới thiệu Google Gemini Robotics#

Gemini Robotics của Google là một model AI tiên tiến được thiết kế để giúp robot có khả năng nhận thức, suy luận và tương tác trong thế giới vật lý. Là một model thị giác-ngôn ngữ-hành động (VLA), model này cho phép robot xử lý chỉ dẫn, diễn giải môi trường xung quanh và thực hiện các tác vụ phức tạp với độ chính xác cao.

Trong khi đó, model Gemini Robotics-ER cải thiện khả năng hiểu các mối quan hệ không gian của robot: vị trí của vật thể, cách chúng di chuyển và tương tác với nhau. Nhờ vậy, robot có thể dự đoán hành động và điều chỉnh chuyển động tương ứng.

Ví dụ, hãy xem xét một tác vụ robot cần quấn dây quanh tai nghe. Gemini Robotics-ER giúp robot hiểu khung cảnh, nhận biết hình dạng và độ mềm dẻo của dây, xác định cấu trúc tai nghe và dự đoán cách dây uốn cong khi di chuyển. Sau đó, Gemini Robotics chuyển đổi hiểu biết này thành hành động, phối hợp cả hai tay để thao tác dây một cách trơn tru, điều chỉnh cách cầm để tránh rối và đảm bảo dây được quấn chắc chắn.

Bằng cách kết hợp nhận thức với hành động, Gemini Robotics và Gemini Robotics-ER tạo nên một hệ thống thông minh cho phép robot thực hiện hiệu quả các tác vụ đòi hỏi sự khéo léo trong môi trường biến động.

Hình 2. Tổng quan về họ model Gemini Robotics.

AI trong robotics: Tìm hiểu cách Gemini Robotics hoạt động#

Tiếp theo, hãy xem xét kỹ hơn từng model để hiểu rõ hơn cách Gemini Robotics và Gemini Robotics-ER phối hợp nhằm cân bằng giữa tính linh hoạt và khả năng hành động nhanh.

Một mặt, Gemini Robotics-ER tận dụng hai cơ chế chính: tạo mã zero-shot và học trong ngữ cảnh few-shot (ICL). Với khả năng tạo mã zero-shot, model có thể tạo mã điều khiển robot dựa trên chỉ dẫn tác vụ, hình ảnh và dữ liệu thời gian thực mà không cần huấn luyện bổ sung.

Tương tự, với học few-shot, model thích ứng với tác vụ mới bằng cách học từ chỉ một vài ví dụ, giảm nhu cầu huấn luyện quy mô lớn. Kết hợp lại, các phương pháp này giúp robot thực hiện nhanh những tác vụ phức tạp và thích ứng với thử thách mới mà không cần nhiều công sức.

Mặt khác, Gemini Robotics được xây dựng để đạt tốc độ và hiệu quả cao. Model sử dụng hệ thống lai gồm backbone dựa trên cloud và bộ giải mã hành động tích hợp trên thiết bị. Backbone dựa trên cloud xử lý thông tin nhanh chóng, với độ trễ từ truy vấn đến phản hồi dưới 160 mili giây.

Sau đó, bộ giải mã trên thiết bị giúp chuyển đổi dữ liệu này thành hành động theo thời gian thực. Hệ thống kết hợp này đạt tổng thời gian phản hồi khoảng 250 mili giây, với tốc độ điều khiển 50 hành động mỗi giây.

Hình 3. Tìm hiểu cách Gemini Robotics hỗ trợ điều khiển robot theo thời gian thực.

Các khả năng chính của Gemini Robotics#

Dưới đây là tổng quan nhanh về các tính năng chính của Gemini Robotics:

• Tính khái quát: Model có thể thích ứng với những thay đổi về ánh sáng, phông nền và vật thể mà vẫn duy trì độ chính xác. Model cũng hiểu các câu lệnh được diễn đạt lại hoặc bằng nhiều ngôn ngữ, đồng thời có thể điều chỉnh chuyển động theo các điều kiện khác nhau.
• Tính tương tác: Model này có thể xử lý nhiều câu lệnh bằng ngôn ngữ tự nhiên và phản hồi một cách trực quan. Model cũng điều chỉnh hành động dựa trên những thay đổi theo thời gian thực trong môi trường, rất phù hợp cho sự cộng tác giữa người và robot.
• Sự khéo léo: Robot được vận hành bằng model này có thể thực hiện các tác vụ phức tạp, chính xác như gấp origami hoặc xử lý vật thể dễ vỡ. Dù là quy trình từng bước hay hành động nhanh, model đều có thể giúp thực hiện hiệu quả.
• Đa dạng hình thái: Model hoạt động trên nhiều nền tảng robot khác nhau, như hệ thống hai cánh tay và robot hình người, mà chỉ cần tinh chỉnh rất ít. Model nhanh chóng thích ứng với tác vụ mới mà vẫn duy trì hiệu suất cao.

Hình 4. Google Gemini Robotics hoạt động trên nhiều nền tảng robot khác nhau.

Các khả năng chính của Gemini Robotics-ER#

Dưới đây là một số tính năng chính của Gemini Robotics-ER giúp robot hiểu và tương tác với thế giới:

• Phát hiện đối tượng và theo dõi: Model có thể được dùng để nhận diện và theo dõi đối tượng trong không gian 2D và 3D. Thông qua truy vấn bằng ngôn ngữ tự nhiên, model giúp robot tìm vật thể và dự đoán vị trí của chúng dựa trên loại, vị trí hoặc chức năng.
• Chỉ điểm: Tính năng này cho phép model xác định chính xác các vật thể cụ thể hoặc bộ phận trong hình ảnh bằng tọa độ. Tính năng này có thể giúp robot xác định vị trí của toàn bộ vật thể, bộ phận của vật thể hoặc thậm chí cả những khoảng trống.
• Dự đoán thao tác gắp: Gemini Robotics-ER có thể được dùng để xác định cách cầm nắm vật thể tốt nhất dựa trên hình dạng và chức năng của chúng. Model dự đoán vị trí cần nắm, dù là quả chuối hay quai cốc, giúp robot xử lý đồ vật một cách cẩn thận.
• Suy luận quỹ đạo: Model có thể lập kế hoạch đường di chuyển bằng cách dự đoán chuỗi hành động. Ví dụ, model có thể hướng dẫn tay robot đến một dụng cụ hoặc xác định các điểm mốc cho một tác vụ cụ thể, giúp robot hoàn thành tác vụ hiệu quả.
• Đối sánh đa góc nhìn: Tính năng này giúp model hiểu cấu trúc 3D bằng cách so sánh diện mạo của vật thể từ các góc độ khác nhau. Tính năng này có thể cải thiện suy luận không gian, giúp robot tương tác tốt hơn với vật thể trong môi trường biến động.

Hình 5. Gemini Robotics-ER có thể xử lý nhiều loại tác vụ.

Đối với phát hiện đối tượng 2D từ tên lớp, các model Gemini mới hơn như Gemini 4 Argon được so sánh với các model thị giác-ngôn ngữ khác trên Bảng xếp hạng VLM của Ultralytics.

Ứng dụng của các model Google Gemini Robotics#

Giờ đây, sau khi đã thảo luận về các khả năng chính của Gemini Robotics và Gemini Robotics-ER, hãy cùng xem xét những ứng dụng thực tế của chúng trong nhiều ngành khác nhau.

Google Gemini Robotics có thể được sử dụng trong sản xuất#

Trong lĩnh vực sản xuất, độ chính xác và tốc độ rất quan trọng, nhưng khả năng thích ứng mới thực sự giúp mọi thứ vận hành trơn tru. Chẳng hạn, robot công nghiệp sử dụng Gemini có thể lắp ráp hệ thống puli bằng cách xác định đúng các bộ phận, đặt chúng đúng vị trí và xử lý dây cao su mềm dẻo với lực chính xác.

Robot có thể kéo giãn dây, luồn dây quanh các puli và cố định dây mà không làm đứt hoặc lệch vị trí. Nếu cách bố trí thay đổi hoặc tác vụ biến đổi, robot có thể thích ứng mà không cần lập trình lại nhiều. Tự động hóa thông minh này giảm lỗi, cải thiện hiệu quả và giúp quy trình sản xuất vận hành trơn tru.

Hình 6. Robot công nghiệp hai tay lắp chính xác dây cao su vào hệ thống puli.

Nhà thông minh được hỗ trợ bởi Gemini Robotics#

Lịch trình bận rộn có thể khiến việc hoàn thành công việc nhà trở nên khó khăn. Robot thông minh có thể đảm nhận các tác vụ như dọn dẹp, phân loại thực phẩm và thậm chí hỗ trợ chuẩn bị bữa ăn, giúp cuộc sống hằng ngày dễ dàng hơn.

Hãy hình dung một robot đóng gói túi đồ ăn trưa, cẩn thận chọn và đặt thực phẩm vào bên trong, đồng thời điều chỉnh cách cầm để bảo vệ những món dễ vỡ như trái cây hoặc lon đồ uống. Ngay cả khi cách sắp xếp thay đổi, robot vẫn có thể tự thích ứng, giúp giảm bớt việc nhà hằng ngày mà không cần giám sát nhiều.

Hình 7. Robot hình người cẩn thận đóng gói túi đồ ăn trưa.

Ưu và nhược điểm của việc ứng dụng Gemini Robotics#

Gemini Robotics mở rộng khả năng của robot, từ sản xuất chính xác đến hỗ trợ việc nhà thông minh. Dưới đây là một số lợi ích chính khi sử dụng Gemini Robotics trong nhiều ứng dụng:

• Yêu cầu huấn luyện tối thiểu: Không giống robot truyền thống, robot sử dụng Gemini Robotics có thể học từ một vài lần trình diễn, giúp giảm chi phí huấn luyện và triển khai dễ dàng hơn.
• An toàn được cải thiện: Trong môi trường nguy hiểm, robot tích hợp Gemini Robotics có thể thực hiện các tác vụ rủi ro, giảm nguy cơ chấn thương cho người lao động.
• Tính năng tùy chỉnh: Tính linh hoạt của Gemini Robotics cho phép điều chỉnh model theo nhu cầu cụ thể của từng ngành hoặc doanh nghiệp, từ đó hỗ trợ các ứng dụng chuyên biệt và giải pháp độc đáo.

Dù Gemini Robotics mang lại nhiều lợi ích, cũng cần lưu ý những hạn chế sau:

• Thách thức về quan hệ không gian: Các model này có thể gặp khó khăn khi theo dõi các quan hệ không gian trong những chuỗi video dài, ảnh hưởng đến khả năng theo dõi và hiểu vật thể theo thời gian.
• Thiếu độ chính xác về số liệu: Các dự đoán của model, chẳng hạn như điểm và bounding box, có thể chưa đủ chính xác cho những tác vụ đòi hỏi khả năng điều khiển tinh vi, như các tác vụ robot cần thao tác khéo léo.
• Tác vụ phức tạp: Gemini Robotics có thể gặp khó khăn khi xử lý các tác vụ phức tạp cần suy luận nhiều bước và chuyển động chính xác, đặc biệt trong những tình huống mới hoặc chưa quen thuộc.

Tương lai của AI trong robotics#

Khi AI tiếp tục phát triển, các model như Gemini Robotics và Gemini Robotics-ER đang định hình tương lai của robotics. Những cải tiến trong tương lai có thể tập trung vào việc nâng cao khả năng suy luận nhiều bước, cho phép robot chia tác vụ thành các bước logic để đạt độ chính xác cao hơn.

Một lĩnh vực phát triển quan trọng khác mà Google DeepMind dự định tập trung là huấn luyện dựa trên mô phỏng. Bằng cách học trong môi trường ảo trước khi triển khai thực tế, robot có thể cải thiện khả năng ra quyết định và chuyển động, giảm thiểu lỗi trong ứng dụng thực tiễn.

Khi các công nghệ này phát triển, chúng có thể mở đường cho một tương lai nơi robot tự chủ, thích ứng tốt hơn và có khả năng làm việc cùng con người trong cuộc sống hằng ngày.

Điểm chính cần ghi nhớ#

Gemini Robotics là bước tiến lớn trong tự động hóa ứng dụng AI, kết nối trí tuệ số với các tác vụ vật lý trong thế giới thực. Bằng cách kết hợp thị giác, ngôn ngữ và học tập dựa trên hành động, những robot này có thể xử lý các tác vụ phức tạp với độ chính xác và khả năng thích ứng cao.

Khi robot ngày càng thông minh, chúng có thể đóng vai trò lớn hơn trong cuộc sống hằng ngày, làm thay đổi cách con người và máy móc phối hợp với nhau. Tiến bộ này đưa chúng ta đến gần hơn với một thế giới thông minh và kết nối hơn, nơi tự động hóa ứng dụng AI nâng cao hiệu quả cho cả ngành công nghiệp lẫn các công việc thường ngày.

Hãy tham gia cộng đồng đang phát triển của chúng tôi! Truy cập repository GitHub để tìm hiểu sâu hơn về AI. Bạn muốn bắt đầu dự án thị giác máy tính của riêng mình? Hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về AI trong sản xuất và Vision AI trong ngành ô tô trên các trang giải pháp của chúng tôi!