Các model Google Gemini Robotics đang giúp robot thông minh hơn

Trong nhiều thập kỷ, robot đã tượng trưng cho tương lai, xuất hiện trong các phòng thí nghiệm nghiên cứu, phim khoa học viễn tưởng và những buổi giới thiệu prototype công nghiệp tiên tiến. Giờ đây, nhờ những tiến bộ gần đây về trí tuệ nhân tạo (AI), các prototype này đang vượt ra ngoài môi trường được kiểm soát để đi vào những ứng dụng trong thế giới thực.

Cụ thể, với Gemini Robotics, Google đang tiến gần hơn đến công nghệ cần thiết để xây dựng những robot thông minh hơn. Ra mắt ngày 12 tháng 3 năm 2025, model Gemini Robotics và model đồng hành Gemini Robotics-ER (Suy luận hiện thân) là những đổi mới mới nhất của Google DeepMind.

Chúng được xây dựng trên Gemini 2.0, một mô hình ngôn ngữ lớn đa phương thức (LLM) có thể xử lý và tạo ra nhiều loại dữ liệu, bao gồm văn bản, hình ảnh, âm thanh và video, giúp các tương tác trở nên linh hoạt và tự nhiên hơn. Các model này đưa những khả năng đa phương thức của Gemini 2.0 vào thế giới vật lý, cho phép robot khéo léo, tương tác và thông minh hơn.

Ví dụ, khác với những robot truyền thống chỉ tuân theo các hướng dẫn cố định, robot được tích hợp các model Gemini Robotics có thể xử lý thị giác và ngôn ngữ. Nhờ đó, chúng có thể đưa ra quyết định theo thời gian thực và thích ứng với môi trường thay đổi.

Trong bài viết này, chúng ta sẽ tìm hiểu Gemini Robotics và Gemini Robotics-ER, cách các model này hoạt động, cùng những tính năng và ứng dụng chính của chúng. Hãy bắt đầu!

Hình 1. Gemini Robotics giúp robot thực hiện nhiều tác vụ hiệu quả.

Giới thiệu Google Gemini Robotics#

Gemini Robotics của Google là một model AI tiên tiến được thiết kế để cung cấp cho robot khả năng nhận thức, suy luận và tương tác trong thế giới vật lý. Là một model thị giác-ngôn ngữ-hành động (VLA), model này cho phép robot xử lý hướng dẫn, diễn giải môi trường xung quanh và thực hiện các tác vụ phức tạp với độ chính xác cao.

Trong khi đó, model Gemini Robotics-ER cải thiện khả năng của robot trong việc hiểu các mối quan hệ không gian, chẳng hạn như vị trí của các vật thể, cách chúng di chuyển và tương tác với nhau. Điều này giúp robot dự đoán hành động và điều chỉnh chuyển động tương ứng.

Ví dụ, hãy xem xét một tác vụ trong đó robot cần quấn dây quanh một chiếc tai nghe. Gemini Robotics-ER giúp robot hiểu cảnh vật, nhận diện hình dạng và độ linh hoạt của dây, xác định cấu trúc của tai nghe và dự đoán cách dây sẽ uốn cong khi di chuyển. Sau đó, Gemini Robotics chuyển đổi hiểu biết này thành hành động, phối hợp cả hai tay để thao tác dây một cách trơn tru, điều chỉnh lực nắm để tránh bị rối và đảm bảo dây được quấn chắc chắn.

Bằng cách kết hợp nhận thức với hành động, Gemini Robotics và Gemini Robotics-ER tạo ra một hệ thống thông minh, cho phép robot thực hiện hiệu quả các tác vụ đòi hỏi sự khéo léo trong môi trường năng động.

Hình 2. Tổng quan về họ model Gemini Robotics.

AI trong robotics: Tìm hiểu cách Gemini Robotics hoạt động#

Tiếp theo, hãy cùng xem xét kỹ hơn từng model để hiểu rõ hơn cách Gemini Robotics và Gemini Robotics-ER phối hợp nhằm cân bằng giữa tính linh hoạt và tốc độ hành động.

Một mặt, Gemini Robotics-ER tận dụng hai cơ chế then chốt: tạo code zero-shot và học theo ngữ cảnh few-shot (ICL). Với khả năng tạo code zero-shot, model có thể tạo code để điều khiển robot dựa trên hướng dẫn tác vụ, hình ảnh và dữ liệu theo thời gian thực mà không cần huấn luyện bổ sung.

Tương tự, với học few-shot, model thích ứng với các tác vụ mới bằng cách học từ chỉ một vài ví dụ, giảm nhu cầu huấn luyện chuyên sâu. Kết hợp với nhau, các phương pháp này cho phép robot nhanh chóng thực hiện những tác vụ phức tạp và thích ứng với thử thách mới mà chỉ cần rất ít nỗ lực.

Mặt khác, Gemini Robotics được xây dựng để đạt tốc độ và hiệu quả cao. Model sử dụng một hệ thống lai gồm backbone trên cloud và bộ giải mã hành động trên thiết bị. Backbone trên cloud xử lý thông tin nhanh chóng, với độ trễ từ truy vấn đến phản hồi dưới 160 mili giây.

Sau đó, bộ giải mã trên thiết bị giúp chuyển đổi dữ liệu này thành các hành động theo thời gian thực. Hệ thống kết hợp này đạt thời gian phản hồi tổng thể khoảng 250 mili giây, với tốc độ điều khiển 50 hành động mỗi giây.

Hình 3. Tìm hiểu cách Gemini Robotics hỗ trợ điều khiển robot theo thời gian thực.

Các khả năng chính của Gemini Robotics#

Dưới đây là tổng quan nhanh về các tính năng chính của Gemini Robotics:

• Tính tổng quát: Model có thể thích ứng với những thay đổi về ánh sáng, bối cảnh và vật thể mà vẫn duy trì độ chính xác. Model cũng hiểu các câu lệnh được diễn đạt lại hoặc đa ngôn ngữ, đồng thời có thể điều chỉnh chuyển động theo những điều kiện khác nhau.

• Tính tương tác: Model này có thể xử lý nhiều loại câu lệnh bằng ngôn ngữ tự nhiên và phản hồi một cách trực quan. Model cũng điều chỉnh hành động dựa trên những thay đổi của môi trường theo thời gian thực, rất phù hợp cho sự cộng tác giữa người và robot.

• Tính khéo léo: Robot được vận hành bởi model này có thể thực hiện các tác vụ phức tạp, chính xác, chẳng hạn như gấp origami hoặc xử lý những vật thể dễ hư hỏng. Dù là quy trình từng bước hay các hành động nhanh, model đều có thể giúp thực hiện chúng hiệu quả.

• Nhiều dạng thân robot: Model hoạt động trên nhiều nền tảng robot khác nhau, chẳng hạn như hệ thống hai tay và robot hình người, với rất ít fine-tuning. Model nhanh chóng thích ứng với các tác vụ mới mà vẫn duy trì hiệu suất cao.

Hình 4. Google Gemini Robotics hoạt động trên nhiều nền tảng robot khác nhau.

Các khả năng chính của Gemini Robotics-ER#

Dưới đây là một số tính năng chính của Gemini Robotics-ER giúp robot hiểu và tương tác với thế giới:

• Phát hiện và tracking vật thể: Model có thể được sử dụng để xác định và tracking vật thể trong cả không gian 2D và 3D. Bằng cách sử dụng các truy vấn bằng ngôn ngữ tự nhiên, model giúp robot tìm vật thể và dự đoán vị trí của chúng dựa trên loại, vị trí hoặc chức năng.

• Chỉ điểm: Tính năng này cho phép model xác định chính xác các vật thể hoặc bộ phận cụ thể trong một hình ảnh bằng tọa độ chính xác. Tính năng có thể giúp robot định vị toàn bộ vật thể, các bộ phận của vật thể hoặc thậm chí những khoảng trống.

• Dự đoán thao tác nắm: Gemini Robotics-ER có thể được sử dụng để xác định cách tốt nhất nhằm nắm các vật thể dựa trên hình dạng và chức năng của chúng. Model dự đoán vị trí cần nắm, dù đó là quả chuối hay quai cốc, cho phép robot xử lý vật thể một cách cẩn thận.

• Suy luận quỹ đạo: Model có thể lập kế hoạch đường đi bằng cách dự đoán các chuỗi hành động. Ví dụ, model có thể hướng tay robot về phía một công cụ hoặc xác định các waypoint cho một tác vụ cụ thể, giúp robot hoàn thành tác vụ hiệu quả.

• Đối sánh đa góc nhìn: Tính năng này giúp model hiểu cấu trúc 3D bằng cách so sánh hình ảnh của vật thể từ các góc khác nhau. Tính năng có thể cải thiện khả năng suy luận không gian, cho phép robot tương tác tốt hơn với vật thể trong môi trường năng động.

Hình 5. Gemini Robotics-ER có thể xử lý nhiều loại tác vụ.

Các ứng dụng của các model Google Gemini Robotics#

Giờ đây, sau khi đã thảo luận về những khả năng chính của Gemini Robotics và Gemini Robotics-ER, hãy cùng tìm hiểu các ứng dụng trong thế giới thực của chúng trong nhiều ngành khác nhau.

Google Gemini Robotics có thể được sử dụng trong sản xuất#

Trong sản xuất, độ chính xác và tốc độ rất quan trọng, nhưng khả năng thích ứng mới thực sự giúp mọi thứ vận hành trơn tru. Ví dụ, một robot công nghiệp được vận hành bởi Gemini có thể lắp ráp hệ thống pulley bằng cách xác định đúng các linh kiện, định vị chúng chính xác và xử lý một dây cao su linh hoạt với lực chính xác.

Robot có thể kéo căng dây, vòng dây quanh các pulley và cố định dây mà không làm đứt hoặc lệch dây. Nếu cấu hình thay đổi hoặc tác vụ biến đổi, robot có thể thích ứng mà không cần reprogramming chuyên sâu. Tự động hóa thông minh này giảm lỗi, cải thiện hiệu quả và giúp các quy trình sản xuất vận hành trơn tru.

Hình 6. Robot công nghiệp hai tay lắp chính xác dây cao su vào hệ thống pulley.

Nhà thông minh được hỗ trợ bởi Gemini Robotics#

Lịch trình bận rộn có thể khiến việc duy trì các công việc nhà trở nên khó khăn. Robot thông minh có thể đảm nhận những tác vụ như dọn dẹp, phân loại thực phẩm và thậm chí hỗ trợ chuẩn bị bữa ăn, giúp cuộc sống hằng ngày trở nên dễ dàng hơn.

Ví dụ, robot có thể đóng túi đồ ăn trưa, cẩn thận lựa chọn và đặt thực phẩm vào bên trong, đồng thời điều chỉnh lực nắm để bảo vệ những vật dễ hư hỏng như trái cây hoặc lon. Ngay cả khi cách sắp xếp thay đổi, robot vẫn có thể tự thích ứng, giảm bớt công việc hằng ngày với rất ít sự giám sát.

Hình 7. Robot hình người cẩn thận đóng túi đồ ăn trưa.

Ưu và nhược điểm khi tận dụng Gemini Robotics#

Gemini Robotics đang mở rộng khả năng của robot, từ sản xuất chính xác đến hỗ trợ nhà thông minh. Dưới đây là một số lợi ích chính khi sử dụng Gemini Robotics trong nhiều ứng dụng khác nhau:

• Yêu cầu huấn luyện tối thiểu: Khác với robot truyền thống, robot được vận hành bởi Gemini Robotics có thể học từ một vài lần trình diễn, giảm chi phí huấn luyện và giúp triển khai dễ dàng hơn.
• An toàn nâng cao: Trong môi trường nguy hiểm, robot được tích hợp Gemini Robotics có thể thực hiện các tác vụ nguy hiểm, giảm nguy cơ gây thương tích cho người lao động.
• Tính năng tùy biến: Tính linh hoạt của Gemini Robotics cho phép điều chỉnh model để đáp ứng nhu cầu cụ thể của các ngành hoặc doanh nghiệp riêng lẻ, hỗ trợ những ứng dụng chuyên biệt và giải pháp độc đáo.

Mặc dù Gemini Robotics mang lại nhiều lợi ích, việc giải quyết những hạn chế sau cũng rất quan trọng:

• Thách thức về quan hệ không gian: Các model này có thể gặp khó khăn trong việc theo dõi các mối quan hệ không gian qua những chuỗi video dài, ảnh hưởng đến khả năng tracking và hiểu vật thể theo thời gian.
• Thiếu độ chính xác số học: Các dự đoán của model, chẳng hạn như điểm và bounding box, có thể chưa đủ chính xác cho những tác vụ đòi hỏi điều khiển tinh vi, như các tác vụ robot nhạy cảm.
• Tác vụ phức tạp: Gemini Robotics có thể gặp khó khăn khi xử lý các tác vụ cần suy luận nhiều bước và chuyển động chính xác, đặc biệt trong những tình huống mới hoặc chưa quen thuộc.

Tương lai của AI trong robotics#

Khi AI tiếp tục phát triển, các model như Gemini Robotics và Gemini Robotics-ER đang thúc đẩy tương lai của robotics. Những cải tiến trong tương lai có thể sẽ tập trung vào việc nâng cao khả năng suy luận nhiều bước, cho phép robot chia nhỏ tác vụ thành các bước logic để đạt độ chính xác cao hơn.

Một lĩnh vực phát triển quan trọng khác mà Google DeepMind dự định nghiên cứu là huấn luyện dựa trên mô phỏng. Bằng cách học trong môi trường ảo trước khi triển khai trong thế giới thực, robot có thể hoàn thiện việc ra quyết định và chuyển động, giảm thiểu lỗi trong các ứng dụng thực tế.

Khi những công nghệ này phát triển, chúng có thể mở đường cho một tương lai trong đó robot tự chủ, thích ứng tốt hơn và có khả năng làm việc liền mạch cùng con người trong đời sống hằng ngày.

Những điểm chính#

Gemini Robotics là một bước tiến lớn trong tự động hóa do AI điều khiển, kết nối trí tuệ số với các tác vụ vật lý trong thế giới thực. Bằng cách kết hợp khả năng học dựa trên thị giác, ngôn ngữ và hành động, những robot này có thể xử lý các tác vụ phức tạp với độ chính xác và khả năng thích ứng cao.

Khi robot tiếp tục trở nên thông minh hơn, chúng có thể sẽ đóng vai trò lớn hơn trong đời sống hằng ngày, thay đổi cách con người và máy móc làm việc cùng nhau. Tiến bộ này đang đưa chúng ta đến gần hơn với một thế giới thông minh, kết nối hơn, nơi tự động hóa do AI điều khiển nâng cao cả hoạt động của các ngành công nghiệp lẫn những công việc thường ngày.

Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Truy cập repository GitHub để tìm hiểu sâu hơn về AI. Bạn muốn bắt đầu các dự án computer vision của riêng mình? Hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về AI trong sản xuất và Vision AI trong ngành công nghiệp ô tô trên các trang giải pháp của chúng tôi!