Vision AI hỗ trợ công nghệ nhận diện cử chỉ không chạm

Khi công nghệ phát triển, cách chúng ta tương tác với công nghệ cũng thay đổi. Các máy móc thời kỳ đầu phụ thuộc vào sức lực và cơ cấu điều khiển cơ học, trong khi khoa học máy tính hiện đại đã đưa vào sử dụng màn hình cảm ứng và tính năng nhập liệu bằng giọng nói.

Giờ đây, nhận diện cử chỉ là một phần của bước tiến tiếp theo, sử dụng các chuyển động tự nhiên làm giao diện người dùng. Một cái vẫy tay đơn giản, động tác chụm ngón tay hoặc ký hiệu tay nhanh đã có thể điều khiển ứng dụng, màn hình và máy móc.

Tương tác không chạm này có thể được hỗ trợ bởi computer vision, một nhánh của AI giúp máy móc quan sát và diễn giải những gì camera ghi lại. Các hệ thống Vision AI có thể được tích hợp vào điện thoại thông minh, kính thực tế ảo (VR) và thực tế tăng cường (AR), ô tô và thiết bị nhà thông minh, trong đó cử chỉ có thể thay thế thao tác chạm, nhấp và nút bấm để mang lại trải nghiệm người dùng mượt mà hơn.

Điều khiển không chạm đang trở nên phổ biến hơn trong đời sống hằng ngày. Tại nơi làm việc và các không gian dùng chung, việc tránh tiếp xúc vật lý có thể cải thiện vệ sinh và an toàn. Nhiều sản phẩm số cũng đang chuyển sang tương tác rảnh tay, còn cử chỉ cung cấp một cách dễ dàng, trực quan để điều khiển thiết bị mà không cần chạm vào chúng.

Trong bài viết này, chúng ta sẽ tìm hiểu nhận diện cử chỉ là gì, computer vision giúp tăng độ chính xác như thế nào và công nghệ này được sử dụng ở đâu trong các ứng dụng thực tế. Hãy bắt đầu!

Nhận diện cử chỉ là gì?#

Nhận diện cử chỉ là một công nghệ cảm biến cho phép máy móc hiểu các cử chỉ của con người, chẳng hạn như ký hiệu tay hoặc chuyển động cơ thể, rồi chuyển chúng thành các hành động số. Thay vì chạm vào màn hình hoặc nhấn nút, người dùng có thể điều khiển thiết bị bằng những chuyển động đơn giản, tự nhiên.

Điều này khiến tương tác trở nên trực quan hơn và là lý do đầu vào dựa trên cử chỉ đang được áp dụng trong nhiều hệ thống điều khiển dựa trên machine learning và AI. Đặc biệt, nhận diện cử chỉ tay là một trong những dạng nhận diện cử chỉ được sử dụng rộng rãi nhất và thường dựa vào computer vision.

Nói đơn giản, một giải pháp Vision AI có thể phát hiện bàn tay trong luồng camera, theo dõi cách bàn tay di chuyển hoặc thay đổi hình dạng, rồi đối chiếu các mẫu đó với một cử chỉ đã biết để kích hoạt hành động trên màn hình.

Một thành phần quan trọng của các giải pháp này là computer vision model, được huấn luyện trên các dataset gồm hình ảnh hoặc video đã gắn nhãn, thể hiện nhiều cử chỉ tay khác nhau. Với dữ liệu huấn luyện đa dạng và quá trình đánh giá cẩn thận, model có thể khái quát tốt hơn trên nhiều người dùng, điều kiện ánh sáng và phông nền khác nhau, giúp nhận diện cử chỉ đáng tin cậy hơn trong môi trường thực tế.

Hình 1. Dữ liệu được sử dụng để huấn luyện computer vision model phát hiện các keypoint của cử chỉ (Nguồn)

Tìm hiểu các loại cử chỉ và tương tác người–máy khác nhau#

Trước khi tìm hiểu sâu hơn về vai trò của computer vision trong nhận diện cử chỉ, hãy cùng lùi lại một bước để xem các loại cử chỉ mà những hệ thống này thường nhận diện.

Trong hầu hết trường hợp, cử chỉ thuộc một trong hai nhóm: tĩnh và động. Cử chỉ tĩnh là các tư thế tay cố định, chẳng hạn như giơ ngón cái, ký hiệu dừng hoặc ký hiệu hòa bình. Vì không liên quan đến chuyển động, chúng thường có thể được nhận diện từ một frame hình ảnh duy nhất.

Trong khi đó, cử chỉ động liên quan đến chuyển động theo thời gian, chẳng hạn như vẫy tay hoặc vuốt trong không trung. Để nhận diện chúng, hệ thống Vision AI cần phân tích nhiều frame nhằm theo dõi cách bàn tay di chuyển và hiểu hướng cũng như thời điểm của cử chỉ.

Vai trò của các thuật toán computer vision trong nhận diện cử chỉ#

Các hệ thống nhận diện cử chỉ có thể được xây dựng theo nhiều cách khác nhau. Một số hệ thống phương thức nhập liệu sử dụng cảm biến đeo được, chẳng hạn như găng tay hoặc thiết bị theo dõi gắn ở cổ tay, để ghi lại chuyển động của bàn tay.

Các thiết lập này có thể cho độ chính xác cao, nhưng không phải lúc nào cũng thực tế. Thiết bị đeo cần được mang, thiết lập, sạc và bảo trì; đồng thời có thể gây cảm giác hạn chế trong không gian dùng chung hoặc khi sử dụng hằng ngày.

Đó là lý do nhiều hệ thống tiên tiến thay vào đó dựa vào computer vision. Với camera RGB tiêu chuẩn cùng cảm biến độ sâu hoặc time-of-flight, thiết bị có thể ghi lại chuyển động của bàn tay và cơ thể theo thời gian thực mà không yêu cầu người dùng đeo thêm thiết bị. Điều này khiến nhận diện cử chỉ dựa trên vision rất phù hợp với điện thoại thông minh, ô tô, smart TV và kính AR, VR.

Chẳng hạn, các computer vision model như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt hỗ trợ các tác vụ như phát hiện đối tượng, theo dõi đối tượng và ước tính pose. Những khả năng này có thể được dùng để phát hiện bàn tay trong từng frame, theo dõi chuyển động theo thời gian và ánh xạ các keypoint như đầu ngón tay, khớp ngón tay. Nhờ đó, hệ thống có thể nhận diện các cử chỉ như giơ lòng bàn tay để tạm dừng, chụm ngón tay để phóng to, vuốt để điều hướng menu hoặc chỉ tay để chọn một mục trong AR và VR.

Các tác vụ computer vision được sử dụng để nhận diện tương tác người–máy#

Dưới đây là tổng quan về một số tác vụ computer vision quan trọng được sử dụng trong nhận diện cử chỉ:

• Phát hiện đối tượng: Tác vụ này được sử dụng để xác định vị trí bàn tay trong một frame hình ảnh hoặc video, thường bằng cách vẽ bounding box xung quanh bàn tay. Tác vụ giúp hệ thống tập trung vào vùng chứa cử chỉ và bỏ qua các chi tiết nền không cần thiết.
• Theo dõi đối tượng: Dựa trên phát hiện đối tượng, tác vụ này theo dõi các bàn tay đã phát hiện qua nhiều frame và duy trì danh tính của chúng theo thời gian. Tác vụ đặc biệt hữu ích với cử chỉ động, trong đó chuyển động và hướng là yếu tố then chốt.
• Ước tính pose: Thay vì tập trung vào bounding box, ước tính pose xác định các keypoint trên bàn tay, chẳng hạn như đầu ngón tay, khớp ngón tay và cổ tay. Các landmark này tạo thành một skeleton bàn tay đơn giản, ghi lại vị trí ngón tay và những chuyển động nhỏ, cho phép phân loại cử chỉ chi tiết hơn.
• Phân đoạn instance: Tác vụ này nhằm tách từng bàn tay khỏi nền ở cấp độ pixel bằng cách tạo mask cho mỗi bàn tay nhìn thấy được. Tác vụ hữu ích trong các cảnh có nhiều chi tiết, khi các bàn tay chồng lấp hoặc khi có nhiều bàn tay xuất hiện trong frame.

Nhiều giải pháp Vision AI sử dụng các tác vụ này cùng nhau như một phần của một pipeline duy nhất. Ví dụ, hệ thống có thể bắt đầu bằng phát hiện đối tượng để tìm bàn tay, sau đó dùng tracking để theo dõi bàn tay qua các frame đối với cử chỉ động.

Nếu cử chỉ phụ thuộc vào vị trí ngón tay, ước tính pose có thể bổ sung keypoint để cung cấp chi tiết tinh hơn, trong khi phân đoạn instance có thể giúp tách từng bàn tay chính xác hơn trong các cảnh phức tạp hoặc khi nhiều bàn tay chồng lấp. Khi phối hợp, các bước này cung cấp cả thông tin vị trí và chuyển động, giúp nhận diện cử chỉ chính xác và đáng tin cậy hơn.

Cách thức hoạt động của nhận diện cử chỉ dựa trên vision#

Giờ chúng ta đã hiểu rõ hơn về các tác vụ computer vision đứng sau nhận diện cử chỉ, hãy cùng xem từng bước cách một hệ thống dựa trên vision hoạt động.

Một hệ thống điển hình bắt đầu bằng việc ghi video từ camera, đôi khi kèm theo dữ liệu độ sâu nếu thiết bị hỗ trợ. Sau đó, các frame được tiền xử lý bằng xử lý hình ảnh để model có thể xử lý chúng nhất quán hơn, chẳng hạn như thay đổi kích thước, ổn định hình ảnh hoặc giảm nhiễu và hiện tượng nhòe do chuyển động.

Tiếp theo, hệ thống xác định bàn tay trong frame bằng tính năng phát hiện hoặc phân đoạn, rồi theo dõi bàn tay theo thời gian bằng tracking. Nếu ứng dụng cần chi tiết hơn, hệ thống cũng có thể chạy ước tính pose để trích xuất các keypoint như đầu ngón tay và khớp. Dựa trên thông tin này, model phân loại cử chỉ, dù đó là tư thế trong một frame duy nhất như giơ ngón cái hay một mẫu chuyển động như vuốt.

Cuối cùng, cử chỉ được nhận diện sẽ được ánh xạ tới một hành động trong giao diện, chẳng hạn như cuộn, thu phóng, chọn một mục, điều chỉnh âm lượng hoặc điều khiển tương tác AR và VR. Pipeline cụ thể có thể thay đổi; các ứng dụng đơn giản sử dụng ít bước hơn, còn các ứng dụng phức tạp kết hợp phát hiện, tracking và ước tính pose để đạt độ chính xác cao hơn.

Các ứng dụng của nhận diện cử chỉ dựa trên vision#

Tiếp theo, hãy cùng tìm hiểu cách nhận diện cử chỉ được sử dụng trong các ứng dụng thực tế để nhận biết vị trí bàn tay.

Tương tác dựa trên cử chỉ với hệ thống thông tin giải trí trên ô tô#

Nhận diện cử chỉ đang bắt đầu xuất hiện trong các giao diện xe thông minh, đặc biệt là trong hệ thống thông tin giải trí. Đây là một cách thuận tiện để điều khiển một số tính năng bằng các chuyển động tay đơn giản, giúp giảm tần suất tài xế phải với tới màn hình cảm ứng hoặc nút bấm vật lý. Ví dụ, một cử chỉ nhanh có thể được dùng để điều chỉnh âm lượng, quản lý cuộc gọi hoặc điều hướng qua các menu trên màn hình.

Hình 2. Tài xế thực hiện các cử chỉ tay trong phạm vi phát hiện của hệ thống thông tin giải trí (Nguồn)

Tương tác điều khiển bằng cử chỉ trong gaming#

Trong gaming và các trải nghiệm nhập vai, điều khiển dựa trên cử chỉ đang thay đổi cách con người tương tác với thế giới ảo. Thay vì chỉ dựa vào controller hoặc joystick, người chơi có thể sử dụng các chuyển động tay tự nhiên để điều hướng menu, nhặt vật thể ảo, điều khiển nhân vật hoặc kích hoạt hành động trong game.

Hình 3. Chơi game bằng cử chỉ tay (Nguồn).

Kiểu tương tác không chạm này có thể mang lại cảm giác mượt mà hơn, đặc biệt trong AR và VR. Vì vậy, tracking bàn tay và điều khiển bằng cử chỉ đang trở thành các tính năng phổ biến trong kính VR và kính thực tế hỗn hợp.

Điều khiển cử chỉ liền mạch cho thiết bị nhà thông minh#

Các thiết bị nhà thông minh như smart TV, loa và đèn kết nối đang bắt đầu hỗ trợ điều khiển dựa trên cử chỉ để thực hiện nhanh các hành động không chạm. Với một chuyển động tay đơn giản, người dùng có thể bật đèn, điều chỉnh âm lượng hoặc kích hoạt các lệnh cơ bản mà không cần với tới công tắc hay remote.

Ví dụ, trong các thiết lập giải trí tại gia, camera độ sâu được tích hợp sẵn hoặc kết nối bên ngoài có thể nhận diện các cử chỉ như vuốt, chỉ tay hoặc giơ tay. Điều này giúp người dùng dễ dàng duyệt menu, thay đổi cài đặt hoặc xác nhận lựa chọn từ phía bên kia căn phòng. Ở phía sau, các computer vision model xử lý luồng camera theo thời gian thực để phát hiện và diễn giải những cử chỉ này.

Điều khiển cử chỉ trong robot được hỗ trợ bởi trí tuệ nhân tạo#

Hãy xem xét tình huống trong một nhà máy, khi công nhân cần hướng dẫn robot trong lúc đang mang linh kiện, đeo găng tay hoặc đứng cách xa an toàn khỏi thiết bị đang chuyển động. Trong những tình huống này, việc với tới các nút bấm hoặc bảng điều khiển có thể chậm, thậm chí không an toàn.

Ngược lại, các hệ thống điều khiển dựa trên cử chỉ có thể là một cách tương tác thực tế và rảnh tay hơn với những máy móc này. Điều này đặc biệt hữu ích cho robot cộng tác, hay cobot, vốn được thiết kế để làm việc cùng con người.

Thay vì đi đến bảng điều khiển, người vận hành có thể sử dụng các tín hiệu tay đơn giản để khởi động, dừng hoặc hướng dẫn robot từ xa. Điều này giảm sự phụ thuộc vào các bộ điều khiển vật lý và có thể hỗ trợ quy trình làm việc an toàn hơn trên sàn nhà máy.

Các hệ thống điều khiển dựa trên vision tiên tiến được hỗ trợ bởi deep learning model hoặc các thuật toán học cũng có thể vượt xa những lệnh cơ bản. Chúng có thể diễn giải các chuyển động tay tinh tế hơn và phản hồi mượt mà trước những thay đổi nhỏ về hướng, cũng như các chỉ dẫn và hoạt động tự động hóa chính xác hơn.

Hình 4. Bàn tay robot phân tích cử chỉ của người dùng (Nguồn)

Ưu điểm và nhược điểm của công nghệ nhận diện cử chỉ#

Dưới đây là một số lợi ích chính của việc sử dụng công nghệ nhận diện cử chỉ:

• Cải thiện khả năng tiếp cận: Cử chỉ có thể cung cấp một phương thức thay thế cho những người dùng gặp khó khăn khi sử dụng bàn phím, màn hình cảm ứng hoặc controller.
• Hoạt động từ xa: Cử chỉ có thể được nhận diện từ phía bên kia căn phòng, rất hữu ích cho smart TV, kiosk và các thiết bị gia dụng.
• Linh hoạt trên nhiều thiết bị: Các bộ cử chỉ tương tự có thể hoạt động trên điện thoại, ô tô, màn hình thông minh và kính AR hoặc VR, giúp duy trì trải nghiệm tương tác nhất quán.

Đồng thời, một số thách thức trong thực tế có thể ảnh hưởng đến độ chính xác và tính nhất quán. Dưới đây là những yếu tố cần cân nhắc:

• Vấn đề về ánh sáng và chất lượng camera: Ánh sáng yếu, chói sáng, bóng đổ hoặc camera có độ phân giải thấp có thể làm giảm hiệu suất nhận diện. Điều này cũng có thể ảnh hưởng đến việc điều khiển chuyển động.
• Khác biệt giữa người dùng: Mỗi người thực hiện cử chỉ một cách tự nhiên khác nhau, đồng thời sự khác biệt về kích thước bàn tay, độ linh hoạt của ngón tay hoặc phụ kiện có thể ảnh hưởng đến độ chính xác.
• Hạn chế với chuyển động nhanh: Các cử chỉ nhanh có thể gây nhòe do chuyển động hoặc khiến model bỏ lỡ những frame quan trọng, đặc biệt trên các camera có frame rate thấp.

Những điểm chính#

Công nghệ nhận diện cử chỉ đã vượt ra khỏi các phòng thí nghiệm nghiên cứu và hiện là một phần của những thiết bị cũng như đổi mới hằng ngày. Cụ thể, computer vision hỗ trợ điều khiển không chạm trong gaming, robot, nhà thông minh và các hệ thống ô tô. Khi các vision model được cải thiện, những giao diện không chạm này có thể sẽ dễ xây dựng hơn và được sử dụng rộng rãi hơn.

Khám phá cộng đồng và repository GitHub của chúng tôi để tìm hiểu thêm về các computer vision model. Khám phá các trang giải pháp của chúng tôi để đọc về những ứng dụng như AI trong nông nghiệp và computer vision trong logistics. Xem các tùy chọn cấp phép và bắt đầu xây dựng vision AI model của riêng bạn.