Vision AI hỗ trợ công nghệ nhận dạng cử chỉ không cần chạm

Khi công nghệ phát triển, cách chúng ta tương tác với công nghệ cũng thay đổi. Những cỗ máy đầu tiên phụ thuộc vào sức lực và bộ điều khiển cơ học, còn ngành khoa học máy tính hiện đại đã đưa vào sử dụng màn hình cảm ứng và điều khiển bằng giọng nói.

Giờ đây, nhận diện cử chỉ là bước tiếp theo, sử dụng các chuyển động tự nhiên làm giao diện người dùng. Một cái vẫy tay đơn giản, động tác chụm ngón tay hoặc ký hiệu tay nhanh đã có thể điều khiển ứng dụng, màn hình và máy móc.

Tương tác không cần chạm này có thể được hỗ trợ bởi thị giác máy tính, một nhánh của AI giúp máy móc nhìn và diễn giải những gì camera ghi lại. Các hệ thống AI thị giác có thể được tích hợp vào điện thoại thông minh, kính thực tế ảo (VR) và thực tế tăng cường (AR), ô tô và thiết bị nhà thông minh, nơi cử chỉ có thể thay thế thao tác chạm, nhấp và bấm nút để mang lại trải nghiệm người dùng liền mạch hơn.

Điều khiển không chạm ngày càng phổ biến trong đời sống hằng ngày. Tại nơi làm việc và các không gian dùng chung, tránh tiếp xúc vật lý có thể cải thiện vệ sinh và an toàn. Nhiều sản phẩm số cũng đang chuyển sang tương tác rảnh tay, còn cử chỉ mang đến cách điều khiển thiết bị đơn giản, trực quan mà không cần chạm vào thiết bị.

Trong bài viết này, chúng ta sẽ tìm hiểu nhận diện cử chỉ là gì, thị giác máy tính giúp tăng độ chính xác như thế nào và công nghệ này được ứng dụng ra sao trong thực tế.

Nhận diện cử chỉ là gì?#

Nhận diện cử chỉ là công nghệ cảm biến cho phép máy móc hiểu các cử chỉ của con người, chẳng hạn như ký hiệu tay hoặc chuyển động cơ thể, rồi chuyển chúng thành hành động số. Thay vì chạm vào màn hình hoặc nhấn nút, người dùng có thể điều khiển thiết bị bằng những chuyển động tự nhiên, đơn giản.

Cách tương tác này tạo cảm giác trực quan hơn, đó là lý do đầu vào bằng cử chỉ đang được ứng dụng trong nhiều hệ thống điều khiển dựa trên machine learning và AI. Đặc biệt, nhận diện cử chỉ tay là một trong những hình thức nhận diện cử chỉ được sử dụng rộng rãi nhất và thường dựa vào thị giác máy tính.

Nói đơn giản, giải pháp AI thị giác có thể phát hiện bàn tay trong hình ảnh từ camera, theo dõi chuyển động hoặc sự thay đổi hình dạng của bàn tay, rồi đối chiếu các mẫu đó với cử chỉ đã biết để kích hoạt một hành động trên màn hình.

Một thành phần quan trọng của các giải pháp này là model thị giác máy tính, được huấn luyện trên các dataset gồm hình ảnh hoặc video đã gán nhãn, thể hiện nhiều cử chỉ tay khác nhau. Với dữ liệu huấn luyện đa dạng và quá trình đánh giá kỹ lưỡng, model có thể khái quát hóa tốt hơn giữa những người dùng, điều kiện chiếu sáng và phông nền khác nhau, giúp nhận diện cử chỉ đáng tin cậy hơn trong môi trường thực tế.

Hình 1. Dữ liệu dùng để huấn luyện model thị giác máy tính phát hiện keypoint của cử chỉ (Nguồn)

Tìm hiểu các loại cử chỉ và tương tác người–máy#

Trước khi tìm hiểu kỹ hơn vai trò của thị giác máy tính trong nhận diện cử chỉ, hãy cùng điểm qua các loại cử chỉ mà những hệ thống này thường nhận diện.

Trong hầu hết trường hợp, cử chỉ được chia thành hai nhóm: tĩnh và động. Cử chỉ tĩnh là các tư thế tay cố định, chẳng hạn như giơ ngón cái, ra hiệu dừng hoặc làm ký hiệu hòa bình. Vì không bao gồm chuyển động, các cử chỉ này thường có thể được nhận diện từ một khung hình.

Trong khi đó, cử chỉ động bao gồm chuyển động theo thời gian, chẳng hạn như vẫy tay hoặc vuốt trong không khí. Để nhận diện những cử chỉ này, hệ thống AI thị giác cần phân tích nhiều khung hình nhằm theo dõi chuyển động của bàn tay và xác định hướng cũng như thời điểm thực hiện cử chỉ.

Vai trò của thuật toán thị giác máy tính trong nhận diện cử chỉ#

Có thể xây dựng hệ thống nhận diện cử chỉ theo nhiều cách. Một số hệ thống sử dụng cảm biến đeo được, chẳng hạn như găng tay hoặc thiết bị theo dõi gắn ở cổ tay, để ghi nhận chuyển động của bàn tay.

Các thiết lập này có thể đạt độ chính xác cao nhưng không phải lúc nào cũng thiết thực. Người dùng phải đeo, thiết lập, sạc và bảo trì thiết bị đeo; ngoài ra, các thiết bị này có thể gây bất tiện trong không gian dùng chung hoặc khi sử dụng hằng ngày.

Đó là lý do nhiều hệ thống hiện đại sử dụng thị giác máy tính. Với camera RGB tiêu chuẩn cùng cảm biến độ sâu hoặc thời gian bay, thiết bị có thể ghi nhận chuyển động của tay và cơ thể theo thời gian thực mà người dùng không cần đeo thêm thiết bị. Nhờ vậy, công nghệ nhận diện cử chỉ dựa trên thị giác rất phù hợp với điện thoại thông minh, ô tô, TV thông minh và kính thực tế tăng cường (AR) và thực tế ảo (VR).

Ví dụ, các model thị giác máy tính như Ultralytics YOLO11 và phiên bản mới hơn là Ultralytics YOLO26 hỗ trợ các tác vụ như phát hiện đối tượng, theo dõi đối tượng và ước tính tư thế. Có thể dùng các khả năng này để phát hiện bàn tay trong từng khung hình, theo dõi chuyển động theo thời gian và ánh xạ các keypoint như đầu ngón tay và khớp. Nhờ đó, hệ thống có thể nhận diện cử chỉ như giơ lòng bàn tay để tạm dừng, chụm ngón tay để phóng to, vuốt để điều hướng menu hoặc chỉ tay để chọn mục trong AR và VR.

Các tác vụ thị giác máy tính dùng để nhận diện tương tác người–máy#

Sau đây là tổng quan về một số tác vụ thị giác máy tính chính được dùng trong nhận diện cử chỉ:

• Phát hiện đối tượng: Tác vụ này được dùng để xác định vị trí bàn tay trong ảnh hoặc khung hình video, thường bằng cách vẽ các hộp giới hạn xung quanh bàn tay. Việc này giúp hệ thống tập trung vào khu vực có cử chỉ và bỏ qua các chi tiết nền không cần thiết.
• Theo dõi đối tượng: Dựa trên kết quả phát hiện đối tượng, tác vụ này theo dõi bàn tay đã phát hiện qua nhiều khung hình và duy trì định danh của bàn tay theo thời gian. Tác vụ này đặc biệt hữu ích với cử chỉ động, khi chuyển động và hướng chuyển động đóng vai trò quan trọng.
• Ước tính tư thế: Thay vì tập trung vào các hộp giới hạn, ước tính tư thế xác định các keypoint trên bàn tay như đầu ngón tay, khớp ngón tay và cổ tay. Các mốc này tạo thành bộ khung bàn tay đơn giản, ghi nhận vị trí ngón tay và chuyển động nhỏ, giúp phân loại cử chỉ chi tiết hơn. Các tập dữ liệu như Hand Keypoints cung cấp các mốc bàn tay đã gán nhãn để huấn luyện.
• Phân đoạn đối tượng: Tác vụ này nhằm tách từng bàn tay khỏi phông nền ở cấp pixel bằng cách tạo mask cho mỗi bàn tay nhìn thấy được. Tác vụ này hữu ích trong cảnh lộn xộn, khi các bàn tay chồng lấp hoặc khi có nhiều bàn tay xuất hiện trong khung hình.

Nhiều giải pháp AI thị giác kết hợp các tác vụ này trong một pipeline duy nhất. Ví dụ, hệ thống có thể bắt đầu bằng phát hiện đối tượng để tìm bàn tay, sau đó dùng tính năng theo dõi để bám theo bàn tay qua các khung hình khi nhận diện cử chỉ động.

Nếu cử chỉ phụ thuộc vào vị trí các ngón tay, ước lượng pose có thể bổ sung keypoint để thể hiện chi tiết hơn, còn phân đoạn đối tượng có thể giúp cô lập chính xác hơn từng bàn tay trong cảnh lộn xộn hoặc khi nhiều bàn tay chồng lấp. Khi phối hợp, các bước này cung cấp thông tin cả về vị trí lẫn chuyển động, giúp nhận diện cử chỉ chính xác và đáng tin cậy hơn.

Cách hoạt động của nhận diện cử chỉ dựa trên thị giác#

Giờ đây, khi đã hiểu rõ hơn các tác vụ thị giác máy tính đứng sau việc nhận diện cử chỉ, hãy cùng tìm hiểu từng bước cách một hệ thống dựa trên thị giác hoạt động.

Một hệ thống điển hình bắt đầu bằng cách thu video từ camera, đôi khi kết hợp dữ liệu chiều sâu nếu thiết bị hỗ trợ. Sau đó, các khung hình được tiền xử lý bằng kỹ thuật xử lý ảnh để model dễ xử lý nhất quán hơn, chẳng hạn như đổi kích thước, ổn định hình ảnh hoặc giảm nhiễu và nhòe do chuyển động.

Tiếp theo, hệ thống xác định bàn tay trong khung hình bằng phát hiện hoặc phân đoạn, rồi theo dõi bàn tay theo thời gian. Nếu ứng dụng cần chi tiết hơn, hệ thống cũng có thể chạy ước tính tư thế để trích xuất các keypoint như đầu ngón tay và khớp. Dựa trên thông tin này, model phân loại cử chỉ, dù đó là tư thế trong một khung hình như giơ ngón tay cái hay một kiểu chuyển động như vuốt.

Cuối cùng, cử chỉ được nhận diện sẽ ánh xạ sang một hành động trong giao diện, chẳng hạn như cuộn, phóng to, chọn mục, điều chỉnh âm lượng hoặc điều khiển tương tác AR và VR. Pipeline cụ thể có thể khác nhau: ứng dụng đơn giản dùng ít bước hơn, còn ứng dụng phức tạp kết hợp phát hiện, theo dõi và ước lượng pose để đạt độ chính xác cao hơn.

Ứng dụng của nhận diện cử chỉ dựa trên thị giác#

Tiếp theo, hãy cùng điểm qua một số ứng dụng thực tế của công nghệ nhận diện cử chỉ dựa trên thị giác.

Tương tác bằng cử chỉ với hệ thống thông tin giải trí trên ô tô#

Nhận diện cử chỉ đang bắt đầu xuất hiện trong giao diện xe thông minh, đặc biệt là các hệ thống thông tin giải trí. Đây là cách thuận tiện để điều khiển một số tính năng bằng những chuyển động tay đơn giản, giúp giảm số lần tài xế phải với tay chạm vào màn hình hoặc nút vật lý. Ví dụ, một cử chỉ nhanh có thể dùng để điều chỉnh âm lượng, quản lý cuộc gọi hoặc điều hướng menu trên màn hình.

Hình 2. Tài xế thực hiện cử chỉ tay trong phạm vi phát hiện của hệ thống thông tin giải trí (Nguồn)

Tương tác bằng cử chỉ trong trò chơi#

Trong trò chơi và các trải nghiệm nhập vai, điều khiển bằng cử chỉ đang thay đổi cách mọi người tương tác với thế giới ảo. Thay vì chỉ dùng tay cầm hoặc cần điều khiển, người chơi có thể dùng chuyển động tay tự nhiên để điều hướng menu, nhặt vật thể ảo, điều khiển nhân vật hoặc kích hoạt hành động trong trò chơi.

Hình 3. Chơi trò chơi bằng cử chỉ tay (Nguồn).

Kiểu tương tác không cần chạm này có thể mang lại trải nghiệm liền mạch hơn, đặc biệt trong AR và VR. Vì vậy, tính năng theo dõi bàn tay và điều khiển bằng cử chỉ đang trở nên phổ biến trên kính VR và thực tế hỗn hợp.

Điều khiển thiết bị nhà thông minh liền mạch bằng cử chỉ#

Thiết bị nhà thông minh như TV thông minh, loa và đèn kết nối đang bắt đầu hỗ trợ điều khiển bằng cử chỉ để thực hiện nhanh các thao tác không cần chạm. Chỉ với một chuyển động tay đơn giản, người dùng có thể bật đèn, điều chỉnh âm lượng hoặc kích hoạt các lệnh cơ bản mà không cần với tay tới công tắc hay điều khiển từ xa.

Ví dụ, trong hệ thống giải trí tại nhà, camera chiều sâu tích hợp sẵn hoặc kết nối ngoài có thể nhận diện các cử chỉ như vuốt, chỉ tay hoặc giơ tay. Nhờ đó, người dùng có thể duyệt menu, thay đổi cài đặt hoặc xác nhận lựa chọn dễ dàng hơn từ phía bên kia căn phòng. Ở phía sau, các model thị giác máy tính xử lý hình ảnh từ camera theo thời gian thực để phát hiện và diễn giải những cử chỉ này.

Điều khiển bằng cử chỉ trong robot với sự hỗ trợ của trí tuệ nhân tạo#

Hãy hình dung tình huống trong nhà máy, khi công nhân cần hướng dẫn robot trong lúc đang mang linh kiện, đeo găng tay hoặc đứng cách xa thiết bị đang chuyển động ở khoảng cách an toàn. Trong những tình huống này, với tay tới nút bấm hoặc bảng điều khiển có thể mất thời gian, thậm chí không an toàn.

Ngược lại, hệ thống điều khiển bằng cử chỉ có thể là cách tương tác rảnh tay thiết thực hơn với các máy móc này. Cách tiếp cận này đặc biệt hữu ích với robot cộng tác, hay cobot, được thiết kế để làm việc cùng con người.

Thay vì đến gần bảng điều khiển, người vận hành có thể dùng các tín hiệu tay đơn giản để khởi động, dừng hoặc hướng dẫn robot từ xa. Cách này giảm phụ thuộc vào các bộ điều khiển vật lý và có thể hỗ trợ quy trình làm việc an toàn hơn tại khu vực sản xuất.

Các hệ thống điều khiển tiên tiến dựa trên thị giác, được hỗ trợ bởi model học sâu hoặc thuật toán học, cũng có thể xử lý nhiều hơn các lệnh cơ bản. Chúng có thể diễn giải các chuyển động tay tinh tế hơn và phản hồi mượt mà trước những thay đổi hướng nhỏ, nhờ đó điều khiển và tự động hóa chính xác hơn.

Hình 4. Bàn tay robot phân tích cử chỉ của người dùng (Nguồn)

Ưu và nhược điểm của công nghệ nhận diện cử chỉ#

Sau đây là một số lợi ích chính khi sử dụng công nghệ nhận diện cử chỉ:

• Cải thiện khả năng tiếp cận: Cử chỉ có thể là phương thức thay thế dành cho những người gặp khó khăn khi sử dụng bàn phím, màn hình cảm ứng hoặc bộ điều khiển.
• Hoạt động từ xa: Cử chỉ có thể được nhận diện từ phía bên kia căn phòng, rất hữu ích với TV thông minh, kiosk và thiết bị gia đình.
• Linh hoạt trên nhiều thiết bị: Các bộ cử chỉ tương tự có thể hoạt động trên điện thoại, ô tô, màn hình thông minh và kính AR hoặc VR, giúp trải nghiệm tương tác nhất quán.

Đồng thời, một số thách thức thực tế có thể ảnh hưởng đến độ chính xác và tính nhất quán. Sau đây là một số yếu tố cần cân nhắc:

• Vấn đề về ánh sáng và chất lượng camera: Ánh sáng yếu, chói sáng, bóng đổ hoặc camera có độ phân giải thấp có thể làm giảm hiệu suất nhận diện. Điều này cũng có thể ảnh hưởng đến khả năng điều khiển bằng chuyển động.
• Khác biệt giữa người dùng: Mỗi người có cách thực hiện cử chỉ tự nhiên khác nhau, và sự khác biệt về kích thước bàn tay, độ linh hoạt của ngón tay hoặc phụ kiện đeo có thể ảnh hưởng đến độ chính xác.
• Hạn chế khi chuyển động nhanh: Các cử chỉ nhanh có thể gây nhòe chuyển động hoặc khiến model bỏ lỡ những khung hình quan trọng, đặc biệt khi dùng camera có tốc độ khung hình thấp.

Điểm chính cần ghi nhớ#

Công nghệ nhận dạng cử chỉ đã vượt ra khỏi phòng thí nghiệm nghiên cứu và hiện là một phần của các thiết bị, cải tiến hằng ngày. Cụ thể, thị giác máy tính cho phép điều khiển không cần chạm trong lĩnh vực trò chơi, robot, nhà thông minh và hệ thống ô tô. Khi các model thị giác được cải thiện, những giao diện không cần chạm này có thể sẽ dễ xây dựng hơn và được sử dụng rộng rãi hơn.

Khám phá cộng đồng và kho GitHub của chúng tôi để tìm hiểu thêm về các model thị giác máy tính. Truy cập các trang giải pháp để đọc về những ứng dụng như thị giác máy tính trong robot và thị giác máy tính trong logistics. Xem các tùy chọn cấp phép và bắt đầu xây dựng model AI thị giác của riêng bạn.