Vision AI cho phép công nghệ nhận dạng cử chỉ không chạm

Khi công nghệ phát triển, cách chúng ta tương tác với nó cũng thay đổi. Các thiết bị thời kỳ đầu phụ thuộc vào sức lao động vật lý và các bộ điều khiển cơ học, trong khi khoa học máy tính hiện đại đã giới thiệu màn hình cảm ứng và đầu vào bằng giọng nói.

Hiện nay, nhận diện cử chỉ là một phần của bước tiến tiếp theo, sử dụng các chuyển động tự nhiên làm giao diện người dùng. Một cái vẫy tay, một cái nhúm ngón tay hoặc một ký hiệu tay nhanh chóng đã có thể điều khiển các ứng dụng, màn hình và máy móc.

Tương tác không chạm này có thể được hỗ trợ bởi computer vision, một nhánh của AI giúp máy móc nhìn và diễn giải những gì camera thu được. Các hệ thống Vision AI có thể được tích hợp vào điện thoại thông minh, kính thực tế ảo (VR) và thực tế tăng cường (AR), ô tô và các thiết bị nhà thông minh, nơi cử chỉ có thể thay thế các thao tác chạm, nhấp và nút bấm để mang lại trải nghiệm người dùng mượt mà hơn.

Điều khiển không chạm đang trở nên phổ biến hơn trong cuộc sống hàng ngày. Tại nơi làm việc và không gian chia sẻ, việc tránh tiếp xúc vật lý có thể cải thiện vệ sinh và an toàn. Nhiều sản phẩm kỹ thuật số cũng đang chuyển dịch sang tương tác rảnh tay, và các cử chỉ cung cấp một cách dễ dàng, trực quan để điều khiển thiết bị mà không cần chạm vào chúng.

Trong bài viết này, chúng ta sẽ khám phá nhận diện cử chỉ là gì, cách computer vision giúp nó chính xác hơn và nơi nó được sử dụng trong các ứng dụng thực tế. Hãy cùng bắt đầu!

Link to this sectionNhận diện cử chỉ là gì?#

Nhận diện cử chỉ là một công nghệ cảm biến cho phép máy móc hiểu các cử chỉ của con người, chẳng hạn như ký hiệu tay hoặc chuyển động cơ thể, và chuyển đổi chúng thành các hành động kỹ thuật số. Thay vì chạm vào màn hình hoặc nhấn nút, người dùng có thể điều khiển thiết bị thông qua các chuyển động đơn giản, tự nhiên.

Điều này làm cho các tương tác trở nên trực quan hơn và đó là lý do tại sao đầu vào dựa trên cử chỉ đang được áp dụng trên nhiều hệ thống điều khiển học máy và AI. Đặc biệt, nhận diện cử chỉ tay là một trong những hình thức nhận diện cử chỉ được sử dụng rộng rãi nhất, và nó thường dựa vào computer vision.

Nói một cách đơn giản, một giải pháp Vision AI có thể phát hiện bàn tay trong nguồn cấp dữ liệu camera, theo dõi cách chúng di chuyển hoặc thay đổi hình dạng và khớp các mô hình đó với một cử chỉ đã biết để kích hoạt hành động trên màn hình.

Một phần quan trọng của các giải pháp này là computer vision model, được huấn luyện trên các tập dữ liệu gồm hình ảnh hoặc video được gán nhãn hiển thị các cử chỉ tay khác nhau. Với dữ liệu huấn luyện đa dạng và quá trình đánh giá cẩn thận, model có thể tổng quát hóa tốt hơn trên nhiều người dùng, điều kiện ánh sáng và bối cảnh khác nhau, giúp nó nhận diện cử chỉ một cách đáng tin cậy hơn trong các môi trường thực tế.

Hình 1. Dữ liệu được sử dụng để huấn luyện một computer vision model nhằm phát hiện các điểm chính của cử chỉ (Nguồn)

Link to this sectionKhám phá các loại cử chỉ và tương tác người-máy khác nhau#

Trước khi tìm hiểu kỹ hơn về vai trò của computer vision trong nhận diện cử chỉ, hãy cùng lùi lại một bước và xem xét các loại cử chỉ mà các hệ thống này thường nhận diện.

Trong hầu hết các trường hợp, các cử chỉ được chia thành hai loại: tĩnh và động. Cử chỉ tĩnh là các tư thế tay cố định, chẳng hạn như giơ ngón tay cái, ký hiệu dừng hoặc ký hiệu hòa bình. Vì chúng không bao gồm chuyển động, chúng thường có thể được nhận diện từ một khung hình duy nhất.

Trong khi đó, cử chỉ động bao gồm chuyển động theo thời gian, như vẫy tay hoặc vuốt trong không trung. Để nhận diện chúng, hệ thống Vision AI cần phân tích nhiều khung hình để có thể theo dõi cách bàn tay di chuyển và hiểu hướng cũng như thời điểm của cử chỉ.

Link to this sectionVai trò của các thuật toán computer vision trong nhận diện cử chỉ#

Các hệ thống nhận diện cử chỉ có thể được xây dựng theo những cách khác nhau. Một số hệ thống phương thức đầu vào sử dụng cảm biến đeo, chẳng hạn như găng tay hoặc thiết bị theo dõi gắn trên cổ tay, để thu thập chuyển động tay.

Các thiết lập này có thể chính xác nhưng không phải lúc nào cũng thực tế. Các thiết bị đeo cần được mặc vào, thiết lập, sạc và bảo trì, và chúng có thể gây cảm giác hạn chế trong không gian chia sẻ hoặc khi sử dụng hàng ngày.

Đó là lý do tại sao nhiều hệ thống tiên tiến dựa vào computer vision thay thế. Với các camera RGB tiêu chuẩn và cảm biến chiều sâu hoặc cảm biến thời gian bay, các thiết bị có thể thu thập chuyển động của tay và cơ thể trong thời gian thực mà người dùng không cần đeo thêm thiết bị bổ sung. Điều này làm cho nhận diện cử chỉ dựa trên thị giác trở nên rất phù hợp cho điện thoại thông minh, ô tô, TV thông minh và kính AR/VR.

Ví dụ, các computer vision model như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt hỗ trợ các tác vụ như object detection, object tracking và pose estimation. Những khả năng này có thể được sử dụng để phát hiện bàn tay trong mỗi khung hình, theo dõi chuyển động của chúng theo thời gian và lập bản đồ các điểm chính như đầu ngón tay và khớp tay. Điều này giúp nhận diện các cử chỉ như lòng bàn tay giơ lên để tạm dừng, nhúm ngón tay để phóng to, vuốt để điều hướng menu hoặc cử chỉ chỉ tay để chọn một mục trong AR và VR.

Link to this sectionCác tác vụ computer vision được sử dụng để nhận diện tương tác người-máy#

Dưới đây là tổng quan về một số computer vision tasks chính được sử dụng trong nhận diện cử chỉ:

• Object detection: Tác vụ này được sử dụng để xác định vị trí bàn tay trong một hình ảnh hoặc khung hình video, thường bằng cách vẽ BBox xung quanh chúng. Nó giúp hệ thống tập trung vào vùng cử chỉ và bỏ qua các chi tiết nền không cần thiết.
• Object tracking: Xây dựng dựa trên object detection, tác vụ này theo dõi các bàn tay đã được phát hiện qua nhiều khung hình và duy trì danh tính của chúng theo thời gian. Nó đặc biệt hữu ích cho các cử chỉ động, nơi chuyển động và hướng là yếu tố then chốt.
• Pose estimation: Thay vì tập trung vào BBox, pose estimation xác định các điểm chính trên bàn tay, chẳng hạn như đầu ngón tay, đốt ngón tay và cổ tay. Những điểm mốc này tạo ra một khung xương tay đơn giản nắm bắt vị trí ngón tay và chuyển động tinh tế, cho phép phân loại cử chỉ chi tiết hơn.
• Instance segmentation: Tác vụ này nhằm mục đích tách riêng từng bàn tay khỏi nền ở cấp độ pixel bằng cách tạo một mặt nạ cho mọi bàn tay hiển thị. Nó hữu ích trong các cảnh lộn xộn, khi các bàn tay chồng chéo hoặc khi có nhiều bàn tay xuất hiện trong khung hình.

Nhiều giải pháp Vision AI sử dụng các tác vụ này cùng nhau như một phần của một pipeline duy nhất. Ví dụ, một hệ thống có thể bắt đầu bằng object detection để tìm bàn tay, sau đó sử dụng tracking để theo dõi chúng qua các khung hình cho các cử chỉ động.

Nếu cử chỉ phụ thuộc vào vị trí ngón tay, pose estimation có thể thêm các điểm chính để có chi tiết tinh vi hơn, trong khi instance segmentation có thể giúp cô lập từng bàn tay chính xác hơn trong các cảnh lộn xộn hoặc khi nhiều bàn tay chồng chéo. Khi kết hợp với nhau, các bước này cung cấp cả thông tin về vị trí và chuyển động, giúp việc nhận diện cử chỉ trở nên chính xác và đáng tin cậy hơn.

Link to this sectionCách thức hoạt động của nhận diện cử chỉ dựa trên thị giác#

Bây giờ khi đã hiểu rõ hơn về các tác vụ computer vision đằng sau nhận diện cử chỉ, hãy cùng xem xét từng bước cách thức hoạt động của một hệ thống dựa trên thị giác.

Một hệ thống điển hình bắt đầu bằng việc thu thập video từ camera, đôi khi kèm theo dữ liệu chiều sâu nếu thiết bị hỗ trợ. Các khung hình sau đó được tiền xử lý bằng xử lý hình ảnh để giúp model dễ dàng xử lý một cách nhất quán, chẳng hạn như thay đổi kích thước, ổn định hoặc giảm nhiễu và nhòe chuyển động.

Tiếp theo, hệ thống xác định bàn tay trong khung hình bằng cách sử dụng detection hoặc segmentation và theo dõi chúng theo thời gian bằng tracking. Nếu ứng dụng cần chi tiết tinh vi hơn, nó có thể chạy thêm pose estimation để trích xuất các điểm chính như đầu ngón tay và khớp tay. Sử dụng thông tin này, model sẽ phân loại cử chỉ, cho dù đó là tư thế một khung hình như giơ ngón cái hay một mô hình chuyển động như vuốt.

Cuối cùng, cử chỉ được nhận diện sẽ được ánh xạ tới một hành động trong giao diện, chẳng hạn như cuộn, phóng to, chọn mục, điều chỉnh âm lượng hoặc kiểm soát các tương tác AR và VR. Pipeline chính xác có thể thay đổi, với các ứng dụng đơn giản sử dụng ít bước hơn và các ứng dụng phức tạp hơn kết hợp detection, tracking và pose estimation để có độ chính xác tốt hơn.

Link to this sectionCác ứng dụng của nhận diện cử chỉ dựa trên thị giác#

Tiếp theo, hãy cùng đi qua cách nhận diện cử chỉ đang được sử dụng trong các ứng dụng thực tế để hiểu vị trí bàn tay.

Link to this sectionTương tác dựa trên cử chỉ với hệ thống thông tin giải trí trên xe hơi#

Nhận diện cử chỉ đang bắt đầu xuất hiện trong các giao diện xe thông minh, đặc biệt là trong các hệ thống thông tin giải trí. Đây là cách thuận tiện để kiểm soát một số tính năng bằng các chuyển động tay đơn giản, có thể giảm tần suất người lái cần chạm vào màn hình cảm ứng hoặc nút bấm vật lý. Ví dụ, một cử chỉ nhanh có thể được sử dụng để điều chỉnh âm lượng, quản lý cuộc gọi hoặc điều hướng qua các menu trên màn hình.

Hình 2. Một người lái xe thực hiện các cử chỉ tay trong phạm vi phát hiện của hệ thống thông tin giải trí (Nguồn)

Link to this sectionCác tương tác dựa trên cử chỉ trong trò chơi#

Trong gaming và các trải nghiệm nhập vai, điều khiển dựa trên cử chỉ đang thay đổi cách mọi người tương tác với thế giới ảo. Thay vì chỉ dựa vào tay cầm hoặc cần điều khiển, người chơi có thể sử dụng các chuyển động tay tự nhiên để điều hướng menu, nhặt vật phẩm ảo, điều khiển nhân vật hoặc kích hoạt các hành động trong trò chơi.

Hình 3. Chơi trò chơi bằng cách sử dụng cử chỉ tay (Nguồn).

Loại tương tác không chạm này có thể mang lại cảm giác mượt mà hơn, đặc biệt là trong AR và VR. Kết quả là, theo dõi tay và điều khiển bằng cử chỉ đang trở thành các tính năng phổ biến trên kính VR và thực tế hỗn hợp.

Link to this sectionĐiều khiển bằng cử chỉ liền mạch cho các thiết bị nhà thông minh#

Smart home devices như TV thông minh, loa và đèn kết nối đang bắt đầu hỗ trợ điều khiển dựa trên cử chỉ cho các hành động nhanh, không chạm. Với một chuyển động tay đơn giản, người dùng có thể bật đèn, điều chỉnh âm lượng hoặc kích hoạt các lệnh cơ bản mà không cần chạm tới công tắc hay điều khiển từ xa.

Ví dụ, trong các thiết lập giải trí tại nhà, các camera chiều sâu được tích hợp sẵn hoặc kết nối có thể nhận diện các cử chỉ như vuốt, chỉ tay hoặc giơ tay. Điều này có thể giúp việc duyệt menu, thay đổi cài đặt hoặc xác nhận lựa chọn từ khắp phòng trở nên dễ dàng hơn. Đằng sau đó, các computer vision model xử lý nguồn cấp dữ liệu camera trong thời gian thực để phát hiện và diễn giải các cử chỉ này.

Link to this sectionĐiều khiển cử chỉ được kích hoạt bằng trí tuệ nhân tạo trong robot#

Hãy xem xét một tình huống tại nhà máy nơi công nhân cần hướng dẫn robot trong khi mang vác linh kiện, đeo găng tay hoặc đứng ở khoảng cách an toàn với thiết bị đang di chuyển. Trong những bối cảnh này, việc với tay tới các nút bấm hoặc bảng điều khiển có thể chậm chạp hoặc thậm chí không an toàn.

Ngược lại, các hệ thống điều khiển dựa trên cử chỉ có thể là một cách thực tế hơn, rảnh tay để tương tác với các máy móc này. Điều này đặc biệt hữu ích cho các robots cộng tác, hay còn gọi là cobot, được thiết kế để làm việc cùng con người.

Thay vì đi đến bảng điều khiển, người vận hành có thể sử dụng các ký hiệu tay đơn giản để khởi động, dừng hoặc hướng dẫn robot từ xa. Nó giảm bớt sự phụ thuộc vào các điều khiển vật lý và có thể hỗ trợ các quy trình làm việc an toàn hơn tại xưởng.

Các hệ thống điều khiển dựa trên thị giác tiên tiến được kích hoạt bởi các deep learning model hoặc thuật toán học tập cũng có thể vượt xa các lệnh cơ bản. Chúng có thể diễn giải chuyển động tay tinh vi hơn và phản ứng mượt mà với những thay đổi hướng nhỏ cũng như sự hướng dẫn và tự động hóa chính xác hơn.

Hình 4. Một bàn tay robot đang phân tích cử chỉ của người dùng (Nguồn)

Link to this sectionƯu và nhược điểm của công nghệ nhận diện cử chỉ#

Dưới đây là một số lợi ích chính khi sử dụng công nghệ nhận diện cử chỉ:

• Cải thiện khả năng tiếp cận: Các cử chỉ có thể cung cấp một giải pháp thay thế cho những người dùng cảm thấy khó khăn khi sử dụng bàn phím, màn hình cảm ứng hoặc tay cầm.
• Hoạt động ở khoảng cách xa: Các cử chỉ có thể được nhận diện từ khắp phòng, điều này hữu ích cho TV thông minh, ki-ốt và các thiết bị gia đình.
• Linh hoạt trên các thiết bị: Các bộ cử chỉ tương tự có thể hoạt động trên điện thoại, ô tô, màn hình thông minh và kính AR hoặc VR, giúp tương tác trở nên nhất quán.

Đồng thời, có một vài thách thức thực tế có thể ảnh hưởng đến độ chính xác và tính nhất quán. Dưới đây là một số yếu tố cần xem xét:

• Vấn đề về ánh sáng và chất lượng camera: Ánh sáng yếu, lóa, bóng đổ hoặc các cameras có độ phân giải thấp có thể làm giảm hiệu suất nhận diện. Điều này, đến lượt nó, có thể ảnh hưởng đến việc điều khiển chuyển động.
• Sự khác biệt giữa người dùng: Mọi người thực hiện các cử chỉ một cách tự nhiên theo những cách khác nhau, và sự khác biệt về kích thước bàn tay, độ linh hoạt của ngón tay hoặc các phụ kiện có thể ảnh hưởng đến độ chính xác.
• Hạn chế về chuyển động nhanh: Các cử chỉ nhanh có thể gây ra nhòe chuyển động hoặc khiến model bỏ lỡ các khung hình quan trọng, đặc biệt là trên các camera có tốc độ khung hình thấp.

Link to this sectionCác điểm chính cần lưu ý#

Công nghệ nhận diện cử chỉ đã vượt ra khỏi các phòng thí nghiệm nghiên cứu và hiện là một phần của các thiết bị và đổi mới hàng ngày. Cụ thể, computer vision kích hoạt điều khiển không chạm trong trò chơi, robot, nhà thông minh và các hệ thống ô tô. Khi các vision model cải thiện, các giao diện không chạm này có khả năng sẽ trở nên dễ xây dựng hơn và được sử dụng rộng rãi hơn.

Khám phá community và GitHub repository của chúng tôi để tìm hiểu thêm về các computer vision model. Khám phá các trang giải pháp của chúng tôi để đọc về các ứng dụng như AI in agriculture và computer vision in logistics. Xem các licensing options của chúng tôi và bắt đầu xây dựng Vision AI model của riêng bạn.