Nâng cao hiệu quả ước tính điểm mấu chốt bàn tay với Ultralytics YOLO11

Gần đây, các phiên dịch viên ngôn ngữ ký hiệu tại Super Bowl đã thu hút rất nhiều sự chú ý. Khi xem họ diễn giải bài hát của nghệ sĩ yêu thích trên TV, bạn có thể hiểu được nếu biết ngôn ngữ ký hiệu vì não bộ của bạn xử lý các chuyển động tay đó. Nhưng sẽ thế nào nếu máy tính có thể làm điều tương tự? Nhờ các giải pháp theo dõi bàn tay dựa trên AI, máy móc hoàn toàn có thể theo dõi và phiên dịch các chuyển động tay với độ chính xác ấn tượng.

Trọng tâm của các giải pháp này là computer vision, một nhánh của AI cho phép máy móc xử lý và hiểu thông tin trực quan. Bằng cách phân tích hình ảnh và video, AI thị giác giúp máy móc phát hiện đối tượng, theo dõi chuyển động và nhận diện các cử chỉ phức tạp với độ chính xác đáng kinh ngạc.

Ví dụ: các mô hình computer vision như Ultralytics YOLO11 có thể được huấn luyện để phát hiện và phân tích các keypoint của bàn tay trong thời gian thực bằng kỹ thuật pose estimation. Nhờ đó, các mô hình này có thể được ứng dụng trong nhận diện cử chỉ, dịch ngôn ngữ ký hiệu và tương tác AR/VR.

Trong bài viết này, chúng ta sẽ khám phá cách Ultralytics YOLO11 cho phép theo dõi bàn tay dựa trên AI, các bộ dữ liệu được sử dụng để huấn luyện, và cách custom-train một model để ước lượng tư thế bàn tay. Chúng ta cũng sẽ xem xét các ứng dụng thực tế. Hãy bắt đầu ngay!

Tìm hiểu về phát hiện điểm mấu chốt bàn tay dựa trên AI#

AI có thể được sử dụng để nhận diện và theo dõi chuyển động của bàn tay trong dữ liệu trực quan bằng cách xác định các keypoint như cổ tay, đầu ngón tay và các khớp ngón tay. Một phương pháp được gọi là pose estimation sẽ giúp máy tính hiểu được chuyển động của con người bằng cách ánh xạ các keypoint và phân tích sự thay đổi của chúng theo thời gian. Điều này cho phép các hệ thống AI diễn giải tư thế cơ thể, cử chỉ và các mẫu chuyển động với độ chính xác cao.

Computer vision models biến điều này thành hiện thực bằng cách phân tích hình ảnh hoặc video để xác định các keypoint trên bàn tay và theo dõi chuyển động của chúng. Sau khi các điểm này được ánh xạ, AI có thể nhận diện cử chỉ thông qua việc phân tích mối quan hệ không gian giữa các keypoint và cách chúng thay đổi theo thời gian.

Ví dụ, nếu khoảng cách giữa ngón cái và ngón trỏ giảm xuống, AI có thể hiểu đó là cử chỉ chụm ngón tay. Tương tự, việc theo dõi cách các điểm mấu chốt di chuyển theo chuỗi giúp xác định các cử chỉ tay phức tạp và thậm chí dự đoán các chuyển động trong tương lai.

Fig 1. Ví dụ về việc nhận diện các keypoint trong bàn tay bằng computer vision.

Thú vị là, pose estimation cho việc theo dõi bàn tay đã mở ra những khả năng thú vị, từ điều khiển thiết bị thông minh không cần chạm tay đến cải thiện độ chính xác của robot và hỗ trợ trong các ứng dụng chăm sóc sức khỏe. Khi AI và computer vision tiếp tục phát triển, việc theo dõi bàn tay có khả năng sẽ đóng vai trò lớn hơn trong việc giúp công nghệ trở nên tương tác, dễ tiếp cận và trực quan hơn trong cuộc sống hàng ngày.

Khám phá Ultralytics YOLO11 cho tác vụ ước lượng tư thế#

Trước khi đi sâu vào cách tạo giải pháp theo dõi bàn tay dựa trên AI, hãy cùng xem xét kỹ hơn về ước lượng tư thế và cách Ultralytics YOLO11 hỗ trợ computer vision task này. Khác với phát hiện đối tượng tiêu chuẩn vốn xác định toàn bộ đối tượng, ước lượng tư thế tập trung vào việc phát hiện các mốc quan trọng — chẳng hạn như khớp, chi hoặc cạnh — để phân tích chuyển động và tư thế.

Cụ thể, Ultralytics YOLO11 được thiết kế cho pose estimation theo thời gian thực. Bằng cách tận dụng cả hai phương pháp top-down và bottom-up, nó phát hiện người và ước tính các điểm mấu chốt một cách hiệu quả trong một bước duy nhất, vượt trội hơn các model trước đó về tốc độ và độ chính xác.

Ngay khi mở hộp, Ultralytics YOLO11 đã được huấn luyện sẵn trên COCO-Pose dataset và có thể nhận diện các keypoint trên cơ thể người, bao gồm đầu, vai, khuỷu tay, cổ tay, hông, đầu gối và mắt cá chân.

Fig 2. Sử dụng YOLO11 cho bài toán human pose estimation.

Vượt ra ngoài bài toán ước lượng tư thế con người, Ultralytics YOLO11 có thể được huấn luyện tùy chỉnh để phát hiện các điểm khóa trên nhiều đối tượng khác nhau, cả sống và không sống. Tính linh hoạt này biến YOLO11 thành một lựa chọn tuyệt vời cho rất nhiều ứng dụng.

Tổng quan về bộ dữ liệu Hand Keypoints#

Bước đầu tiên trong quá trình custom-train một mô hình là thu thập dữ liệu và gán nhãn, hoặc tìm một dataset có sẵn phù hợp với nhu cầu của dự án. Ví dụ, Hand Keypoints dataset là một điểm khởi đầu tốt để huấn luyện các mô hình AI thị giác phục vụ cho việc theo dõi bàn tay và pose estimation. Với 26.768 hình ảnh đã được gán nhãn, dataset này giúp loại bỏ nhu cầu gán nhãn thủ công.

Bộ dữ liệu này có thể được dùng để huấn luyện các model như Ultralytics YOLO11 học cách phát hiện và theo dõi các chuyển động tay một cách nhanh chóng. Bộ dữ liệu bao gồm 21 điểm mấu chốt cho mỗi bàn tay, bao gồm cổ tay, các ngón tay và các khớp. Ngoài ra, các chú thích trong bộ dữ liệu được tạo bằng Google MediaPipe, một công cụ phát triển các giải pháp AI cho xử lý phương tiện thời gian thực, đảm bảo việc phát hiện điểm mấu chốt chính xác và đáng tin cậy.

Fig 3. 21 keypoint có trong Hand Keypoints dataset.

Việc sử dụng một bộ dữ liệu có cấu trúc như thế này giúp tiết kiệm thời gian và cho phép các lập trình viên tập trung vào việc huấn luyện và tinh chỉnh model thay vì phải thu thập và dán nhãn dữ liệu. Trên thực tế, bộ dữ liệu này đã được chia sẵn thành các tập huấn luyện (18.776 ảnh) và xác thực (7.992 ảnh), giúp việc đánh giá hiệu suất model trở nên dễ dàng.

Cách huấn luyện Ultralytics YOLO11 cho ước lượng tư thế bàn tay#

Huấn luyện YOLO11 cho bài toán pose estimation bàn tay là một quá trình đơn giản, đặc biệt khi sử dụng Ultralytics Python package, giúp việc thiết lập và huấn luyện mô hình trở nên dễ dàng hơn. Vì Hand Keypoints dataset đã được hỗ trợ sẵn trong pipeline huấn luyện, nên bạn có thể sử dụng ngay mà không cần định dạng thêm, giúp tiết kiệm thời gian và công sức.

Quy trình huấn luyện diễn ra như sau:

• Thiết lập môi trường: Bước đầu tiên là cài đặt gói Ultralytics Python.
• Load the Hand Keypoints dataset: Ultralytics YOLO11 hỗ trợ tập dữ liệu này một cách nguyên bản, vì vậy nó có thể được tải xuống và chuẩn bị tự động.
• Use a pre-trained model: Bạn có thể bắt đầu với một model ước lượng tư thế Ultralytics YOLO11 được huấn luyện sẵn, giúp cải thiện độ chính xác và tăng tốc quá trình huấn luyện.
• Huấn luyện model: Model sẽ học cách phát hiện và theo dõi các điểm mấu chốt trên bàn tay thông qua nhiều chu kỳ huấn luyện.
• Theo dõi hiệu suất: Gói Ultralytics cũng cung cấp các công cụ tích hợp để theo dõi các chỉ số chính như độ chính xác và mất mát (loss), giúp đảm bảo model được cải thiện theo thời gian.
• Lưu và triển khai: Sau khi huấn luyện, mô hình có thể được exported và sử dụng cho các ứng dụng theo dõi bàn tay thời gian thực.

Đánh giá model custom-trained của bạn#

Khi thực hiện các bước tạo một custom model, bạn sẽ nhận thấy rằng việc theo dõi hiệu suất là rất cần thiết. Cùng với việc theo dõi tiến trình trong quá trình huấn luyện, việc đánh giá model sau đó là rất quan trọng để đảm bảo nó phát hiện và theo dõi chính xác các điểm mấu chốt trên bàn tay.

Các performance metrics quan trọng như độ chính xác, giá trị loss và mean average precision (mAP) giúp đánh giá hiệu suất của mô hình. Ultralytics Python package cung cấp các công cụ tích hợp sẵn để trực quan hóa kết quả và so sánh các dự đoán với các nhãn thực tế, giúp dễ dàng phát hiện ra các điểm cần cải thiện.

Để hiểu rõ hơn về hiệu suất của model, bạn có thể kiểm tra các biểu đồ đánh giá như đường cong loss, biểu đồ precision-recall và ma trận nhầm lẫn (confusion matrix), vốn được tạo tự động trong log huấn luyện.

Các biểu đồ này giúp xác định các vấn đề như overfitting (khi model ghi nhớ dữ liệu huấn luyện nhưng gặp khó khăn với dữ liệu mới) hoặc underfitting (khi model không học được các mô hình đủ tốt để hoạt động chính xác) và hướng dẫn các điều chỉnh để cải thiện độ chính xác. Ngoài ra, việc kiểm tra model trên hình ảnh hoặc video mới là rất quan trọng để xem nó hoạt động như thế nào trong các tình huống thực tế.

Các ứng dụng của giải pháp theo dõi bàn tay dựa trên AI#

Tiếp theo, hãy cùng điểm qua một số ứng dụng có tác động lớn nhất của hand keypoints estimation with Ultralytics YOLO11.

Nhận diện cử chỉ thời gian thực với Ultralytics YOLO11#

Giả sử bạn có thể điều chỉnh âm lượng trên TV chỉ bằng cách vẫy tay hoặc điều hướng hệ thống nhà thông minh bằng một thao tác vuốt đơn giản trong không gian. Nhận diện cử chỉ thời gian thực được hỗ trợ bởi Ultralytics YOLO11 giúp biến các tương tác không chạm này thành hiện thực bằng cách phát hiện chính xác các chuyển động của bàn tay trong thời gian thực.

Điều này hoạt động bằng cách sử dụng AI cameras để theo dõi các key point trên bàn tay của bạn và giải thích các cử chỉ thành lệnh. Camera cảm biến chiều sâu, cảm biến hồng ngoại hoặc thậm chí webcam thông thường đều có thể ghi lại các chuyển động của bàn tay, trong khi Ultralytics YOLO11 có thể xử lý dữ liệu để nhận diện các cử chỉ khác nhau. Ví dụ, một hệ thống như vậy có thể phân biệt giữa thao tác vuốt để chuyển bài hát, chụm ngón tay để phóng to, hoặc chuyển động tròn để điều chỉnh âm lượng.

Phát hiện điểm mấu chốt bàn tay dựa trên AI cho nhận diện ngôn ngữ ký hiệu#

Các giải pháp AI theo dõi bàn tay có thể hỗ trợ giao tiếp liền mạch giữa người khiếm thính và người không biết ngôn ngữ ký hiệu. Ví dụ, các thiết bị thông minh tích hợp camera và Ultralytics YOLO11 có thể được sử dụng để dịch tức thì ngôn ngữ ký hiệu thành văn bản hoặc giọng nói.

Nhờ những tiến bộ như Ultralytics YOLO11, các công cụ dịch ngôn ngữ ký hiệu đang trở nên chính xác và dễ tiếp cận hơn. Điều này tác động đến các ứng dụng như công nghệ hỗ trợ, dịch vụ dịch thuật trực tiếp và nền tảng giáo dục. AI có thể giúp thu hẹp khoảng cách giao tiếp và thúc đẩy tính hòa nhập tại nơi làm việc, trường học và không gian công cộng.

Computer vision cho theo dõi bàn tay: Cải thiện trải nghiệm AR và VR#

Bạn đã bao giờ chơi một tựa game thực tế ảo (VR) nơi bạn có thể cầm nắm các đối tượng mà không cần dùng bộ điều khiển (controller) chưa? Tính năng theo dõi bàn tay được hỗ trợ bởi computer vision biến điều này thành hiện thực bằng cách cho phép người dùng tương tác một cách tự nhiên trong môi trường augmented reality (AR) và VR.

Fig 4. Theo dõi bàn tay là thành phần quan trọng trong các ứng dụng AR và VR.

Với việc ước tính các điểm mấu chốt trên bàn tay sử dụng các model như Ultralytics YOLO11, AI theo dõi các chuyển động trong thời gian thực, cho phép thực hiện các cử chỉ như chụm, nắm và vuốt. Điều này nâng cao trải nghiệm chơi game, đào tạo ảo và cộng tác từ xa, giúp các tương tác trở nên trực quan hơn. Khi công nghệ theo dõi bàn tay phát triển, AR và VR sẽ mang lại cảm giác sống động và chân thực hơn nữa.

Các điểm chính cần lưu ý#

Việc ước tính các điểm mấu chốt trên bàn tay với Ultralytics YOLO11 đang giúp các giải pháp theo dõi bàn tay dựa trên AI trở nên dễ tiếp cận và đáng tin cậy hơn. Từ nhận diện cử chỉ thời gian thực đến phiên dịch ngôn ngữ ký hiệu và các ứng dụng AR/VR, computer vision đang mở ra những khả năng mới trong tương tác giữa người và máy tính.

Ngoài ra, các quy trình custom training và tinh chỉnh được tối ưu hóa đang giúp các lập trình viên xây dựng các model hiệu quả cho nhiều mục đích sử dụng trong thực tế. Khi công nghệ computer vision phát triển, chúng ta có thể mong đợi nhiều sự đổi mới hơn nữa trong các lĩnh vực như chăm sóc sức khỏe, robot, trò chơi và an ninh.

Tương tác với our community và khám phá các tiến bộ AI trên GitHub repository của chúng tôi. Khám phá tác động của AI in manufacturing và computer vision in healthcare thông qua các trang giải pháp của chúng tôi. Khám phá our licensing plans và bắt đầu hành trình AI của bạn ngay hôm nay!