Nâng cao khả năng ước lượng keypoint bàn tay với Ultralytics YOLO11

Gần đây, các phiên dịch viên ngôn ngữ ký hiệu tại Super Bowl nhận được nhiều sự chú ý. Khi xem họ ký hiệu bài hát của nghệ sĩ yêu thích trên TV, bạn có thể hiểu được nếu biết ngôn ngữ ký hiệu vì não bộ xử lý chuyển động bàn tay của họ. Nhưng nếu máy tính cũng làm được điều đó thì sao? Nhờ các giải pháp theo dõi bàn tay ứng dụng AI, máy móc có thể theo dõi và diễn giải chuyển động bàn tay với độ chính xác ấn tượng.

Cốt lõi của các giải pháp này là thị giác máy tính, một phân nhánh của AI cho phép máy móc xử lý và hiểu thông tin hình ảnh. Bằng cách phân tích ảnh và video, AI thị giác giúp máy móc phát hiện đối tượng, theo dõi chuyển động và nhận diện các cử chỉ phức tạp.

Ví dụ, các model thị giác máy tính như Ultralytics YOLO11 có thể được huấn luyện để phát hiện và phân tích keypoint bàn tay theo thời gian thực bằng phương pháp ước tính pose. Nhờ đó, các model này có thể được dùng cho các ứng dụng như nhận diện cử chỉ, dịch ngôn ngữ ký hiệu và tương tác AR/VR.

Trong bài viết này, chúng ta sẽ tìm hiểu cách Ultralytics YOLO11 hỗ trợ theo dõi bàn tay bằng AI, các dataset dùng để huấn luyện và cách huấn luyện tùy chỉnh model để ước tính pose bàn tay. Chúng ta cũng sẽ xem xét các ứng dụng thực tế.

Tìm hiểu về phát hiện keypoint bàn tay bằng AI#

AI có thể nhận diện và theo dõi chuyển động bàn tay trong dữ liệu hình ảnh bằng cách xác định các keypoint như cổ tay, đầu ngón tay và khớp ngón tay. Một phương pháp gọi là ước tính pose giúp máy tính hiểu chuyển động của con người bằng cách ánh xạ keypoint và phân tích sự thay đổi của chúng theo thời gian. Nhờ vậy, các hệ thống AI có thể diễn giải tư thế cơ thể, cử chỉ và quy luật chuyển động với độ chính xác cao.

Các model thị giác máy tính thực hiện điều này bằng cách phân tích hình ảnh hoặc video để xác định keypoint trên bàn tay và theo dõi chuyển động của chúng. Sau khi lập bản đồ các điểm này, AI có thể nhận diện cử chỉ bằng cách phân tích mối quan hệ không gian giữa các keypoint và cách chúng thay đổi theo thời gian.

Ví dụ, nếu khoảng cách giữa ngón cái và ngón trỏ giảm, AI có thể diễn giải đó là động tác véo. Tương tự, theo dõi cách các keypoint di chuyển theo chuỗi giúp nhận diện những cử chỉ tay phức tạp và thậm chí dự đoán chuyển động tiếp theo.

Hình 1. Ví dụ về nhận diện các keypoint trên bàn tay bằng thị giác máy tính.

Điều thú vị là ước tính tư thế để theo dõi bàn tay đã mở ra nhiều khả năng đầy hứa hẹn, từ điều khiển thiết bị thông minh không cần dùng tay đến nâng cao độ chính xác của robot và hỗ trợ các ứng dụng chăm sóc sức khỏe. Khi AI và thị giác máy tính tiếp tục phát triển, theo dõi bàn tay có thể đóng vai trò lớn hơn trong việc giúp công nghệ tương tác tốt hơn, dễ tiếp cận hơn và trực quan hơn trong đời sống hằng ngày.

Khám phá Ultralytics YOLO11 cho tác vụ ước tính tư thế#

Trước khi tìm hiểu cách tạo giải pháp theo dõi bàn tay bằng AI, hãy cùng xem xét kỹ hơn về ước tính tư thế và cách Ultralytics YOLO11 hỗ trợ tác vụ thị giác máy tính này. Khác với phát hiện đối tượng tiêu chuẩn, vốn xác định toàn bộ đối tượng, ước tính tư thế tập trung phát hiện các điểm mốc quan trọng — chẳng hạn như khớp, chi hoặc đường viền — để phân tích chuyển động và tư thế.

Cụ thể, Ultralytics YOLO11 được thiết kế để ước lượng tư thế theo thời gian thực. Model phát hiện người và ước lượng các keypoint hiệu quả chỉ trong một bước, vượt trội hơn các model trước về tốc độ và độ chính xác.

Ngay sau khi cài đặt, Ultralytics YOLO11 đã được huấn luyện trước trên bộ dữ liệu COCO-Pose và có thể nhận diện các keypoint trên cơ thể người, bao gồm đầu, vai, khuỷu tay, cổ tay, hông, đầu gối và mắt cá chân.

Hình 2. Sử dụng YOLO11 để ước tính tư thế người.

Ngoài ước tính pose người, Ultralytics YOLO11 có thể được huấn luyện tùy chỉnh để phát hiện keypoint trên nhiều loại đối tượng, cả vật sống lẫn vật vô tri. Tính linh hoạt này khiến YOLO11 trở thành lựa chọn phù hợp cho nhiều ứng dụng.

Tổng quan về bộ dữ liệu Hand Keypoints#

Bước đầu tiên khi huấn luyện tùy chỉnh một model là thu thập và gán nhãn dữ liệu, hoặc tìm một bộ dữ liệu hiện có phù hợp với nhu cầu của dự án. Ví dụ, bộ dữ liệu Hand Keypoints là điểm khởi đầu phù hợp để huấn luyện các model Vision AI cho tác vụ theo dõi bàn tay và ước tính tư thế. Với 26.768 hình ảnh đã được gán nhãn, bộ dữ liệu này loại bỏ nhu cầu gán nhãn thủ công.

Bộ dữ liệu có thể được dùng để huấn luyện các model như Ultralytics YOLO11 nhanh chóng học cách phát hiện và theo dõi chuyển động bàn tay. Bộ dữ liệu bao gồm 21 keypoint cho mỗi bàn tay, bao phủ cổ tay, ngón tay và các khớp. Ngoài ra, các nhãn của bộ dữ liệu được tạo bằng Google MediaPipe, một công cụ phát triển các giải pháp ứng dụng AI để xử lý media theo thời gian thực, đảm bảo phát hiện keypoint chính xác và đáng tin cậy.

Hình 3. 21 keypoint trong bộ dữ liệu Hand Keypoints.

Sử dụng một bộ dữ liệu có cấu trúc như vậy giúp tiết kiệm thời gian và cho phép nhà phát triển tập trung vào huấn luyện, tinh chỉnh model thay vì thu thập và gán nhãn dữ liệu. Trên thực tế, bộ dữ liệu đã được chia thành tập huấn luyện (18.776 hình ảnh) và tập validation (7.992 hình ảnh), giúp việc đánh giá hiệu suất model trở nên dễ dàng.

Cách huấn luyện Ultralytics YOLO11 để ước tính tư thế bàn tay#

Huấn luyện YOLO11 để ước tính pose bàn tay là quy trình đơn giản, đặc biệt khi dùng package Python Ultralytics, giúp thiết lập và huấn luyện model dễ dàng hơn. Vì dataset Hand Keypoints đã được hỗ trợ trong pipeline huấn luyện, bạn có thể sử dụng dataset ngay mà không cần định dạng bổ sung, tiết kiệm thời gian và công sức.

Quy trình huấn luyện diễn ra như sau:

• Thiết lập môi trường: Bước đầu tiên là cài đặt package Ultralytics Python.
• Tải bộ dữ liệu Hand Keypoints: Ultralytics YOLO11 hỗ trợ sẵn bộ dữ liệu này, vì vậy bộ dữ liệu có thể được tải xuống và chuẩn bị tự động.
• Sử dụng model đã huấn luyện trước: Bạn có thể bắt đầu với model ước tính pose Ultralytics YOLO11 đã huấn luyện trước, giúp cải thiện độ chính xác và đẩy nhanh quá trình huấn luyện.
• Huấn luyện model: Model học cách phát hiện và theo dõi keypoint bàn tay qua nhiều chu kỳ huấn luyện.
• Theo dõi hiệu suất: Package Ultralytics cũng cung cấp các công cụ tích hợp để theo dõi những chỉ số chính như độ chính xác và loss, giúp đảm bảo model được cải thiện theo thời gian.
• Lưu và triển khai: Sau khi huấn luyện, model có thể được export và sử dụng trong các ứng dụng theo dõi bàn tay theo thời gian thực.

Đánh giá model được huấn luyện tùy chỉnh#

Khi thực hiện các bước tạo một model tùy chỉnh, bạn sẽ nhận thấy việc theo dõi hiệu suất là rất cần thiết. Bên cạnh việc theo dõi tiến độ trong quá trình huấn luyện, đánh giá model sau đó cũng rất quan trọng để đảm bảo model phát hiện và theo dõi keypoint bàn tay chính xác.

Các chỉ số hiệu suất chính như độ chính xác, giá trị loss và độ chính xác trung bình trung bình (mAP) giúp đánh giá hiệu suất của model. Package Ultralytics Python cung cấp các công cụ tích hợp để trực quan hóa kết quả và so sánh dự đoán với nhãn thực tế, giúp dễ dàng xác định những khía cạnh cần cải thiện.

Để hiểu rõ hơn về hiệu suất của model, bạn có thể xem các biểu đồ đánh giá như đường cong loss, biểu đồ precision-recall và ma trận nhầm lẫn được tự động tạo trong log huấn luyện.

Các biểu đồ này giúp xác định những vấn đề như overfitting (khi model ghi nhớ dữ liệu huấn luyện nhưng gặp khó khăn với dữ liệu mới) hoặc underfitting (khi model không học đủ tốt các mẫu để đưa ra dự đoán chính xác), đồng thời định hướng các điều chỉnh nhằm cải thiện độ chính xác. Ngoài ra, việc kiểm thử model trên hình ảnh hoặc video mới cũng rất quan trọng để đánh giá hiệu quả trong các tình huống thực tế.

Các ứng dụng của giải pháp theo dõi bàn tay ứng dụng AI#

Tiếp theo, hãy cùng điểm qua một số ứng dụng có tác động lớn nhất của ước tính keypoint bàn tay bằng Ultralytics YOLO11.

Nhận diện cử chỉ theo thời gian thực với Ultralytics YOLO11#

Hãy tưởng tượng bạn có thể điều chỉnh âm lượng TV chỉ bằng cách vẫy tay hoặc điều hướng hệ thống nhà thông minh bằng một động tác vuốt đơn giản trong không khí. Nhận diện cử chỉ theo thời gian thực, vận hành bởi Ultralytics YOLO11, giúp thực hiện những tương tác không cần chạm này bằng cách phát hiện chính xác chuyển động bàn tay theo thời gian thực.

Cách này sử dụng camera AI để theo dõi keypoint trên bàn tay và diễn giải cử chỉ thành lệnh. Camera cảm biến chiều sâu, cảm biến hồng ngoại hoặc thậm chí webcam thông thường có thể ghi lại chuyển động bàn tay, trong khi Ultralytics YOLO11 xử lý dữ liệu để nhận diện các cử chỉ khác nhau. Ví dụ, hệ thống có thể phân biệt thao tác vuốt để đổi bài hát, chụm ngón tay để phóng to hoặc chuyển động tròn để điều chỉnh âm lượng.

Phát hiện keypoint bàn tay bằng AI để nhận diện ngôn ngữ ký hiệu#

Các giải pháp AI theo dõi bàn tay có thể hỗ trợ giao tiếp giữa người khiếm thính và người không biết ngôn ngữ ký hiệu. Ví dụ, thiết bị thông minh tích hợp camera và Ultralytics YOLO11 có thể được dùng để dịch ngôn ngữ ký hiệu thành văn bản hoặc giọng nói ngay lập tức.

Nhờ những tiến bộ như Ultralytics YOLO11, các công cụ dịch ngôn ngữ ký hiệu ngày càng chính xác và dễ tiếp cận hơn. Điều này tác động đến các ứng dụng như công nghệ hỗ trợ, dịch thuật trực tiếp và nền tảng giáo dục. AI có thể giúp thu hẹp khoảng cách giao tiếp và thúc đẩy sự hòa nhập tại nơi làm việc, trường học và không gian công cộng.

Thị giác máy tính để theo dõi bàn tay: Cải thiện trải nghiệm AR và VR#

Bạn đã bao giờ chơi game thực tế ảo (VR) mà có thể cầm nắm đồ vật mà không cần dùng bộ điều khiển chưa? Tính năng theo dõi bàn tay bằng thị giác máy tính giúp điều này trở nên khả thi, cho phép người dùng tương tác tự nhiên trong môi trường thực tế tăng cường (AR) và VR.

Hình 4. Theo dõi bàn tay là thành phần quan trọng trong các ứng dụng AR và VR.

Với khả năng ước tính keypoint bàn tay bằng các model như Ultralytics YOLO11, AI theo dõi chuyển động theo thời gian thực, cho phép nhận diện các cử chỉ như chụm, nắm và vuốt. Điều này nâng cao trải nghiệm chơi game, đào tạo ảo và cộng tác từ xa, giúp tương tác trực quan hơn. Khi công nghệ theo dõi bàn tay được cải thiện, AR và VR sẽ trở nên sống động và chân thực hơn nữa.

Điểm chính cần ghi nhớ#

Ước tính keypoint bàn tay bằng Ultralytics YOLO11 giúp các giải pháp theo dõi bàn tay ứng dụng AI trở nên dễ tiếp cận và đáng tin cậy hơn. Từ nhận diện cử chỉ theo thời gian thực đến diễn giải ngôn ngữ ký hiệu và các ứng dụng AR/VR, thị giác máy tính đang mở ra những khả năng mới trong tương tác người-máy.

Ngoài ra, quy trình huấn luyện tùy chỉnh và tinh chỉnh được đơn giản hóa đang giúp nhà phát triển xây dựng các model hiệu quả cho nhiều mục đích sử dụng thực tế. Khi công nghệ thị giác máy tính phát triển, chúng ta có thể kỳ vọng sẽ có thêm nhiều đổi mới trong các lĩnh vực như chăm sóc sức khỏe, robot, trò chơi và bảo mật.

Kết nối với cộng đồng của chúng tôi và khám phá những tiến bộ AI trên repository GitHub của chúng tôi. Tìm hiểu tác động của AI trong sản xuất và thị giác máy tính trong chăm sóc sức khỏe qua các trang giải pháp của chúng tôi. Khám phá các gói cấp phép và bắt đầu hành trình AI của bạn ngay hôm nay!