Hướng dẫn toàn diện về các công cụ pose estimation

Là con người, chúng ta đọc chuyển động theo bản năng. Khi ai đó nghiêng người về phía trước, quay đầu hoặc nâng cánh tay, bạn có thể ngay lập tức suy ra họ đang làm gì. Đây là một kỹ năng thầm lặng, gần như trong tiềm thức, định hình cách chúng ta tương tác với mọi người và khám phá thế giới.

Khi công nghệ ngày càng trở thành một phần quan trọng trong cuộc sống hằng ngày, việc mong muốn các thiết bị hiểu chuyển động một cách tự nhiên như chúng ta là điều dễ hiểu. Những tiến bộ gần đây trong trí tuệ nhân tạo, đặc biệt là các tiến bộ dựa trên deep learning, đang biến điều đó thành hiện thực. Cụ thể, computer vision giúp máy móc trích xuất ý nghĩa từ hình ảnh và video, đồng thời thúc đẩy tiến trình này.

Ví dụ, ước tính tư thế là một tác vụ computer vision phổ biến, dự đoán vị trí của các keypoint cơ thể được xác định trước (chẳng hạn như vai, khuỷu tay, hông và đầu gối) trong một hình ảnh hoặc khung hình video. Các keypoint này có thể được nối với nhau bằng một định nghĩa skeleton cố định để tạo thành biểu diễn tư thế đơn giản hóa.

Các model computer vision như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt hỗ trợ các tác vụ như ước tính tư thế và có thể được dùng để vận hành các ứng dụng thời gian thực, bao gồm phản hồi về tư thế trong thể dục và thể thao, giám sát an toàn cũng như trải nghiệm thực tế tăng cường tương tác.

Hình 1. Tổng quan về việc sử dụng Ultralytics YOLO11 để ước tính tư thế (Nguồn)

Trong bài viết này, chúng ta sẽ tìm hiểu sâu về các công cụ ước tính tư thế, xem cách ước tính tư thế hoạt động, các ứng dụng của nó, cùng một số model và thư viện hàng đầu hiện nay. Hãy bắt đầu!

Ước tính tư thế là gì?#

Ước tính tư thế là một kỹ thuật computer vision giúp hệ thống hiểu cách một người hoặc vật thể được định vị trong hình ảnh hoặc video. Thay vì phân tích mọi pixel như nhau, kỹ thuật này dự đoán một tập hợp landmark nhất quán, chẳng hạn như đầu, vai, khuỷu tay, hông, đầu gối và mắt cá chân.

Hầu hết các model xuất ra tọa độ của những keypoint này cùng một điểm số phản ánh khả năng mỗi dự đoán là chính xác. Sau đó, các keypoint có thể được nối với nhau bằng bố cục skeleton được định nghĩa trước để tạo thành biểu diễn tư thế đơn giản.

Khi được áp dụng trên từng khung hình của video, các keypoint thu được có thể được liên kết theo thời gian để ước tính chuyển động. Điều này cho phép triển khai các ứng dụng như kiểm tra tư thế, phân tích chuyển động và tương tác dựa trên cử chỉ.

Hình 2. Ví dụ về ước tính tư thế (Nguồn)

Nhu cầu về các công cụ ước tính tư thế#

Chuyển động của con người mang theo rất nhiều thông tin. Cách một người cúi xuống, với tay hoặc chuyển trọng lượng cơ thể có thể tiết lộ ý định, mức độ gắng sức, sự mệt mỏi hoặc thậm chí nguy cơ chấn thương. Cho đến gần đây, việc thu thập mức độ chi tiết như vậy thường đòi hỏi các cảm biến chuyên dụng, bộ đồ motion capture hoặc môi trường phòng thí nghiệm được kiểm soát.

Ước tính tư thế đã thay đổi điều đó. Việc trích xuất các landmark chính của cơ thể từ hình ảnh và video thông thường cho phép máy tính phân tích chuyển động bằng camera tiêu chuẩn. Nhờ vậy, việc phân tích chuyển động trở nên dễ tiếp cận, có khả năng mở rộng và thiết thực hơn trong các môi trường thực tế.

Dưới đây là một số cách ước tính tư thế có thể tạo ra tác động:

• Nơi làm việc an toàn hơn: các hệ thống dựa trên vision có thể được sử dụng để phát hiện tư thế rủi ro, căng thẳng do thao tác lặp lại hoặc kỹ thuật nâng vật không an toàn trước khi xảy ra chấn thương.
• Cải thiện việc tập luyện thể dục và thể thao: các giải pháp vision AI có thể đánh giá tư thế, khả năng giữ thăng bằng và kỹ thuật theo thời gian thực, cung cấp phản hồi tức thì cho người dùng mà không cần thiết bị đeo.
• Chăm sóc sức khỏe và phục hồi chức năng: các bác sĩ lâm sàng có thể theo dõi từ xa tiến độ hồi phục, tư thế và biên độ chuyển động bằng những bản ghi video đơn giản.
• Trải nghiệm tương tác: ước tính tư thế giúp avatar kỹ thuật số và môi trường nhập vai dễ dàng theo dõi, phản ánh chính xác chuyển động của con người hơn.

Sự phát triển của các thuật toán ước tính tư thế#

Ý tưởng ước tính tư thế đã tồn tại trong nhiều năm. Các phương pháp ban đầu sử dụng model hình học đơn giản và các quy tắc được xây dựng thủ công, đồng thời thường chỉ hoạt động trong những điều kiện được kiểm soát.

Ví dụ, một hệ thống có thể hoạt động tốt khi một người đứng yên ở vị trí cố định, nhưng gặp lỗi khi họ bắt đầu đi bộ, quay người hoặc tương tác với vật thể trong các cảnh thực tế. Những phương pháp này thường gặp khó khăn với chuyển động tự nhiên, góc camera thay đổi, nền nhiều chi tiết và hiện tượng che khuất một phần.

Các phương pháp ước tính tư thế hiện đại dựa vào deep learning để xử lý những thách thức này. Bằng cách huấn luyện các mạng neural tích chập trên những dataset lớn có gán nhãn, các model học được những mẫu hình ảnh giúp phát hiện keypoint đáng tin cậy hơn ở nhiều tư thế, người và môi trường khác nhau.

Với nhiều ví dụ hơn, model cải thiện các dự đoán và khái quát hóa tốt hơn cho những cảnh mới. Nhờ tiến bộ này, ước tính tư thế hiện hỗ trợ nhiều trường hợp sử dụng thực tế, bao gồm giám sát nơi làm việc và công thái học, cũng như phân tích thể thao, trong đó huấn luyện viên và chuyên gia phân tích nghiên cứu cách vận động viên di chuyển.

Các loại kỹ thuật ước tính tư thế#

Ước tính tư thế có một số hình thức khác nhau, tùy thuộc vào bối cảnh và thông tin bạn cần đo lường. Dưới đây là những loại chính bạn sẽ thường gặp:

• Ước tính tư thế 2D: Phương pháp này phát hiện các keypoint cơ thể trong hình ảnh hoặc khung hình video hai chiều. Phương pháp hoạt động tốt với camera tiêu chuẩn và có hiệu quả tính toán cao, phù hợp với các tác vụ như theo dõi chuyển động cơ bản, phân tích tư thế và phản hồi tư thế theo thời gian thực.
• Ước tính tư thế 3D: Bằng cách ước tính độ sâu bên cạnh tọa độ hình ảnh, ước tính tư thế 3D cung cấp hiểu biết không gian về chuyển động cơ thể. Phương pháp này đặc biệt hữu ích khi chuyển động tiến và lùi đóng vai trò quan trọng, chẳng hạn trong phân tích thể thao, phục hồi chức năng, cơ sinh học và hoạt ảnh. Cụ thể, ước tính tư thế người 3D ghi nhận vị trí khớp và chuyển động trong không gian 3D, làm giảm sự mơ hồ có thể xảy ra với các phép chiếu 2D.
• Ước tính tư thế một người: Các hệ thống này được thiết kế để theo dõi từng cá nhân tại một thời điểm. Chúng thường hoạt động tốt nhất trong môi trường được kiểm soát hoặc bán kiểm soát, nơi đối tượng hiển thị rõ ràng, chẳng hạn như ứng dụng hướng dẫn tập luyện, cuộc gọi video hoặc thiết lập phân tích chuyển động.
• Ước tính tư thế nhiều người: Được xây dựng cho các cảnh có nhiều người, phương pháp này phát hiện và theo dõi tư thế của nhiều cá nhân đồng thời. Phương pháp đặc biệt hữu ích trong những môi trường đông đúc như nơi làm việc, phòng gym, không gian công cộng và hoạt động nhóm, nơi các đối tượng có thể chồng lấp hoặc che khuất lẫn nhau.

Hình 3. Tìm hiểu chuyển động của con người trong không gian 3D so với không gian hình ảnh 2D (Nguồn)

Tìm hiểu cách các model ước tính tư thế người hoạt động#

Ước tính tư thế có thể được áp dụng cho nhiều loại vật thể, nhưng để đơn giản, hãy tập trung vào ước tính tư thế người.

Hầu hết các hệ thống ước tính tư thế người được huấn luyện trên các dataset đã chú thích, trong đó những bộ phận cơ thể chính được gán nhãn trên các bộ sưu tập lớn gồm hình ảnh và khung hình video. Dựa trên những ví dụ này, model học các mẫu hình ảnh liên quan đến landmark cơ thể người như vai, khuỷu tay, hông, đầu gối và mắt cá chân, nhờ đó có thể dự đoán chính xác các keypoint trong những cảnh mới.

Một khía cạnh quan trọng khác là kiến trúc inference của model, quyết định cách model phát hiện keypoint và tổng hợp chúng thành các tư thế hoàn chỉnh. Một số hệ thống trước tiên phát hiện từng người rồi ước tính keypoint trong vùng của mỗi người, trong khi các hệ thống khác phát hiện keypoint trên toàn bộ hình ảnh rồi nhóm chúng thành từng cá nhân. Các thiết kế single-stage mới hơn có thể dự đoán tư thế trong một lượt, cân bằng tốc độ và độ chính xác cho mục đích sử dụng thời gian thực.

Tiếp theo, hãy cùng tìm hiểu chi tiết các phương pháp ước tính tư thế khác nhau.

Ước tính tư thế bottom-up#

Trong phương pháp bottom-up, model quan sát toàn bộ hình ảnh và trước tiên tìm các keypoint cơ thể, chẳng hạn như đầu, vai, khuỷu tay, hông, đầu gối và mắt cá chân. Ở giai đoạn này, model chưa cố gắng tách riêng từng người. Model chỉ phát hiện tất cả keypoint hoặc khớp cơ thể được skeleton tư thế định nghĩa trong toàn bộ cảnh.

Sau đó, hệ thống thực hiện bước thứ hai để kết nối các điểm. Hệ thống liên kết những keypoint thuộc về nhau và nhóm chúng thành các skeleton hoàn chỉnh, mỗi skeleton tương ứng với một người. Vì không cần phát hiện từng người trước, các phương pháp bottom-up thường hoạt động tốt trong những cảnh đông đúc, nơi mọi người chồng lấp, xuất hiện với kích thước khác nhau hoặc bị che khuất một phần.

Phát hiện tư thế top-down#

Ngược lại, các hệ thống top-down bắt đầu bằng việc phát hiện từng người trong hình ảnh. Hệ thống đặt một bounding box quanh mỗi cá nhân và coi mỗi box là một vùng riêng để phân tích.

Sau khi cô lập một người, model dự đoán các keypoint cơ thể trong vùng đó. Quy trình từng bước này thường tạo ra kết quả rất chính xác, đặc biệt khi cảnh chỉ có một vài người và mỗi người đều hiển thị rõ ràng.

Ước tính tư thế single-stage hoặc hybrid#

Các model single-stage, đôi khi được gọi là hybrid, dự đoán tư thế trong một lượt. Thay vì phát hiện người trước rồi mới ước tính keypoint, các model này xuất ra vị trí người và keypoint cơ thể cùng lúc.

Vì mọi thứ diễn ra trong một module duy nhất, các model này thường nhanh và hiệu quả hơn, phù hợp với những ứng dụng thời gian thực như theo dõi chuyển động trực tiếp và motion capture. Các model như Ultralytics YOLO11 được xây dựng dựa trên ý tưởng này, hướng đến việc cân bằng tốc độ với các dự đoán keypoint đáng tin cậy.

Huấn luyện và đánh giá các model ước tính tư thế#

Bất kể sử dụng phương pháp nào, model ước tính tư thế vẫn cần được huấn luyện và kiểm thử cẩn thận trước khi có thể hoạt động đáng tin cậy trong thực tế. Model thường học từ các tập hợp lớn gồm hình ảnh (và đôi khi là video), trong đó các keypoint cơ thể được gán nhãn, giúp model xử lý nhiều tư thế, góc camera và môi trường khác nhau.

Một số dataset ước tính tư thế nổi tiếng gồm COCO Keypoints, MPII Human Pose, CrowdPose và OCHuman. Khi các dataset này không phản ánh những điều kiện model sẽ gặp khi triển khai, các kỹ sư thường thu thập và gán nhãn thêm hình ảnh từ môi trường mục tiêu, chẳng hạn như sàn nhà máy, phòng gym hoặc phòng khám.

Hình 4. Các tư thế khác nhau được ước tính bằng computer vision (Nguồn)

Sau khi huấn luyện, hiệu năng của model được đánh giá trên các benchmark tiêu chuẩn để đo lường độ chính xác và độ bền vững, đồng thời định hướng việc tinh chỉnh thêm cho mục đích sử dụng thực tế. Kết quả thường được báo cáo bằng độ chính xác trung bình, thường được gọi là mAP, chỉ số tóm tắt hiệu năng trên nhiều ngưỡng confidence bằng cách so sánh các tư thế dự đoán với ground truth đã gán nhãn.

Trong nhiều benchmark về tư thế, một tư thế dự đoán được ghép với tư thế ground truth bằng Độ tương đồng keypoint đối tượng (OKS). OKS đo mức độ gần nhau giữa các keypoint được dự đoán và các keypoint đã chú thích, đồng thời tính đến những yếu tố như kích thước người và độ khó định vị điển hình của từng keypoint.

Các model tư thế cũng xuất ra điểm confidence cho những người được phát hiện và từng keypoint riêng lẻ. Những điểm số này phản ánh mức độ tin cậy của model và được dùng để xếp hạng, lọc các dự đoán; điều này đặc biệt quan trọng trong những điều kiện khó như che khuất, nhòe do chuyển động hoặc góc camera bất thường.

Các công cụ và thư viện ước tính tư thế phổ biến#

Hiện nay có nhiều công cụ ước tính tư thế, mỗi công cụ cân bằng giữa tốc độ, độ chính xác và tính dễ sử dụng. Dưới đây là một số công cụ và thư viện được sử dụng rộng rãi nhất:

• Ultralytics YOLO11: Được phát triển như một model vision AI mã nguồn mở tiên tiến, YOLO11 kế thừa các model trước đó như Ultralytics YOLOv8. Model cải thiện tốc độ, độ chính xác và hiệu quả tổng thể, đồng thời hỗ trợ nhiều tác vụ computer vision, bao gồm ước tính tư thế. Với hiệu năng mạnh mẽ trên nhiều nền tảng, từ laptop đến thiết bị edge, YOLO11 là một lựa chọn tốt cho nhiều triển khai thực tế.
• Ultralytics YOLO26: Model thế hệ tiếp theo sắp ra mắt này được thiết kế nhẹ hơn, nhỏ gọn hơn và nhanh hơn, đồng thời vẫn duy trì độ chính xác cao. Model được xây dựng cho mục đích sử dụng thời gian thực và triển khai dễ dàng hơn, đồng thời hỗ trợ các tác vụ như phát hiện vật thể, phân đoạn instance và ước tính tư thế trên nhiều kích thước model, phù hợp từ thiết bị edge đến các hệ thống lớn hơn.
• MediaPipe: Đây là một framework đa nền tảng để xây dựng các pipeline vision và machine learning. Framework nhẹ, chạy hiệu quả trên thiết bị di động, tablet và ứng dụng web, đồng thời cung cấp các giải pháp và model sẵn sàng sử dụng cho tư thế toàn thân, landmark khuôn mặt và theo dõi bàn tay.
• OpenPose: Hệ thống ước tính tư thế mã nguồn mở end-to-end này được biết đến rộng rãi nhờ khả năng phát hiện keypoint nhiều người. Hệ thống có thể ước tính đồng thời keypoint cơ thể, bàn tay và khuôn mặt, đồng thời thường được sử dụng trong nghiên cứu, hoạt ảnh và phân tích chuyển động.
• MMPose: MMPose là một bộ công cụ ước tính tư thế dựa trên PyTorch thuộc hệ sinh thái OpenMMLab. Bộ công cụ cung cấp nhiều triển khai model, tiện ích huấn luyện và tùy chọn cấu hình, rất hữu ích cho việc thử nghiệm và tùy biến chuyên sâu.
• HRNet và AlphaPose: Đây là các model ước tính tư thế cũ hơn nhưng vẫn được sử dụng trong nghiên cứu hiện nay. HRNet là một kiến trúc model tư thế duy trì các đặc trưng hình ảnh độ phân giải cao xuyên suốt mạng, giúp định vị keypoint chính xác. AlphaPose là một hệ thống ước tính tư thế nhiều người được sử dụng rộng rãi, thường được dùng khi cần độ chính xác cao trong các cảnh đông đúc hoặc phức tạp.

Các ứng dụng thực tế của phân tích và ước tính tư thế#

Ước tính tư thế ngày càng được sử dụng để biến các video thông thường thành những thông tin hữu ích về chuyển động. Bằng cách theo dõi keypoint cơ thể trên từng khung hình, các hệ thống này có thể suy luận tư thế, chuyển động và hành vi thể chất từ luồng camera, khiến công nghệ này trở nên thiết thực trong nhiều môi trường thực tế.

Ví dụ, trong chăm sóc sức khỏe và phục hồi chức năng, việc theo dõi tư thế có thể giúp các bác sĩ lâm sàng quan sát và đo lường cách bệnh nhân di chuyển trong quá trình trị liệu và hồi phục. Bằng cách trích xuất landmark cơ thể từ các bản ghi video thông thường, công nghệ này có thể được sử dụng để đánh giá tư thế, biên độ chuyển động và các dạng chuyển động tổng thể theo thời gian. Những phép đo này có thể hỗ trợ và tối ưu hóa các đánh giá lâm sàng truyền thống, đồng thời trong một số trường hợp giúp việc theo dõi tiến triển dễ dàng hơn mà không cần cảm biến đeo hoặc thiết bị chuyên dụng.

Tương tự, trong thể thao và phát sóng, ước tính tư thế có thể phân tích cách vận động viên di chuyển trực tiếp từ các luồng video. Một ví dụ thú vị là Hawk-Eye, một hệ thống theo dõi dựa trên camera được sử dụng trong thể thao chuyên nghiệp để điều hành trận đấu và tạo đồ họa phát sóng. Hệ thống cũng cung cấp khả năng theo dõi skeleton bằng cách ước tính các keypoint cơ thể của vận động viên từ nhiều góc camera.

Lựa chọn công cụ ước tính tư thế phù hợp#

Việc lựa chọn công cụ ước tính tư thế phù hợp bắt đầu từ việc hiểu nhu cầu của dự án computer vision. Một số ứng dụng ưu tiên tốc độ thời gian thực, trong khi những ứng dụng khác yêu cầu độ chính xác và mức độ chi tiết cao hơn.

Thiết bị triển khai mục tiêu cũng tạo ra khác biệt. Ứng dụng di động và thiết bị edge thường yêu cầu các model nhẹ, hiệu quả, trong khi những model lớn hơn thường phù hợp hơn với server hoặc môi trường cloud.

Bên cạnh đó, tính dễ sử dụng cũng có thể đóng vai trò quan trọng. Tài liệu tốt, quy trình triển khai thuận lợi và hỗ trợ huấn luyện tùy chỉnh có thể giúp đơn giản hóa dự án.

Nói một cách đơn giản, mỗi công cụ đều có thế mạnh ở những lĩnh vực khác nhau. Chẳng hạn, các model Ultralytics YOLO mang lại sự cân bằng thiết thực giữa tốc độ, độ chính xác và khả năng triển khai dễ dàng cho nhiều ứng dụng ước tính tư thế trong thực tế.

Hình 5. Ước tính tư thế động vật bằng Ultralytics YOLO11 (Nguồn)

Những điểm chính#

Ước tính tư thế giúp máy tính hiểu chuyển động của con người bằng cách phát hiện các keypoint cơ thể trong hình ảnh và video. Các model như YOLO11 và YOLO26 giúp xây dựng các ứng dụng thời gian thực cho những lĩnh vực như thể thao, chăm sóc sức khỏe, an toàn nơi làm việc và trải nghiệm tương tác dễ dàng hơn. Khi các model tiếp tục trở nên nhanh và chính xác hơn, ước tính tư thế có khả năng sẽ trở thành một tính năng phổ biến trong nhiều hệ thống vision AI.

Bạn muốn tìm hiểu thêm về AI? Hãy xem cộng đồng và repository GitHub của chúng tôi. Khám phá các trang giải pháp để tìm hiểu về AI trong robot và computer vision trong sản xuất. Tìm hiểu các tùy chọn cấp phép của chúng tôi và bắt đầu xây dựng với computer vision ngay hôm nay!