OpenPose là gì? Khám phá một cột mốc trong ước tính tư thế

Ngày nay, hình ảnh và camera có ở khắp mọi nơi - được tích hợp vào điện thoại, ngôi nhà và ngay cả những không gian công cộng của chúng ta. Chúng ta không chỉ dựa vào chúng để ghi lại những khoảnh khắc mà còn để hiểu và tương tác với thế giới xung quanh.

Đằng sau hậu trường, computer vision, một lĩnh vực con của trí tuệ nhân tạo (AI), biến điều này thành hiện thực bằng cách cho phép máy móc diễn giải dữ liệu trực quan. Công nghệ này giúp hệ thống phát hiện đối tượng, nhận diện khuôn mặt và theo dõi chuyển động, đóng vai trò cốt lõi trong nhiều công nghệ chúng ta sử dụng hàng ngày.

Nhờ những tiến bộ gần đây trong AI, các model computer vision giờ đây có thể phân tích và trích xuất dữ liệu cũng như thông tin chi tiết phức tạp hơn. Một ví dụ điển hình là pose estimation, một tác vụ computer vision tập trung vào việc thấu hiểu chuyển động của con người.

Nó hoạt động bằng cách xác định các điểm quan trọng trên cơ thể, chẳng hạn như vai, khuỷu tay và đầu gối, trong hình ảnh hoặc video. Điều này giúp cho việc phân tích cách con người di chuyển trở nên khả thi, hỗ trợ các ứng dụng trong theo dõi thể dục, hoạt họa, chăm sóc sức khỏe và nhiều lĩnh vực khác.

Trong số rất nhiều công cụ được phát triển cho pose estimation, OpenPose nổi bật như một bước đột phá lớn. Được tạo ra bởi các nhà nghiên cứu tại Perceptual Computing Lab thuộc Đại học Carnegie Mellon, đây là một trong những hệ thống mã nguồn mở đầu tiên có khả năng phát hiện tư thế toàn thân, bao gồm tay, chân và các điểm quan trọng trên khuôn mặt, cho nhiều người trong thời gian thực chỉ bằng một camera (với tối đa 135 điểm quan trọng mỗi người).

Trong bài viết này, chúng ta sẽ khám phá OpenPose, cách nó hoạt động và ý nghĩa của nó như một cột mốc trong computer vision.

Fig 1. Ước tính tư thế nhiều người dùng OpenPose.

Nhìn lại lịch sử của pose estimation#

Trước khi AI được ứng dụng rộng rãi, việc theo dõi chuyển động của con người trong video đòi hỏi các thiết bị chuyên dụng. Trong các ngành như film and animation, diễn viên thường mặc đồ bó có gắn các điểm phản quang để máy quay có thể ghi lại chuyển động của họ trong một môi trường phòng thu được kiểm soát.

Mặc dù các kỹ thuật motion capture dựa trên điểm đánh dấu này rất chính xác, nhưng chúng cũng tốn kém và bị giới hạn trong các thiết lập cụ thể. Khi computer vision phát triển, các nhà nghiên cứu đã tìm cách theo dõi chuyển động cơ thể mà không cần dùng đến các điểm đánh dấu. Họ sử dụng các cạnh, đường viền và mẫu để tìm hình dạng con người trong hình ảnh.

Những hệ thống sơ khai này hoạt động tốt trong các trường hợp đơn giản và trực diện nhưng gặp khó khăn với các tình huống thực tế. Chúng thường cho kết quả kém khi mọi người di chuyển theo những cách không ngờ tới hoặc khi có nhiều hơn một người xuất hiện trong khung hình.

Vào cuối những năm 2010, deep learning đã mang lại bước chuyển mình lớn cho pose estimation. Các model vision AI có thể được huấn luyện trên các tập dữ liệu lớn về tư thế con người. Thay vì phụ thuộc vào các cạnh và mẫu rập, các model này đã học cách nhận diện các khớp và cấu trúc cơ thể thông qua việc nghiên cứu hàng nghìn hình ảnh có gán nhãn. Điều này giúp cho pose estimation trở nên chính xác, linh hoạt và mang lại hiệu quả cao hơn trong nhiều bối cảnh khác nhau.

Fig 2. Sự tiến hóa của các model human pose estimation từ năm 2017 đến năm 2023.

OpenPose: Nơi pose estimation hiện đại bắt đầu#

OpenPose được phát hành lần đầu vào năm 2017 và có khả năng ước tính tư thế của nhiều người đồng thời trong một hình ảnh duy nhất. Không giống như các hệ thống cũ, OpenPose không yêu cầu bộ đồ hoặc điểm đánh dấu đặc biệt. Nó hoạt động với các camera tiêu chuẩn và có thể xử lý hình ảnh và video trong thời gian thực. Những tính năng này giúp cho pose estimation trở nên dễ tiếp cận hơn đối với các nhà phát triển và nhà nghiên cứu.

Nền tảng mà OpenPose tạo ra cho computer vision đã giúp các bên khác xây dựng các kiến trúc mới hơn cho nhiều ứng dụng khác. Ngày nay, các model vision AI như Ultralytics YOLOv8 và Ultralytics YOLO11 hỗ trợ các tác vụ pose estimation mang lại kết quả nhanh hơn và độ trễ thấp hơn.

Fig 3. Sử dụng YOLO11 cho pose estimation.

Tuy nhiên, OpenPose là một khởi đầu tuyệt vời nếu bạn tò mò về cách pose estimation đã phát triển. Nó đã giới thiệu các ý tưởng cốt lõi mà nhiều hệ thống mới hơn vẫn dựa vào ngày nay.

Các khả năng chính của OpenPose#

Bây giờ khi chúng ta đã hiểu rõ hơn về lý do tại sao OpenPose quan trọng, hãy cùng xem xét kỹ hơn những gì nó thực sự có thể làm.

Cốt lõi trong các tính năng của OpenPose là một kỹ thuật gọi là keypoint detection. Các keypoint là những điểm mốc cụ thể trên cơ thể con người, chẳng hạn như đầu mũi, tâm của vai, khuỷu tay, cổ tay, hông, đầu gối và mắt cá chân. OpenPose có thể phát hiện tới 135 điểm trên mỗi người, bao gồm các khu vực chi tiết như ngón tay và đặc điểm khuôn mặt.

Khi các điểm này được kết nối, chúng tạo thành một biểu diễn đơn giản hóa của cơ thể con người - bạn có thể coi đó như một bộ khung kỹ thuật số. Phác thảo bộ xương này không chỉ cho thấy một người đang ở đâu mà còn cho thấy tư thế của họ: liệu họ đang ngồi, đứng, vẫy tay, mỉm cười hay đang đi bộ. Máy tính có thể diễn giải chuyển động của con người một cách trực quan bằng cách sử dụng các bộ khung này, giống như cách chúng ta hiểu ngôn ngữ cơ thể của ai đó một cách bản năng.

Theo dõi bộ khung đặc biệt hữu ích vì nó loại bỏ nhiễu nền và những thứ gây xao nhãng, cho phép hệ thống tập trung hoàn toàn vào tư thế và chuyển động của con người. Thay vì phân tích từng pixel, OpenPose tập trung vào các điểm có ý nghĩa kể lại câu chuyện về cách một người đang di chuyển hoặc tương tác.

Bằng cách trích xuất thông tin có cấu trúc này từ hình ảnh hoặc video hàng ngày, OpenPose giúp việc xây dựng các ứng dụng phản hồi theo cử chỉ, theo dõi hoạt động thể chất, đánh giá các dấu hiệu cảm xúc hoặc thậm chí làm hoạt họa các nhân vật kỹ thuật số trở nên khả thi.

OpenPose hoạt động như thế nào?#

Dưới đây là tổng quan về cách OpenPose phát hiện và kết nối các keypoint trên cơ thể con người từ đầu vào thị giác:

• Bắt đầu bằng một hình ảnh: OpenPose lấy một hình ảnh đơn lẻ từ ảnh chụp, video hoặc nguồn cấp dữ liệu camera trực tiếp.
• Xác định các bộ phận cơ thể quan trọng: Hệ thống tìm kiếm các điểm chính trên cơ thể, như mũi, khuỷu tay, cổ tay, đầu gối và mắt cá chân. Chúng được đánh dấu bất cứ nơi nào hệ thống tự tin rằng một bộ phận cơ thể được đặt tại đó.
• Tính toán các bộ phận nào đi cùng nhau: Tiếp theo, OpenPose kiểm tra cách các keypoint được kết nối. Nó sử dụng các phép tính toán học để quyết định các khớp nào thuộc về cùng một người - ví dụ, khớp cổ tay với khuỷu tay và vai phải.
• Vẽ một bộ khung cho từng người: Sau khi nhóm các keypoint, OpenPose kết nối chúng thành một "hình người que" hiển thị tư thế của mỗi người. Điều này hoạt động ngay cả khi nhiều người xuất hiện trong cùng một khung hình.
• Trả về dữ liệu tư thế: Cuối cùng, nó cung cấp các vị trí chính xác của tất cả các keypoint được phát hiện. Chúng có thể được sử dụng để theo dõi chuyển động, nhận diện cử chỉ hoặc xây dựng các công cụ tương tác - tất cả đều trong thời gian thực.

Fig 4. Phát hiện và theo dõi keypoint của con người sử dụng OpenPose.

Các ứng dụng pose estimation trên các ngành công nghiệp sử dụng OpenPose#

OpenPose từng là một trong những công cụ tiên tiến đầu tiên giúp cho pose estimation trở nên thiết thực đối với nhiều trường hợp sử dụng trong thế giới thực. Mặc dù công cụ này không còn được sử dụng phổ biến trong các computer vision solutions thời gian thực ngày nay, nó vẫn đóng vai trò quan trọng trong việc định hình các công việc ban đầu trên nhiều lĩnh vực như thể thao, giải trí, giáo dục và an toàn.

Hãy cùng xem xét kỹ hơn cách nó đã giúp mở đường trong các lĩnh vực này.

Pose estimation với OpenPose cho thể dục và thể thao#

Khi bạn xem bóng chày, thật dễ dàng để hiểu chuyện gì đang xảy ra - bạn có thể nhận ra ngay lập tức một cú ném, một cú vung gậy hoặc một pha đánh cắp căn cứ. Là con người, chúng ta trực giác đọc được các chuyển động cơ thể và hiểu chúng mà không cần tốn nhiều công sức. Nhưng đối với máy móc, việc nhận diện các hành động này phức tạp hơn nhiều. Chúng cần thông tin chính xác về cách mỗi bộ phận của cơ thể di chuyển trong không gian.

OpenPose là một bước tiến đáng kể trong lĩnh vực computer vision này. Nó là một công cụ thực tế để phân tích phong độ thể thao trong nhiều bối cảnh khác nhau.

Nhiều dự án nghiên cứu đã sử dụng OpenPose để phân tích các chuyển động như vung vợt và nhảy, thậm chí phân loại các baseball actions cụ thể dựa trên cách cầu thủ di chuyển. Vì công cụ này hoạt động trong môi trường mở với video tiêu chuẩn, nó cho phép các nhà nghiên cứu thử nghiệm cách các hệ thống như vậy có thể vận hành trong các kịch bản huấn luyện hoặc đào tạo thực tế.

Những nghiên cứu ban đầu này đã giúp đặt nền móng cho các công cụ theo dõi hiệu suất hiện đang được sử dụng trong sports technology tiên tiến.

Fig 5. Tổng quan về một pipeline phân loại hành động bóng chày sử dụng OpenPose.

Sử dụng OpenPose trong các hệ thống an ninh và an toàn#

Tương tự, các nhà nghiên cứu cũng sử dụng OpenPose để khám phá cách thức theo dõi tư thế dựa trên video có thể hỗ trợ giám sát an toàn. Công cụ này đã được thử nghiệm trong việc detecting behaviors như té ngã, cử chỉ bất ngờ hoặc các mẫu chuyển động ở những khu vực công cộng.

Vì hoạt động với các camera tiêu chuẩn, OpenPose giúp việc thử nghiệm ban đầu trở nên dễ tiếp cận hơn trong các môi trường như bệnh viện và trung tâm giao thông. Những nghiên cứu này đã góp phần thúc đẩy sự phát triển của các newer models hiện đang được sử dụng trong các hệ thống giám sát, phát hiện té ngã và ứng phó khẩn cấp.

Fig 6. Phát hiện té ngã được hỗ trợ bởi OpenPose.

Ưu điểm và nhược điểm của OpenPose#

Dưới đây là cái nhìn thoáng qua về một số ưu điểm mà OpenPose mang lại:

• Hữu ích cho nghiên cứu và tạo nguyên mẫu: Nó đã được sử dụng rộng rãi trong nghiên cứu học thuật, đặc biệt là trong các lĩnh vực như tương tác người-máy, cơ sinh học và phân tích hành vi.
• Hỗ trợ đa nền tảng: Công cụ này có thể chạy trên Windows, Linux và macOS, đồng thời hỗ trợ cả đơn vị xử lý trung tâm (CPU) lẫn graphics processing units (GPUs).
• Khả năng xử lý ngoại tuyến: Nó có thể chạy trong các môi trường không có kết nối internet, làm cho nó trở nên lý tưởng cho các cài đặt nhạy cảm về quyền riêng tư như chăm sóc sức khỏe hoặc giáo dục.

Mặc dù OpenPose là một bước tiến lớn, nó cũng có những hạn chế kỹ thuật cần lưu ý. Dưới đây là một số thách thức chính liên quan đến OpenPose:

• Yêu cầu xử lý cao: Chạy OpenPose trong thời gian thực đòi hỏi một GPU mạnh và tài nguyên tính toán đáng kể.
• Nhạy cảm với môi trường: Hiệu suất có thể giảm trong điều kiện ánh sáng yếu, không gian đông đúc hoặc khi góc quay camera không lý tưởng.
• Nặng so với các model mới hơn: So với các model pose estimation mới hơn, OpenPose tương đối lớn và chậm hơn. Nó không phù hợp để triển khai trên các thiết bị giới hạn tài nguyên như điện thoại thông minh, máy tính bảng hoặc hệ thống nhúng.

Các điểm chính cần lưu ý#

OpenPose đã đóng một vai trò quan trọng trong việc làm cho pose estimation trở nên dễ tiếp cận hơn. Nó cho thấy rằng việc theo dõi các chuyển động cơ thể có thể được thực hiện bằng một camera đơn giản mà không cần dựa vào những bộ đồ hoặc thiết bị chuyên dụng.

Nó đã đặt nền móng cho nhiều ứng dụng thực tế trong lĩnh vực chăm sóc sức khỏe, giáo dục, giải trí và nghiên cứu. Trong khi các model mới hơn hiện cung cấp tốc độ nhanh hơn và hiệu suất nhẹ hơn, OpenPose vẫn là một điểm tham chiếu quan trọng để hiểu cách pose estimation đã phát triển.

Hãy tham gia community của chúng tôi và truy cập GitHub repository để tìm hiểu thêm về AI. Nếu bạn đang muốn xây dựng các computer vision solutions của riêng mình, hãy khám phá các licensing options của chúng tôi. Ngoài ra, hãy xem cách computer vision in healthcare và AI in logistics đang tạo ra những tác động mạnh mẽ!