Action Recognition

Nhận diện hành động, thường được gọi là Nhận diện hoạt động con người (HAR), là một lĩnh vực con năng động của thị giác máy tính (CV) liên quan đến việc xác định và phân loại các hành vi hoặc chuyển động cụ thể do các đối tượng thực hiện trong dữ liệu video. Trong khi phát hiện đối tượng truyền thống trả lời câu hỏi "có gì trong ảnh?", thì nhận diện hành động giải quyết câu hỏi phức tạp hơn là "điều gì đang xảy ra theo thời gian?". Bằng cách phân tích các chuỗi khung hình thay vì các hình ảnh tĩnh, các mô hình học máy (ML) có thể phân biệt giữa các hoạt động phức tạp như "đi bộ", "đạp xe", "ngã" hoặc "bắt tay", biến đây thành một thành phần quan trọng để xây dựng các hệ thống thông minh hiểu được ý định và ngữ cảnh của con người.

Link to this sectionCác Khái niệm và Kỹ thuật Cốt lõi#

Việc nhận diện hành động đòi hỏi một mô hình phải xử lý cả thông tin không gian (các đối tượng hoặc người trông như thế nào) và thông tin thời gian (cách họ di chuyển theo thời gian). Để đạt được điều này, các hệ thống trí tuệ nhân tạo (AI) hiện đại thường sử dụng các kiến trúc chuyên dụng vượt xa các mạng thần kinh tích chập (CNN) tiêu chuẩn.

• Ước lượng tư thế: Một kỹ thuật mạnh mẽ trong đó mô hình theo dõi các điểm khóa cụ thể trên cơ thể người, chẳng hạn như khuỷu tay, đầu gối và vai. Những thay đổi hình học ở các điểm khóa này theo thời gian cung cấp tín hiệu mạnh mẽ để phân loại hành động, độc lập với sự nhiễu loạn của nền.
• Mô hình hóa thời gian: Các thuật toán sử dụng các cấu trúc như Mạng thần kinh tái phát (RNN) hoặc mạng Bộ nhớ ngắn hạn dài hạn (LSTM) để ghi nhớ các khung hình trước đó và dự đoán các hành động trong tương lai. Gần đây hơn, Video Transformers đã trở nên phổ biến nhờ khả năng xử lý các phụ thuộc tầm xa trong luồng video.
• Mạng hai luồng: Phương pháp này xử lý các đặc trưng không gian (khung hình RGB) và các đặc trưng thời gian (thường sử dụng luồng quang học) trong các luồng song song, kết hợp dữ liệu để thực hiện phân loại cuối cùng.

Link to this sectionCác ứng dụng trong thực tế#

Khả năng tự động diễn giải chuyển động của con người có tiềm năng mang tính thay đổi trong nhiều ngành công nghiệp, nâng cao tính an toàn, hiệu quả và trải nghiệm người dùng.

• AI trong Chăm sóc sức khỏe: Nhận diện hành động là rất quan trọng đối với các hệ thống giám sát bệnh nhân. Ví dụ, nó cho phép tự động phát hiện ngã trong các viện dưỡng lão, cảnh báo ngay lập tức cho nhân viên nếu bệnh nhân gục ngã. Nó cũng được sử dụng trong phục hồi chức năng từ xa, nơi các huấn luyện viên AI phân tích tư thế tập luyện của bệnh nhân để đảm bảo họ thực hiện các chuyển động chính xác và an toàn.
• Giám sát và an ninh thông minh: Ngoài việc phát hiện chuyển động đơn thuần, các hệ thống an ninh tiên tiến sử dụng nhận diện hành động để xác định các hành vi đáng ngờ, chẳng hạn như đánh nhau, trộm cắp hoặc xâm nhập trái phép, trong khi bỏ qua các hoạt động lành tính. Điều này làm giảm báo động giả và cải thiện giám sát an ninh thời gian thực.

Link to this sectionTriển khai Phân tích hành động với Ultralytics#

Một quy trình làm việc phổ biến bao gồm việc phát hiện người và tư thế khung xương của họ trước, sau đó phân tích chuyển động của các khớp đó. Mô hình Ultralytics YOLO26 cung cấp tốc độ và độ chính xác vượt trội cho bước ước lượng tư thế ban đầu, đây là nền tảng cho nhiều quy trình nhận diện hành động.

Ví dụ sau đây minh họa cách trích xuất các điểm khóa khung xương từ một khung hình video bằng Python:

from ultralytics import YOLO

# Load the YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image to detect person keypoints
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for result in results:
    # Access the keypoints (x, y, visibility)
    if result.keypoints is not None:
        print(f"Detected keypoints shape: {result.keypoints.data.shape}")

Link to this sectionPhân biệt các thuật ngữ liên quan#

Điều quan trọng là phải phân biệt nhận diện hành động với các tác vụ thị giác máy tính tương tự để đảm bảo các phương pháp chính xác được áp dụng.

• Nhận diện hành động so với Theo dõi đối tượng: Theo dõi đối tượng tập trung vào việc duy trì danh tính của một đối tượng hoặc người cụ thể khi họ di chuyển qua các khung hình (ví dụ: "Người A đang ở tọa độ X"). Nhận diện hành động diễn giải hành vi của đối tượng được theo dõi đó (ví dụ: "Người A đang chạy").
• Nhận diện hành động so với Hiểu video: Trong khi nhận diện hành động xác định các hành vi vật lý cụ thể, hiểu video là một khái niệm rộng hơn bao gồm việc thấu hiểu toàn bộ câu chuyện, ngữ cảnh và các mối quan hệ nhân quả trong một cảnh video.

Link to this sectionThách Thức và Xu Hướng Tương Lai#

Việc phát triển các mô hình nhận diện hành động mạnh mẽ đặt ra nhiều thách thức, đặc biệt là liên quan đến nhu cầu về các bộ dữ liệu video lớn, có chú thích như Kinetics-400 hoặc UCF101. Việc dán nhãn dữ liệu video tốn thời gian hơn đáng kể so với dán nhãn ảnh tĩnh. Để giải quyết vấn đề này, các công cụ như Nền tảng Ultralytics giúp hợp lý hóa quy trình chú thích và đào tạo.

Hơn nữa, hiệu suất tính toán là rất quan trọng. Việc xử lý video độ phân giải cao trong thời gian thực đòi hỏi tài nguyên phần cứng đáng kể. Ngành công nghiệp đang ngày càng chuyển dịch sang Edge AI, tối ưu hóa các mô hình để chạy trực tiếp trên camera và thiết bị di động nhằm giảm độ trễ và mức tiêu thụ băng thông. Những tiến bộ trong tương lai nhằm cải thiện tổng quát hóa mô hình, cho phép các hệ thống nhận diện hành động ngay cả từ các góc nhìn mà chúng không được huấn luyện cụ thể.