Video Understanding

Hiểu Video là một nhánh phức tạp của computer vision (CV) tập trung vào việc giúp máy tính nhận thức, phân tích và diễn giải dữ liệu thị giác theo thời gian. Khác với image recognition tiêu chuẩn, vốn xử lý các ảnh tĩnh một cách riêng biệt, hiểu video liên quan đến việc phân tích các chuỗi khung hình để nắm bắt động lực học theo thời gian, ngữ cảnh và các mối quan hệ nhân quả. Bằng cách xử lý "chiều thứ tư" là thời gian, các hệ thống AI có thể vượt xa việc chỉ xác định các đối tượng đơn thuần để hiểu được hành động, sự kiện và câu chuyện đang diễn ra trong một khung cảnh. Khả năng này là cần thiết để tạo ra các hệ thống thông minh có thể tương tác an toàn và hiệu quả trong các môi trường thực tế năng động.

Link to this sectionCác Thành Phần Cốt Lõi của Phân Tích Video#

Để diễn giải thành công nội dung video, các model phải tổng hợp hai loại thông tin chính: các đặc trưng không gian (những gì có trong khung hình) và các đặc trưng thời gian (cách mọi thứ thay đổi). Điều này đòi hỏi một kiến trúc phức tạp thường kết hợp nhiều chiến lược mạng thần kinh.

• Convolutional Neural Networks (CNNs): Các mạng này thường đóng vai trò là xương sống không gian, trích xuất các đặc trưng thị giác như hình dạng, kết cấu và đối tượng từ các khung hình riêng lẻ.
• Recurrent Neural Networks (RNNs): Các kiến trúc như đơn vị Long Short-Term Memory (LSTM) được sử dụng để xử lý chuỗi các đặc trưng đã được trích xuất bởi CNN, cho phép model "ghi nhớ" các khung hình trong quá khứ và dự đoán các trạng thái trong tương lai.
• Optical Flow: Nhiều hệ thống sử dụng các thuật toán optical flow để tính toán rõ ràng các vector chuyển động của các pixel giữa các khung hình, cung cấp dữ liệu quan trọng về tốc độ và hướng độc lập với hình dạng đối tượng.
• Vision Transformers (ViTs): Các phương pháp hiện đại ngày càng dựa vào attention mechanisms để cân nhắc tầm quan trọng của các khung hình hoặc vùng khác nhau, cho phép model tập trung vào các sự kiện chính trong một luồng video dài.

Link to this sectionCác ứng dụng trong thực tế#

Khả năng hiểu ngữ cảnh thời gian đã mở ra cánh cửa cho tự động hóa tiên tiến trong nhiều ngành công nghiệp.

• Autonomous Vehicles: Xe tự lái sử dụng hiểu video để dự đoán quỹ đạo của người đi bộ và các phương tiện khác. Bằng cách phân tích các mẫu chuyển động, hệ thống có thể dự đoán các va chạm tiềm ẩn và thực hiện các thao tác phức tạp.
• Action Recognition: Trong phân tích thể thao và healthcare monitoring, các hệ thống xác định các hoạt động cụ thể của con người—chẳng hạn như một cầu thủ ghi bàn hoặc một bệnh nhân bị ngã—để cung cấp thông tin chuyên sâu hoặc cảnh báo tự động.
• Smart Retail: Các cửa hàng sử dụng những hệ thống này cho anomaly detection để phát hiện hành vi trộm cắp hoặc phân tích các mẫu lưu lượng khách hàng nhằm tối ưu hóa bố cục tốt hơn.
• Content Moderation: Các nền tảng truyền thông lớn sử dụng hiểu video để tự động gắn cờ nội dung không phù hợp hoặc phân loại các nội dung tải lên theo chủ đề, giúp giảm đáng kể nhu cầu xem xét thủ công.

Link to this sectionPhân biệt các khái niệm liên quan#

Mặc dù hiểu video bao gồm một loạt các khả năng rộng lớn, nó vẫn khác biệt so với một số thuật ngữ liên quan trong bối cảnh AI.

• Video Understanding vs. Object Tracking: Theo dõi tập trung vào việc duy trì danh tính duy nhất của một thực thể (như một chiếc xe cụ thể) khi nó di chuyển qua các khung hình. Hiểu video diễn giải hành vi của chiếc xe đó, ví dụ như nhận diện nó đang "đỗ xe" hay "chạy quá tốc độ."
• Video Understanding vs. Pose Estimation: Pose estimation phát hiện cấu hình hình học của các khớp cơ thể trong một khung hình hoặc chuỗi hình duy nhất. Hiểu video sử dụng dữ liệu này để suy luận ý nghĩa của chuyển động, chẳng hạn như "vẫy tay chào."
• Video Understanding vs. Multimodal AI: Trong khi hiểu video tập trung vào các chuỗi hình ảnh, AI đa phương thức (multimodal AI) kết hợp video với âm thanh, văn bản hoặc dữ liệu cảm biến để có một phân tích toàn diện hơn.

Link to this sectionTriển khai Phân Tích Video với YOLO26#

Một bước cơ bản trong hiểu video là phát hiện và theo dõi đối tượng một cách mạnh mẽ để thiết lập tính liên tục về thời gian. Model Ultralytics YOLO26 cung cấp hiệu suất hàng đầu cho theo dõi thời gian thực, đóng vai trò là tiền đề cho phân tích hành vi ở cấp độ cao hơn.

Ví dụ sau đây minh họa cách thực hiện theo dõi đối tượng trên một nguồn video sử dụng API Python:

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file with persistence to maintain IDs
# 'show=True' visualizes the tracking in real-time
results = model.track(source="path/to/video.mp4", persist=True, show=True)

Link to this sectionThách Thức và Xu Hướng Tương Lai#

Mặc dù đã có những tiến bộ đáng kể, hiểu video vẫn tiêu tốn nhiều tài nguyên tính toán do khối lượng dữ liệu khổng lồ trong các luồng video độ phân giải cao. Việc tính toán FLOPS cho các tích chập 3D hoặc transformer theo thời gian có thể là quá mức đối với các thiết bị edge AI. Để giải quyết vấn đề này, các nhà nghiên cứu đang phát triển các kiến trúc hiệu quả như Temporal Shift Module (TSM) và tận dụng các công cụ tối ưu hóa như NVIDIA TensorRT để cho phép real-time inference.

Các phát triển trong tương lai đang hướng tới multimodal learning phức tạp, nơi các model tích hợp các tín hiệu âm thanh (ví dụ: tiếng còi) và ngữ cảnh văn bản để đạt được sự thấu hiểu sâu sắc hơn. Các nền tảng như Ultralytics Platform cũng đang phát triển để hợp lý hóa việc gắn nhãn và quản lý các tập dữ liệu video phức tạp, giúp việc huấn luyện các model tùy chỉnh cho các tác vụ thời gian cụ thể trở nên dễ dàng hơn.