Cải thiện khả năng dự đoán va chạm bằng các model Ultralytics YOLO

Dù cẩn thận khi tham gia giao thông, tai nạn vẫn có thể xảy ra. Một chiếc ô tô chuyển làn, một người đi bộ băng qua đường không đúng nơi quy định hoặc một người đi xe đạp bất ngờ tăng tốc. Những tình huống thường ngày này cho thấy hệ thống dự đoán va chạm có thể tạo ra khác biệt thực sự và giúp bảo vệ an toàn cho mọi người.

Trước đây, chúng ta đã tìm hiểu về dự đoán quỹ đạo bóng và thấy rằng việc dự báo đường đi của quả bóng di chuyển nhanh giúp phân tích thể thao hiểu được chuyển động và dự đoán diễn biến tiếp theo. Dự đoán va chạm cũng hoạt động theo cách tương tự.

Về cơ bản, các hệ thống dự đoán này hướng đến tương lai. Bằng cách theo dõi chuyển động của phương tiện và người đi bộ, chúng có thể phát hiện sớm rủi ro và điều chỉnh lộ trình hoặc hành vi (một quy trình gọi là lập kế hoạch chuyển động hoặc lập kế hoạch đường đi) trước khi tình huống trở nên nguy hiểm.

Các công nghệ khoa học máy tính then chốt đứng sau hệ thống dự đoán va chạm là trí tuệ nhân tạo và các nhánh của nó, chẳng hạn như thị giác máy tính và các phương pháp dự báo giúp dự đoán chuyển động. Ví dụ, các model thị giác máy tính như Ultralytics YOLO11 và Ultralytics YOLO26 (đang được phát triển vào thời điểm viết bài và hiện đã ra mắt) có thể được dùng để phát hiện và theo dõi đối tượng như phương tiện và người đi bộ theo thời gian thực; các model dự báo sử dụng thông tin đó để ước tính chuyển động tiếp theo của họ.

Hình 1. Ví dụ về việc sử dụng YOLO11 để phát hiện vật thể trên đường (Nguồn).

Kết quả là một hệ thống AI hiểu được những gì đang diễn ra xung quanh và hỗ trợ ra quyết định sáng suốt hơn trong các môi trường năng động. Trong bài viết này, chúng ta sẽ tìm hiểu cách thức hoạt động của dự đoán va chạm, các phương pháp nền tảng và vai trò của thị giác máy tính cùng các model Ultralytics YOLO trong quy trình này. Bắt đầu nhé!

Dự đoán va chạm là gì?#

Dự đoán va chạm là khả năng của hệ thống AI trong việc hiểu cách các vật thể di chuyển và dự đoán khi nào chúng có thể tiến lại rất gần hoặc va chạm với nhau. Các hệ thống khác nhau có thể sử dụng thông tin này theo nhiều cách, bao gồm hỗ trợ tính năng an toàn, tối ưu hóa chuyển động hoặc điều phối hoạt động trong không gian chung.

Ở bất cứ nơi nào các vật thể di chuyển trong không gian chung, dù là ô tô trên đường cao tốc, xe nâng trong lối đi nhà kho hay người đi bộ băng qua đường, dự đoán va chạm giúp hệ thống hiểu các tương tác này có thể diễn ra như thế nào. Trong các ứng dụng chú trọng an toàn, khả năng dự báo này có thể giúp giảm thiểu rủi ro; còn trong các bối cảnh khác, nó có thể hỗ trợ những tác vụ như lập kế hoạch tuyến đường, căn thời điểm hoặc điều phối chuyển động.

Ví dụ, trong nhiều mẫu xe đời mới được trang bị hệ thống hỗ trợ lái xe nâng cao, hay ADAS, camera và cảm biến giám sát con đường phía trước và ước tính tốc độ xe đang tiến đến các vật thể gần đó. Nếu hệ thống phát hiện tình huống có thể trở nên mất an toàn, hệ thống sẽ cảnh báo người lái; trong một số trường hợp, phanh tự động có thể giúp giảm lực va chạm.

Tìm hiểu bốn giai đoạn của quá trình dự đoán va chạm#

Dự đoán va chạm bao gồm một quy trình phối hợp, trong đó các thành phần AI khác nhau cùng xác định vật thể, theo dõi chuyển động và ước tính những gì có thể xảy ra tiếp theo. Các hệ thống này thường hoạt động qua bốn giai đoạn liên kết với nhau: phát hiện đối tượng, theo dõi đối tượng, dự báo quỹ đạo và cuối cùng là dự đoán va chạm; mỗi giai đoạn dựa trên độ chính xác của giai đoạn trước đó.

Tiếp theo, hãy cùng tìm hiểu kỹ hơn cách thức hoạt động của từng giai đoạn.

Tổng quan về phát hiện đối tượng#

Phát hiện đối tượng là tác vụ cốt lõi của thị giác máy tính, trong đó các model AI thị giác xác định và định vị vật thể trong ảnh hoặc khung hình video. Bằng cách phân tích dữ liệu pixel, model phát hiện đối tượng có thể tạo ra ba đầu ra chính: hộp giới hạn, lớp đối tượng và điểm tin cậy. Hộp giới hạn cho biết vị trí của vật thể, lớp đối tượng cho biết đó là vật gì, chẳng hạn như ô tô, người đi bộ hoặc người đi xe đạp, còn điểm tin cậy thể hiện mức độ chắc chắn của model đối với dự đoán.

Các model AI thị giác như YOLO11 và YOLO26 phát triển dựa trên nền tảng này và hỗ trợ một số tác vụ liên quan, bao gồm phát hiện đối tượng, theo dõi đối tượng và phát hiện hộp giới hạn định hướng (OBB). Phát hiện đối tượng có thể cho hệ thống dự đoán biết những gì xuất hiện trong từng khung hình, theo dõi đối tượng bám sát các vật thể khi chúng di chuyển, còn hộp giới hạn định hướng cung cấp hình dạng chính xác hơn cho các vật thể xuất hiện ở những góc khác nhau.

Ở giai đoạn này, hệ thống dự đoán va chạm chỉ tập trung tìm hiểu những gì hiện diện trong dữ liệu hình ảnh. Giai đoạn này tạo lớp thông tin nền tảng mà mọi bước tiếp theo đều phụ thuộc vào, nhưng chưa xét đến cách các vật thể di chuyển hoặc tương tác.

Tổng quan về theo dõi đối tượng#

Sau khi phát hiện đối tượng, bước tiếp theo là theo dõi chúng qua các khung hình để hệ thống hiểu cách chúng di chuyển theo thời gian. Trong khi quá trình phát hiện cung cấp hộp giới hạn mới ở mỗi khung hình, theo dõi đối tượng duy trì tính liên tục bằng cách liên kết các lần phát hiện đó theo thời gian.

Các thuật toán theo dõi được gói Python Ultralytics hỗ trợ, chẳng hạn như ByteTrack hoặc BoT-SORT, hoạt động với các model như YOLO11 bằng cách sử dụng dữ liệu phát hiện từ từng khung hình để theo dõi đối tượng khi chúng di chuyển. Các thuật toán này gán một ID duy nhất cho mỗi đối tượng và dùng ID đó để duy trì danh tính ngay cả khi đối tượng di chuyển nhanh hoặc bị che khuất một phần. Nhờ vậy, hệ thống tạo ra lịch sử theo dõi liền mạch, ghi lại chuyển động của đối tượng.

Hình 2. Minh họa việc gán ID duy nhất cho các đối tượng được phát hiện khác nhau bằng YOLO (Nguồn)

Sau đây là phần tổng quan nhanh về cách hoạt động của hai phương pháp theo dõi này:

• ByteTrack: Thuật toán sử dụng cả các lần phát hiện có độ tin cậy cao lẫn thấp để duy trì ID đối tượng nhất quán; các dự đoán chuyển động từ bộ lọc Kalman giúp bộ theo dõi ổn định khi vật thể di chuyển nhanh hoặc tạm thời khó phát hiện.
• BoT-SORT: Thuật toán này mở rộng SORT bằng cách kết hợp các dự đoán chuyển động từ bộ lọc Kalman với đặc trưng ngoại quan, cho phép bộ theo dõi bám sát vật thể đáng tin cậy hơn trong các cảnh đông đúc hoặc khi bị che khuất một phần.

Để đo lường hiệu quả của các phương pháp theo dõi này, các nhà nghiên cứu đánh giá chúng trên các bộ dữ liệu và benchmark theo dõi nhiều đối tượng (MOT) đã được thiết lập. Các chỉ số thường dùng bao gồm độ chính xác theo dõi nhiều đối tượng (MOTA), phản ánh chất lượng theo dõi tổng thể; điểm F1 nhận dạng (IDF1), đo mức độ nhất quán khi duy trì danh tính đối tượng; và độ chính xác theo dõi bậc cao (HOTA), cung cấp đánh giá cân bằng về cả hiệu suất phát hiện lẫn độ chính xác liên kết.

Tìm hiểu về dự báo quỹ đạo#

Sau khi theo dõi một vật thể qua nhiều khung hình, bước tiếp theo là dự đoán vật thể sẽ di chuyển đến đâu. Đây được gọi là dự báo quỹ đạo. Trong khi phát hiện xác định vật thể và theo dõi bám sát chuyển động của chúng, dự báo nhìn về phía trước và ước tính vị trí tương lai.

Thông tin từ quá trình phát hiện và theo dõi, chẳng hạn như bbox của đối tượng, vị trí qua các khung hình và ID được gán, có thể được dùng để tính các đặc trưng chuyển động như tốc độ, hướng và quy luật di chuyển. Những thông tin suy ra này cung cấp cho model dự báo dữ liệu cần thiết để ước tính vị trí có khả năng của đối tượng trong vài giây tiếp theo.

Khi dữ liệu theo dõi có khoảng trống hoặc bước nhảy đột ngột, các kỹ thuật nội suy giúp tái dựng quỹ đạo mượt mà và nhất quán hơn. Nhờ đó, model dự báo nhận được dữ liệu chuyển động chất lượng cao thay vì dữ liệu vị trí nhiễu hoặc không đầy đủ.

Hình 3. Trực quan hóa quá trình dự đoán quỹ đạo ô tô. (Nguồn)

Để đưa ra những dự đoán này, nhiều hệ thống dựa vào các model deep learning được thiết kế để tìm hiểu sự thay đổi chuyển động của vật thể theo thời gian. Bằng cách phân tích chuỗi vị trí trước đó và các đặc trưng chuyển động được suy ra từ những vị trí này, các model học được những mẫu di chuyển phổ biến và dùng kiến thức đó để dự báo quỹ đạo tương lai.

Sau đây là một số phương pháp deep learning và học máy thường dùng để dự báo quỹ đạo:

• Mạng nơ-ron hồi tiếp (RNN): RNN là các model deep learning được thiết kế để xử lý chuỗi, chẳng hạn như chuỗi khung hình video. RNN có thể lưu giữ thông tin về các vị trí trước đó và sử dụng thông tin này để hiểu cách đối tượng đã di chuyển. Điều này giúp hệ thống nhận diện các quy luật chuyển động đơn giản như tăng tốc, giảm tốc hoặc di chuyển theo đường thẳng.
• Mạng bộ nhớ ngắn-dài hạn (LSTM): LSTM là một dạng RNN nâng cao hơn, có khả năng ghi nhớ thông tin trong thời gian dài hơn. Nhờ đó, LSTM có thể nắm bắt các chuyển động phức tạp hơn, chẳng hạn như xe chuẩn bị rẽ hoặc người đi bộ đổi hướng. Vì có thể theo dõi các xu hướng kéo dài hơn, LSTM thường đưa ra dự đoán đáng tin cậy hơn trong môi trường đông đúc.
• Transformer: Transformer xử lý toàn bộ chuỗi chuyển động và sử dụng cơ chế attention để tập trung vào những chi tiết quan trọng nhất của chuỗi. Điều này giúp Transformer đặc biệt hiệu quả trong các cảnh có nhiều vật thể tương tác, chẳng hạn như ô tô nhập làn hoặc người đi bộ băng qua đường.

Các model này có thể dự đoán cả quỹ đạo ngắn hạn lẫn dài hạn. Dự báo ngắn hạn, thường dưới hai giây, có xu hướng chính xác nhất; trong khi dự đoán trên khoảng thời gian dài hơn, chẳng hạn từ hai đến sáu giây, cung cấp tầm nhìn xa hơn nhưng đi kèm độ bất định lớn hơn.

Kết hợp tất cả: Các thuật toán phát hiện va chạm#

Ở giai đoạn cuối là dự đoán va chạm, hệ thống sử dụng mọi thông tin đã thu thập được: mỗi vật thể là gì (phát hiện), vật thể đã di chuyển như thế nào (theo dõi) và nhiều khả năng sẽ di chuyển đến đâu tiếp theo (dự báo). Bước này kiểm tra xem có quỹ đạo dự đoán nào giao nhau theo cách có thể dẫn đến va chạm hay không.

Hình 4. Cách hệ thống dự đoán va chạm hoạt động (Nguồn)

Trong các phương tiện tự hành, hệ thống kiểm tra va chạm so sánh quỹ đạo tương lai của những vật thể ở gần như ô tô, người đi bộ và người đi xe đạp. Nếu hai đường đi dự đoán chồng lấn hoặc tiến lại gần nhau ở khoảng cách nguy hiểm, hệ thống đánh dấu tình huống đó là một vụ va chạm phương tiện tiềm ẩn. Để xác định mức độ cấp bách của nguy cơ va chạm, hệ thống cũng tính toán một giá trị gọi là thời gian đến va chạm.

Thời gian đến va chạm (TTC) là phép đo quan trọng trong các môi trường có chuyển động nhanh. Chỉ số này ước tính thời gian còn lại trước khi hai vật thể va chạm nếu chúng tiếp tục di chuyển theo tốc độ và hướng hiện tại. Khi TTC giảm xuống dưới một ngưỡng nhất định, hệ thống có thể phản hồi bằng cách phát cảnh báo, phanh hoặc điều chỉnh lộ trình đã lập kế hoạch.

Các ứng dụng thực tế của việc dự đoán va chạm#

Dự đoán va chạm ngày càng trở nên thiết yếu trong nhiều ngành, bao gồm quản lý giao thông, hạ tầng thành phố thông minh, tự động hóa công nghiệp và robot di động. Khi các model thị giác máy tính và dự báo hiện đại nhất tiếp tục phát triển, những hệ thống này ngày càng có khả năng dự đoán chuyển động tốt hơn.

Giờ đây, khi đã hiểu rõ hơn về cách thức hoạt động của việc dự đoán va chạm và dự báo quỹ đạo, hãy cùng xem một số nghiên cứu thú vị cho thấy những phương pháp này có thể được ứng dụng như thế nào trong nhiều môi trường thực tế.

Dự đoán va chạm bằng YOLO cho xe tự hành khẩn cấp#

Điều hướng trong môi trường đông đúc, khó lường là một trong những thách thức khó khăn nhất đối với các hệ thống tự hành, đặc biệt khi người đi bộ di chuyển theo những cách không tuân theo quy luật rõ ràng. Xe ứng cứu khẩn cấp càng thường xuyên gặp phải vấn đề này, vì xe cần di chuyển với tốc độ cao qua những không gian công cộng đông đúc mà không thể dựa vào đường sá được quy hoạch, vạch kẻ làn đường hay hành vi có thể dự đoán của người đi bộ.

Trong những tình huống như vậy, việc xác định vị trí của mọi người và dự đoán cách họ có thể di chuyển trong vài giây tiếp theo là yếu tố thiết yếu để tránh tai nạn. Chẳng hạn, một nghiên cứu gần đây đã tìm hiểu thách thức này bằng cách xây dựng một pipeline dự đoán va chạm hoàn chỉnh cho Xe tự hành khẩn cấp (EAV) hoạt động trong môi trường có nhiều người đi bộ.

Cách pipeline dự đoán va chạm bằng YOLO hoạt động#

Dưới đây là tổng quan về cách phương pháp này hoạt động:

• Phát hiện người đi bộ bằng YOLO: Bộ phát hiện dựa trên YOLO xác định người đi bộ trong từng khung hình camera và xuất bounding box cho mỗi người xuất hiện.
• Theo dõi chuyển động bằng ByteTrack: Thuật toán ByteTrack liên kết các đối tượng được phát hiện qua nhiều khung hình, gán cho mỗi người đi bộ một ID nhất quán và tạo lịch sử chuyển động cho biết họ di chuyển như thế nào theo thời gian.
• Ước tính vị trí trong thế giới thực: Phép ánh xạ phối cảnh nghịch đảo (IPM) chuyển tọa độ pixel 2D thành các vị trí xấp xỉ trên mặt phẳng mặt đất, giúp hệ thống xác định vị trí của người đi bộ trong không gian thực so với phương tiện.
• Tạo góc nhìn từ trên xuống bằng cGAN: Mạng GAN có điều kiện, một model AI chuyển đổi định dạng hình ảnh này sang định dạng khác, tạo ra biểu diễn góc nhìn từ trên xuống của cảnh. Bố cục nhìn từ trên xuống này giúp diễn giải vị trí của người đi bộ và môi trường xung quanh dễ dàng hơn.
• Dự đoán quỹ đạo bằng model LSTM: Dựa trên vị trí trước đây và quy luật di chuyển của từng người đi bộ, model LSTM dự đoán hướng di chuyển có khả năng xảy ra của họ trong vài giây tiếp theo.
• Phát hiện va chạm hiệu quả bằng nón va chạm: Các quỹ đạo dự đoán được so sánh bằng phương pháp nón va chạm, phương pháp này xác định liệu đường đi của phương tiện và bất kỳ người đi bộ nào có khả năng giao nhau hay không.
• Tránh va chạm bằng tín hiệu cảnh báo: Nếu hệ thống dự đoán sẽ xảy ra va chạm, hệ thống sẽ kích hoạt tín hiệu âm thanh (chẳng hạn như còi hoặc chuông) vào thời điểm tối ưu. Thời điểm phát tín hiệu được chọn để tác động đến hành vi của người đi bộ, tạo cơ hội cho họ tăng hoặc giảm tốc độ để đến nơi an toàn.

Đảm bảo an toàn cho người đi bộ trong thành phố bằng thị giác biên và YOLO#

Tương tự, một phương pháp khác để ngăn ngừa va chạm không chỉ tập trung vào phương tiện mà còn chú trọng đến chính hạ tầng. Thay vì dựa vào cảm biến bên trong ô tô, phương pháp này sử dụng camera thông minh được lắp đặt tại vạch sang đường và giao lộ để theo dõi chuyển động của người đi bộ và phương tiện theo thời gian thực. Những địa điểm này thường khó dự đoán; mọi người có thể bất ngờ bước xuống đường, người đi xe đạp có thể luồn lách qua dòng xe, còn tài xế có thể không giảm tốc, vì vậy việc phát hiện sớm rủi ro là rất quan trọng.

Một nghiên cứu thú vị đã tìm hiểu ý tưởng này thông qua hệ thống có tên NAVIBox, một thiết bị thị giác biên được thiết kế để dự đoán trực tiếp nguy cơ giữa phương tiện và người đi bộ tại giao lộ. Hệ thống sử dụng model Ultralytics YOLOv8 để phát hiện người đi bộ và phương tiện, cùng một bộ theo dõi Centroid gọn nhẹ để theo dõi các đối tượng qua nhiều khung hình. Nhờ đó, hệ thống tạo ra lịch sử chuyển động ngắn và đáng tin cậy, sau đó tinh chỉnh lịch sử này bằng phép biến đổi phối cảnh nhằm chuyển góc nhìn camera CCTV xiên thành bố cục đường sá rõ ràng hơn theo góc nhìn từ trên xuống.

Với các quỹ đạo đã được tinh chỉnh này, NAVIBox có thể ước tính cách người tham gia giao thông sẽ di chuyển trong vài giây tiếp theo và kiểm tra xem quỹ đạo của họ có thể giao nhau hay không (còn gọi là kiểm tra giao cắt). Khi hệ thống phát hiện tương tác nguy hiểm, hệ thống lập tức gửi cảnh báo qua màn hình dành cho tài xế và loa dành cho người đi bộ mà không phụ thuộc vào máy chủ từ xa hay kết nối mạng. Các thử nghiệm tại những địa điểm đô thị thực tế cho thấy NAVIBox hoạt động đủ nhanh để phản hồi thực sự theo thời gian thực và có thể nhận diện chính xác các tình huống va chạm tiềm ẩn, biến hệ thống thành công cụ an toàn thiết thực tại các giao lộ đông đúc trong thành phố.

Hình 5. Dự đoán nguy cơ va chạm giữa phương tiện và người đi bộ. (Nguồn)

Ưu và nhược điểm của việc phát hiện và dự đoán va chạm#

Dưới đây là một số lợi ích của việc sử dụng các hệ thống dự đoán va chạm ứng dụng AI:

• Cải thiện nhận thức tình huống: Các hệ thống AI liên tục lập bản đồ chuyển động của các đối tượng trong môi trường, qua đó cung cấp hiểu biết toàn diện hơn về luồng di chuyển của đám đông trên quy mô lớn, hành vi giao thông hoặc lộ trình của máy móc.
• Thông tin chi tiết dựa trên dữ liệu để lập kế hoạch dài hạn: Bằng cách ghi lại các đối tượng được phát hiện, những lần suýt va chạm và quy luật di chuyển, các hệ thống AI cung cấp dữ liệu phân tích để nhà quy hoạch đô thị, đội ngũ an toàn và đơn vị vận hành đội xe sử dụng trong việc thiết kế lại giao lộ, cải thiện biển báo hoặc tinh chỉnh chính sách vận hành.
• Ngăn ngừa rủi ro tiết kiệm chi phí: Bằng cách phát hiện rủi ro trước khi chúng trở nên nghiêm trọng, các hệ thống này có thể giúp tránh những vụ tai nạn tốn kém, yêu cầu bồi thường bảo hiểm hoặc chi phí sửa chữa thiết bị.

Dù mang lại nhiều lợi ích, các hệ thống dự đoán va chạm cũng có một số hạn chế. Sau đây là một vài thách thức cần cân nhắc:

• Hạn chế về vị trí lắp đặt cảm biến và camera: Camera đặt sai vị trí hoặc góc quay không phù hợp có thể làm sai lệch kích thước hoặc khoảng cách của đối tượng, khiến việc ước tính chiều sâu và dự đoán quỹ đạo kém tin cậy hơn.
• Che khuất: Các đối tượng có thể bị vật thể khác che khuất một phần hoặc hoàn toàn. Điều này khiến việc theo dõi đối tượng trở nên khó khăn vì model mất tính liên tục về mặt hình ảnh.
• Điều kiện môi trường: Ánh sáng yếu, nắng gắt, mưa, sương mù hoặc chất lượng camera kém có thể làm giảm khả năng quan sát rõ cảnh của model, ảnh hưởng đến độ chính xác.

Điểm chính cần ghi nhớ#

Dự đoán va chạm kết hợp hai năng lực: thị giác máy tính, giúp hệ thống hiểu những gì đang diễn ra trong môi trường ở thời điểm hiện tại, và dự báo quỹ đạo, giúp hệ thống dự đoán những gì có khả năng xảy ra tiếp theo.

Kết hợp các thế mạnh này, máy móc có thể phát hiện vật thể chuyển động theo thời gian thực và dự đoán cách các vật thể đó có thể tương tác trong vài giây tới. Khi các kỹ thuật thị giác máy tính và dự báo tiếp tục phát triển, dự đoán va chạm nhiều khả năng sẽ trở thành yếu tố then chốt để xây dựng các hệ thống tự hành an toàn hơn, đáng tin cậy hơn và có khả năng mở rộng.

Truy cập cộng đồng và repository GitHub của chúng tôi để tìm hiểu thêm về AI. Khám phá các ứng dụng như AI trong chăm sóc sức khỏe và thị giác máy tính trong sản xuất trên các trang giải pháp của chúng tôi. Tìm hiểu các tùy chọn cấp phép và bắt đầu xây dựng ngay hôm nay!