Cải thiện dự đoán va chạm với các model Ultralytics YOLO

Dù cẩn thận khi tham gia giao thông, tai nạn vẫn có thể xảy ra. Một chiếc xe chuyển làn, người đi bộ băng qua đường không đúng nơi quy định hoặc người đi xe đạp bất ngờ tăng tốc. Những tình huống thường ngày này là ví dụ cho thấy các hệ thống dự đoán va chạm có thể tạo ra khác biệt đáng kể và giúp mọi người an toàn hơn.

Trước đây, chúng ta đã tìm hiểu về dự đoán quỹ đạo bóng và thấy rằng việc dự báo đường đi của một quả bóng chuyển động nhanh giúp phân tích thể thao hiểu chuyển động và dự đoán điều sẽ xảy ra tiếp theo. Dự đoán va chạm cũng hoạt động theo cách tương tự.

Về cơ bản, các hệ thống dự đoán này hướng đến tương lai. Bằng cách theo dõi cách xe cộ và người đi bộ di chuyển, chúng có thể phát hiện sớm rủi ro và điều chỉnh quỹ đạo hoặc hành vi trước khi (còn được gọi là lập kế hoạch chuyển động hoặc lập kế hoạch đường đi) tình hình trở nên nguy hiểm.

Các công nghệ khoa học máy tính cốt lõi đằng sau những hệ thống dự đoán va chạm là trí tuệ nhân tạo và các nhánh của nó, chẳng hạn như thị giác máy tính và các phương pháp dự báo giúp dự đoán cách mọi vật sẽ di chuyển. Ví dụ, các model thị giác máy tính như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt có thể được sử dụng để phát hiện và theo dõi các đối tượng như xe cộ và người đi bộ theo thời gian thực, còn các model dự báo sử dụng những thông tin đó để ước tính chuyển động tiếp theo của chúng.

Hình 1. Ví dụ về việc sử dụng YOLO11 để phát hiện các đối tượng trên đường (Nguồn).

Kết quả là một hệ thống AI hiểu được những gì đang diễn ra xung quanh và hỗ trợ việc ra quyết định thông minh hơn trong các môi trường biến động. Trong bài viết này, chúng ta sẽ tìm hiểu cách dự đoán va chạm hoạt động, các phương pháp đứng sau nó, cũng như vai trò mà thị giác máy tính và các model YOLO của Ultralytics có thể đảm nhiệm trong quy trình này. Hãy bắt đầu!

Dự đoán va chạm là gì?#

Dự đoán va chạm là khả năng của một hệ thống AI trong việc hiểu cách các đối tượng đang di chuyển và dự đoán thời điểm chúng có thể tiến rất gần hoặc tiếp xúc với nhau. Các hệ thống khác nhau có thể sử dụng thông tin này theo nhiều cách, bao gồm hỗ trợ các tính năng an toàn, tối ưu hóa chuyển động hoặc phối hợp hành động trong không gian dùng chung.

Ở bất cứ nơi nào các đối tượng di chuyển trong không gian dùng chung, dù là ô tô trên đường cao tốc, xe nâng trong lối đi nhà kho hay người đi bộ băng qua đường, dự đoán va chạm giúp các hệ thống hiểu những tương tác này có thể diễn ra như thế nào. Trong các ứng dụng ưu tiên an toàn, khả năng dự đoán trước này có thể được sử dụng để giảm rủi ro; trong các bối cảnh khác, nó có thể hỗ trợ những tác vụ như lập kế hoạch tuyến đường, căn thời gian hoặc phối hợp chuyển động.

Ví dụ, trong nhiều phương tiện mới được trang bị hệ thống hỗ trợ lái xe nâng cao (ADAS), camera và cảm biến giám sát con đường phía trước, đồng thời ước tính tốc độ xe đang tiến đến các đối tượng ở gần. Nếu hệ thống phát hiện một tình huống có thể trở nên không an toàn, hệ thống sẽ cảnh báo người lái và trong một số trường hợp, phanh tự động có thể giúp giảm mức độ va chạm.

Khám phá bốn giai đoạn của dự đoán va chạm#

Dự đoán va chạm bao gồm một quy trình phối hợp, trong đó các thành phần AI khác nhau cùng làm việc để xác định đối tượng, theo dõi chuyển động và ước tính điều có thể xảy ra tiếp theo. Các hệ thống này thường hoạt động qua bốn giai đoạn liên kết: phát hiện đối tượng, theo dõi đối tượng, dự báo quỹ đạo và cuối cùng là dự đoán va chạm; mỗi giai đoạn đều xây dựng trên độ chính xác của giai đoạn trước đó.

Tiếp theo, hãy cùng xem kỹ hơn cách từng giai đoạn hoạt động.

Tổng quan về phát hiện đối tượng#

Phát hiện đối tượng là một tác vụ cốt lõi của thị giác máy tính, trong đó các model AI thị giác xác định và định vị đối tượng trong một ảnh hoặc khung hình video. Bằng cách phân tích dữ liệu pixel, một model phát hiện đối tượng có thể tạo ra ba đầu ra chính: hộp giới hạn, lớp đối tượng và điểm tin cậy. Hộp giới hạn cho biết vị trí của đối tượng, lớp đối tượng cho biết đó là gì, chẳng hạn như ô tô, người đi bộ hoặc người đi xe đạp, còn điểm tin cậy phản ánh mức độ chắc chắn của model đối với dự đoán.

Các model AI thị giác như YOLO11 và YOLO26 xây dựng trên nền tảng này và hỗ trợ một số tác vụ liên quan, bao gồm phát hiện đối tượng, theo dõi đối tượng và phát hiện hộp giới hạn định hướng (OBB). Phát hiện đối tượng cho hệ thống dự đoán biết có gì trong mỗi khung hình, theo dõi đối tượng bám theo chúng khi di chuyển, còn hộp giới hạn định hướng cung cấp hình dạng chính xác hơn cho các đối tượng xuất hiện ở nhiều góc khác nhau.

Ở giai đoạn này, hệ thống dự đoán va chạm chỉ tập trung vào việc hiểu những gì hiện diện trong dữ liệu hình ảnh. Đây là lớp thông tin nền tảng mà mọi bước sau đều phụ thuộc vào, nhưng hệ thống vẫn chưa xem xét cách các đối tượng sẽ di chuyển hoặc tương tác.

Tổng quan về theo dõi đối tượng#

Sau khi các đối tượng được phát hiện, bước tiếp theo là theo dõi chúng qua các khung hình để hệ thống có thể hiểu cách chúng di chuyển theo thời gian. Trong khi việc phát hiện cung cấp các hộp giới hạn mới ở mỗi khung hình, theo dõi đối tượng bổ sung tính liên tục bằng cách liên kết những lần phát hiện đó theo thời gian.

Các thuật toán theo dõi được gói Python của Ultralytics hỗ trợ, chẳng hạn như ByteTrack hoặc BoT-SORT, hoạt động với các model như YOLO11 bằng cách sử dụng dữ liệu phát hiện từ mỗi khung hình để bám theo đối tượng khi chúng di chuyển. Các thuật toán này gán một ID duy nhất cho mỗi đối tượng và sử dụng ID đó để duy trì danh tính ngay cả khi đối tượng di chuyển nhanh hoặc bị che khuất một phần. Nhờ vậy, hệ thống tạo ra lịch sử theo dõi mượt mà, ghi lại cách đối tượng di chuyển.

Hình 2. Tổng quan về việc gán ID duy nhất cho các lần phát hiện khác nhau bằng YOLO (Nguồn)

Dưới đây là cái nhìn nhanh về cách hai phương pháp theo dõi này hoạt động:

• ByteTrack: Phương pháp này sử dụng cả các lần phát hiện có độ tin cậy cao và thấp để duy trì ID đối tượng nhất quán; các dự đoán chuyển động từ Bộ lọc Kalman giúp bộ theo dõi duy trì ổn định khi đối tượng di chuyển nhanh hoặc tạm thời khó phát hiện.
• BoT-SORT: Thuật toán này mở rộng SORT bằng cách kết hợp các dự đoán chuyển động của Bộ lọc Kalman với các đặc trưng về diện mạo, cho phép bộ theo dõi bám theo đối tượng đáng tin cậy hơn trong cảnh đông đúc hoặc khi bị che khuất một phần.

Để đo lường hiệu quả hoạt động của các phương pháp theo dõi này, các nhà nghiên cứu đánh giá chúng trên những bộ dữ liệu và benchmark theo dõi nhiều đối tượng (MOT) đã được thiết lập. Các metric thường được sử dụng cũng bao gồm độ chính xác theo dõi nhiều đối tượng (MOTA), phản ánh chất lượng theo dõi tổng thể; điểm F1 nhận dạng (IDF1), đo lường mức độ nhất quán khi duy trì danh tính đối tượng; và độ chính xác theo dõi bậc cao hơn (HOTA), cung cấp góc nhìn cân bằng về hiệu suất phát hiện và độ chính xác liên kết.

Tìm hiểu về dự báo quỹ đạo#

Sau khi theo dõi một đối tượng qua nhiều khung hình, bước tiếp theo là dự đoán nó sẽ đi đâu. Đây được gọi là dự báo quỹ đạo. Trong khi phát hiện tìm ra đối tượng và theo dõi bám theo chuyển động của chúng, dự báo hướng đến tương lai và ước tính vị trí tiếp theo của chúng.

Thông tin từ việc phát hiện và theo dõi, chẳng hạn như hộp giới hạn, vị trí của đối tượng qua các khung hình và ID được gán, có thể được sử dụng để tính toán các đặc trưng chuyển động như tốc độ, hướng và mô hình di chuyển. Những thông tin suy ra này cung cấp cho model dự báo dữ liệu cần thiết để ước tính vị trí có khả năng của đối tượng trong vài giây tiếp theo.

Trong trường hợp dữ liệu theo dõi có khoảng trống hoặc các bước nhảy đột ngột, kỹ thuật nội suy giúp tái tạo các quỹ đạo mượt mà và nhất quán hơn. Điều này đảm bảo model dự báo nhận được đầu vào chuyển động chất lượng cao thay vì dữ liệu vị trí nhiễu hoặc không đầy đủ.

Hình 3. Trực quan hóa việc dự đoán quỹ đạo của một chiếc xe. (Nguồn)

Để đưa ra những dự đoán này, nhiều hệ thống dựa vào các model deep learning được thiết kế để hiểu cách chuyển động của một đối tượng thay đổi theo thời gian. Bằng cách phân tích chuỗi vị trí trong quá khứ và các đặc trưng chuyển động được suy ra từ đó, những model này học các mô hình di chuyển phổ biến và sử dụng kiến thức đó để dự báo đường đi trong tương lai.

Dưới đây là một số phương pháp deep learning và machine learning thường được sử dụng để dự báo quỹ đạo:

• Mạng nơ-ron hồi quy (RNNs): RNNs là các model deep learning được thiết kế để làm việc với các chuỗi, chẳng hạn như một loạt khung hình video. Chúng có thể lưu trữ thông tin về các vị trí trước đó và sử dụng thông tin này để hiểu cách một đối tượng đã di chuyển. Điều này giúp hệ thống nhận biết các mô hình chuyển động đơn giản như tăng tốc, giảm tốc hoặc di chuyển theo đường thẳng.

• Mạng bộ nhớ dài-ngắn hạn (LSTMs): LSTMs là một dạng RNN nâng cao hơn, có thể ghi nhớ thông tin trong thời gian dài hơn. Nhờ đó, chúng có thể nắm bắt các chuyển động phức tạp hơn, chẳng hạn như một phương tiện chuẩn bị rẽ hoặc người đi bộ đổi hướng. Vì có thể theo dõi các xu hướng dài hơn, chúng thường tạo ra dự đoán đáng tin cậy hơn trong môi trường đông đúc.

• Transformers: Transformers xử lý toàn bộ chuỗi chuyển động và sử dụng attention để tập trung vào những chi tiết quan trọng nhất của các chuỗi này. Điều đó khiến chúng đặc biệt hiệu quả trong những cảnh có nhiều đối tượng tương tác, chẳng hạn như xe nhập làn hoặc người đi bộ băng qua đường.

Các model này có thể dự đoán cả đường đi ngắn hạn và dài hạn. Dự báo ngắn hạn, thường dưới hai giây, có xu hướng chính xác nhất, trong khi dự đoán trên các khoảng thời gian dài hơn, chẳng hạn từ hai đến sáu giây, cung cấp khả năng dự đoán trước tốt hơn nhưng đi kèm độ bất định cao hơn.

Kết hợp tất cả: Các thuật toán phát hiện va chạm#

Ở giai đoạn cuối, tức dự đoán va chạm, hệ thống sử dụng mọi thông tin đã học được: mỗi đối tượng là gì (phát hiện), nó đã di chuyển như thế nào (theo dõi) và nhiều khả năng sẽ đi đâu tiếp theo (dự báo). Bước này kiểm tra xem có quỹ đạo dự đoán nào giao nhau theo cách có thể dẫn đến va chạm hay không.

Hình 4. Cách một hệ thống dự đoán va chạm hoạt động (Nguồn)

Trong trường hợp xe tự hành, hệ thống kiểm tra va chạm so sánh quỹ đạo tương lai của các đối tượng gần đó như ô tô, người đi bộ và người đi xe đạp. Nếu hai quỹ đạo dự đoán chồng lấn hoặc tiến đến gần nhau một cách nguy hiểm, hệ thống đánh dấu tình huống đó là một vụ va chạm phương tiện tiềm ẩn. Để hiểu mức độ khẩn cấp của rủi ro va chạm, hệ thống cũng tính toán một giá trị gọi là thời gian đến va chạm.

Thời gian đến va chạm (TTC) là một phép đo quan trọng trong các môi trường chuyển động nhanh. Chỉ số này ước tính còn bao nhiêu thời gian trước khi hai đối tượng va chạm nếu chúng tiếp tục di chuyển với tốc độ và hướng hiện tại. Khi TTC giảm xuống dưới một ngưỡng nhất định, hệ thống có thể phản ứng bằng cách phát cảnh báo, kích hoạt phanh hoặc điều chỉnh đường đi đã lập kế hoạch.

Các ứng dụng thực tế của dự đoán va chạm#

Dự đoán va chạm đang trở nên thiết yếu trong nhiều ngành, bao gồm quản lý giao thông, hạ tầng đô thị thông minh, tự động hóa công nghiệp và robot di động. Khi các model thị giác máy tính và dự báo tiên tiến nhất tiếp tục phát triển, những hệ thống này ngày càng có khả năng dự đoán chuyển động tốt hơn.

Giờ đây, khi đã hiểu rõ hơn cách dự đoán va chạm và dự báo quỹ đạo hoạt động, hãy cùng xem một số nghiên cứu thú vị cho thấy các phương pháp này có thể được sử dụng trong nhiều môi trường thực tế khác nhau như thế nào.

Dự đoán va chạm sử dụng YOLO cho xe tự hành khẩn cấp#

Điều hướng trong các môi trường đông đúc, khó dự đoán là một trong những thách thức lớn nhất đối với các hệ thống tự hành, đặc biệt khi người đi bộ di chuyển theo những cách không tuân theo các mô hình rõ ràng. Xe khẩn cấp còn thường xuyên đối mặt với vấn đề này hơn, vì chúng cần di chuyển nhanh ở tốc độ cao qua những không gian công cộng đông đúc mà không thể dựa vào đường sá được quy hoạch, vạch làn hoặc hành vi người đi bộ có thể dự đoán.

Trong những tình huống như vậy, việc hiểu mọi người đang ở đâu và có thể di chuyển như thế nào trong vài giây tới là điều thiết yếu để tránh tai nạn. Ví dụ, một nghiên cứu gần đây đã tìm hiểu thách thức này bằng cách xây dựng một pipeline dự đoán va chạm hoàn chỉnh cho Xe tự hành khẩn cấp (EAV) hoạt động trong môi trường có nhiều người đi bộ.

Cách pipeline dự đoán va chạm sử dụng YOLO hoạt động#

Dưới đây là tổng quan nhanh về cách phương pháp này hoạt động:

• Phát hiện người đi bộ bằng YOLO: Một detector dựa trên YOLO xác định người đi bộ trong mỗi khung hình camera và xuất ra các hộp giới hạn cho từng người có thể nhìn thấy.
• Theo dõi chuyển động bằng ByteTrack: Thuật toán ByteTrack liên kết các lần phát hiện này qua các khung hình, gán cho mỗi người đi bộ một ID nhất quán và tạo lịch sử chuyển động cho biết họ đã di chuyển như thế nào theo thời gian.
• Ước tính vị trí trong thế giới thực: Phép ánh xạ phối cảnh nghịch đảo (IPM) chuyển đổi tọa độ pixel 2D thành các vị trí xấp xỉ trên mặt phẳng mặt đất, giúp hệ thống hiểu người đi bộ đang ở đâu trong không gian thực so với phương tiện.
• Tạo góc nhìn từ trên cao bằng cGAN: GAN có điều kiện, một model AI chuyển đổi định dạng ảnh này sang định dạng ảnh khác, tạo ra biểu diễn góc nhìn từ trên cao của cảnh. Bố cục nhìn từ trên xuống này giúp diễn giải vị trí của người đi bộ và môi trường xung quanh dễ dàng hơn.
• Dự đoán quỹ đạo bằng model LSTM: Sử dụng vị trí và mô hình di chuyển trong quá khứ của từng người đi bộ, model LSTM dự đoán nơi họ có khả năng di chuyển đến trong vài giây tiếp theo.
• Phát hiện va chạm hiệu quả bằng các vùng nón va chạm: Các quỹ đạo dự đoán được so sánh bằng phương pháp nón va chạm, phương pháp xác định liệu đường đi của phương tiện và bất kỳ người đi bộ nào có khả năng giao nhau hay không.
• Tránh va chạm thông qua tín hiệu: Nếu hệ thống dự đoán có thể xảy ra va chạm, hệ thống sẽ kích hoạt tín hiệu âm thanh (chẳng hạn như còi hoặc chuông) vào thời điểm tối ưu. Thời điểm này được lựa chọn để tác động đến hành vi của người đi bộ, cho họ cơ hội tăng tốc hoặc giảm tốc và đi đến nơi an toàn.

Đảm bảo an toàn cho người đi bộ trong đô thị bằng thị giác biên và YOLO#

Tương tự, một phương pháp khác để phòng ngừa va chạm không chỉ xem xét phương tiện mà còn tập trung vào chính cơ sở hạ tầng. Thay vì dựa vào cảm biến bên trong ô tô, phương pháp này sử dụng các camera thông minh được lắp đặt tại vạch qua đường và giao lộ để giám sát cách người đi bộ và phương tiện di chuyển theo thời gian thực. Những địa điểm này thường khó dự đoán; mọi người có thể đột ngột bước xuống lòng đường, người đi xe đạp có thể luồn lách qua dòng xe và tài xế có thể không phải lúc nào cũng giảm tốc, vì vậy việc phát hiện sớm rủi ro là rất quan trọng.

Một nghiên cứu thú vị đã khám phá ý tưởng này thông qua một hệ thống có tên NAVIBox, một thiết bị thị giác biên được thiết kế để dự đoán trực tiếp rủi ro giữa phương tiện và người đi bộ tại giao lộ. Hệ thống sử dụng model Ultralytics YOLOv8 để phát hiện người đi bộ và phương tiện, cùng một bộ theo dõi Centroid nhẹ để bám theo chúng qua các khung hình. Điều này tạo ra lịch sử chuyển động ngắn nhưng đáng tin cậy, sau đó được tinh chỉnh bằng phép biến đổi phối cảnh để chuyển góc nhìn CCTV nghiêng thành bố cục đường phố rõ ràng hơn theo góc nhìn từ trên cao.

Với các quỹ đạo đã được tinh chỉnh này, NAVIBox có thể ước tính cách những người tham gia giao thông có khả năng di chuyển trong vài giây tới và kiểm tra xem đường đi của họ có thể giao nhau hay không (còn được gọi là phép kiểm tra giao nhau). Khi hệ thống phát hiện một tương tác rủi ro, hệ thống lập tức gửi cảnh báo qua màn hình cho tài xế và loa cho người đi bộ - mà không cần dựa vào server từ xa hay kết nối mạng. Thử nghiệm tại các khu vực đô thị thực tế cho thấy NAVIBox hoạt động đủ nhanh để phản hồi theo thời gian thực và có thể xác định chính xác các tình huống va chạm tiềm ẩn, khiến nó trở thành một công cụ an toàn thiết thực cho các giao lộ đô thị đông đúc.

Hình 5. Dự đoán rủi ro va chạm giữa phương tiện và người đi bộ. (Nguồn)

Ưu và nhược điểm của phát hiện và dự đoán va chạm#

Dưới đây là một số lợi ích của việc sử dụng các hệ thống dự đoán va chạm có hỗ trợ AI:

• Cải thiện nhận thức tình huống: Các hệ thống AI liên tục lập bản đồ cách các đối tượng di chuyển trong môi trường, cung cấp hiểu biết toàn diện hơn về luồng đám đông quy mô lớn, hành vi giao thông hoặc đường đi của máy móc.

• Thông tin chi tiết dựa trên dữ liệu cho việc lập kế hoạch dài hạn: Bằng cách ghi lại các lần phát hiện, những vụ suýt va chạm và các mô hình di chuyển, hệ thống AI cung cấp dữ liệu phân tích mà các nhà quy hoạch đô thị, đội ngũ an toàn và đơn vị vận hành đội xe có thể sử dụng để thiết kế lại giao lộ, cải thiện biển báo hoặc tinh chỉnh chính sách vận hành.

• Phòng ngừa rủi ro tiết kiệm chi phí: Bằng cách phát hiện rủi ro trước khi chúng trở nên nghiêm trọng, các hệ thống này có thể giúp tránh những vụ tai nạn tốn kém, yêu cầu bồi thường bảo hiểm hoặc chi phí sửa chữa thiết bị.

Bên cạnh những lợi ích, các hệ thống không va chạm cũng phải đối mặt với một số hạn chế nhất định. Dưới đây là một vài thách thức cần cân nhắc:

• Hạn chế trong việc bố trí cảm biến và camera: Camera được đặt sai vị trí hoặc sai góc có thể làm biến dạng kích thước hoặc khoảng cách của đối tượng, khiến việc ước tính chiều sâu và dự đoán quỹ đạo kém tin cậy hơn.
• Che khuất: Các đối tượng có thể bị những đối tượng khác che khuất một phần hoặc hoàn toàn. Điều này khiến việc theo dõi đối tượng trở nên khó khăn vì model mất tính liên tục về hình ảnh.
• Điều kiện môi trường: Ánh sáng yếu, ánh nắng gắt, mưa, sương mù hoặc chất lượng camera kém có thể làm giảm khả năng quan sát rõ cảnh của model, từ đó ảnh hưởng đến độ chính xác.

Những điểm chính#

Dự đoán va chạm kết hợp hai năng lực mạnh mẽ: thị giác máy tính, cho phép các hệ thống hiểu những gì đang diễn ra trong môi trường ngay lúc này, và dự báo quỹ đạo, giúp chúng dự đoán điều có khả năng xảy ra tiếp theo.

Bằng cách kết hợp những thế mạnh này, máy móc có thể phát hiện các đối tượng chuyển động theo thời gian thực và dự đoán cách chúng có thể tương tác trong vài giây tới. Khi các kỹ thuật thị giác máy tính và dự báo tiếp tục phát triển, dự đoán va chạm nhiều khả năng sẽ trở thành yếu tố then chốt để xây dựng các hệ thống tự hành an toàn hơn, đáng tin cậy hơn và có khả năng mở rộng.

Hãy xem cộng đồng và repository GitHub của chúng tôi để tìm hiểu thêm về AI. Khám phá các ứng dụng như AI trong chăm sóc sức khỏe và computer vision trong sản xuất trên các trang giải pháp của chúng tôi. Tìm hiểu các tùy chọn cấp phép và bắt đầu xây dựng ngay hôm nay!