Ultralytics YOLO 모델을 활용한 충돌 예측 성능 향상

도로에서 주의를 기울이더라도 사고는 여전히 발생할 수 있습니다. 자동차가 차선을 변경하거나, 보행자가 무단횡단을 하거나, 자전거 운전자가 예고 없이 속도를 높일 수 있습니다. 이러한 일상적인 상황은 충돌 예측 시스템이 실질적인 차이를 만들고 모두의 안전을 지키는 데 도움을 줄 수 있는 사례입니다.

이전에 공의 궤적 예측을 살펴보면서, 빠르게 움직이는 공의 경로를 예측하면 스포츠 분석에서 움직임을 이해하고 다음에 일어날 일을 예상하는 데 어떻게 도움이 되는지 알아보았습니다. 충돌 예측도 이와 유사한 방식으로 작동합니다.

이러한 예측 시스템은 본질적으로 미래를 내다봅니다. 차량과 보행자의 움직임을 관찰하면 위험을 조기에 포착하고, 상황이 위험해지기 전에 경로나 행동을 조정할 수 있습니다(이를 모션 플래닝 또는 경로 플래닝이라고도 합니다).

충돌 예측 시스템을 뒷받침하는 핵심 컴퓨터 과학 기술은 인공지능과 그 하위 분야인 컴퓨터 비전, 그리고 사물의 움직임을 예측하는 데 도움을 주는 forecasting 방법입니다. 예를 들어 Ultralytics YOLO11 및 곧 출시될 Ultralytics YOLO26과 같은 컴퓨터 비전 모델은 차량과 보행자 등의 객체를 실시간으로 감지하고 추적하는 데 사용할 수 있으며, forecasting 모델은 이러한 정보를 활용해 객체의 다음 움직임을 추정합니다.

그림 1. YOLO11을 사용해 도로 위 객체를 감지하는 예시(출처).

그 결과 주변에서 일어나는 일을 이해하고 동적인 환경에서 더 스마트한 의사 결정을 지원하는 AI 시스템이 구축됩니다. 이 글에서는 충돌 예측의 작동 방식과 그 기반이 되는 방법, 그리고 컴퓨터 비전과 Ultralytics YOLO 모델이 이 과정에서 수행할 수 있는 역할을 살펴봅니다. 시작해 보겠습니다!

충돌 예측이란 무엇인가요?#

충돌 예측은 AI 시스템이 객체의 움직임을 이해하고, 객체가 서로 매우 가까워지거나 접촉할 시점을 예상하는 능력입니다. 다양한 시스템은 이 정보를 안전 기능 지원, 움직임 최적화, 공유 공간에서의 작업 조정 등 여러 방식으로 활용할 수 있습니다.

고속도로의 자동차, 창고 통로의 지게차, 도로를 건너는 보행자 등 객체가 공유 공간을 이동하는 모든 상황에서 충돌 예측은 이러한 상호작용이 어떻게 전개될지 시스템이 이해하도록 돕습니다. 안전 중심 애플리케이션에서는 이러한 예측을 활용해 위험을 줄일 수 있으며, 다른 환경에서는 경로 계획, 타이밍 설정 또는 조정된 움직임과 같은 작업을 지원할 수 있습니다.

예를 들어 첨단 운전자 보조 시스템(ADAS)이 장착된 많은 최신 차량에서는 카메라와 센서가 전방 도로를 모니터링하고 차량이 주변 객체에 얼마나 빠르게 접근하는지 추정합니다. 시스템이 상황이 위험해질 수 있다고 감지하면 운전자에게 경고하며, 일부 경우에는 자동 제동이 충격을 줄이는 데 도움을 줄 수 있습니다.

충돌 예측의 네 단계 살펴보기#

충돌 예측은 서로 다른 AI 구성 요소가 함께 작동하여 객체를 식별하고, 움직임을 추적하며, 다음에 일어날 일을 추정하는 조정된 프로세스입니다. 이러한 시스템은 일반적으로 객체 감지, 객체 추적, 궤적 forecasting, 마지막으로 충돌 예측이라는 서로 연결된 네 단계를 거치며 작동합니다. 각 단계는 이전 단계의 정확도를 기반으로 구축됩니다.

이제 각 단계의 작동 방식을 자세히 살펴보겠습니다.

객체 감지 살펴보기#

객체 감지는 비전 AI 모델이 이미지 또는 비디오 프레임에서 객체를 식별하고 위치를 찾는 핵심 컴퓨터 비전 작업입니다. 객체 감지 모델은 픽셀 데이터를 분석하여 바운딩 박스, 객체 클래스, confidence score라는 세 가지 주요 출력을 생성할 수 있습니다. 바운딩 박스는 객체의 위치를 표시하고, 객체 클래스는 자동차, 보행자 또는 자전거 운전자와 같이 객체가 무엇인지 나타내며, confidence score는 모델의 예측 확신 정도를 나타냅니다.

YOLO11 및 YOLO26과 같은 비전 AI 모델은 이러한 기반 위에 구축되며 객체 감지, 객체 추적, oriented bounding box(OBB) 감지를 비롯한 여러 관련 작업을 지원합니다. 객체 감지는 각 프레임에 무엇이 있는지 예측 시스템에 알려주고, 추적은 객체가 움직일 때 이를 따라가며, oriented bounding box는 다양한 각도로 나타나는 객체에 대해 더 정확한 형태를 제공합니다.

이 단계에서 충돌 예측 시스템은 시각 데이터에 무엇이 존재하는지 이해하는 데만 집중합니다. 이후 모든 단계가 의존하는 정보의 기반 계층을 형성하지만, 아직 객체가 어떻게 움직이거나 상호작용할지는 고려하지 않습니다.

객체 추적 개요#

객체가 감지되면 다음 단계는 프레임 전반에서 객체를 추적하여 시스템이 시간에 따른 움직임을 이해하도록 하는 것입니다. 감지가 매 프레임 새로운 바운딩 박스를 제공한다면, 객체 추적은 이러한 감지 결과를 시간에 따라 연결하여 연속성을 추가합니다.

Ultralytics Python 패키지가 지원하는 ByteTrack 및 BoT-SORT와 같은 추적 알고리즘은 각 프레임의 감지 데이터를 사용하여 움직이는 객체를 추적하며 YOLO11과 같은 모델과 함께 작동합니다. 이러한 알고리즘은 각 객체에 고유한 ID를 할당하고, 객체가 빠르게 움직이거나 부분적으로 가려진 경우에도 해당 ID를 사용해 객체의 정체성을 유지합니다. 이를 통해 객체의 움직임을 포착하는 매끄러운 추적 이력이 생성됩니다.

그림 2. YOLO를 사용해 서로 다른 감지 객체에 고유 ID를 할당하는 방식(출처)

다음은 이 두 가지 추적 방법의 작동 방식을 간단히 살펴본 내용입니다.

• ByteTrack: 높은 confidence와 낮은 confidence의 감지 결과를 모두 사용하여 일관된 객체 ID를 유지하며, Kalman Filter의 모션 예측을 통해 객체가 빠르게 움직이거나 잠시 감지하기 어려운 상황에서도 추적기의 안정성을 유지합니다.
• BoT-SORT: 이 알고리즘은 Kalman Filter의 모션 예측과 외형 단서를 결합하여 SORT를 확장하며, 혼잡한 장면이나 부분적인 가림이 발생하는 동안 추적기가 객체를 더 안정적으로 따라가도록 합니다.

이러한 추적 방법의 성능을 측정하기 위해 연구자들은 검증된 다중 객체 추적(MOT) 데이터셋과 벤치마크에서 이를 평가합니다. 일반적으로 사용되는 metric에는 전반적인 추적 품질을 나타내는 다중 객체 추적 정확도(MOTA), 객체 정체성이 얼마나 일관되게 유지되는지 측정하는 identification F1 score(IDF1), 그리고 감지 성능과 연관 정확도를 모두 균형 있게 보여주는 higher order tracking accuracy(HOTA)가 있습니다.

궤적 forecasting 이해하기#

여러 프레임에서 객체를 추적한 후 다음 단계는 객체가 다음에 어디로 이동할지 예측하는 것입니다. 이를 궤적 forecasting이라고 합니다. 감지는 객체를 찾고 추적은 객체의 움직임을 따라가는 반면, forecasting은 앞을 내다보고 객체의 미래 위치를 추정합니다.

객체의 바운딩 박스, 프레임 간 위치, 할당된 ID와 같은 감지 및 추적 정보는 속도, 방향, 움직임 패턴과 같은 motion feature를 계산하는 데 사용할 수 있습니다. 이렇게 도출된 정보는 forecasting 모델이 객체가 다음 몇 초 동안 어디에 있을 가능성이 높은지 추정하는 데 필요한 데이터를 제공합니다.

추적 데이터에 공백이나 급격한 점프가 포함된 경우 interpolation 기법을 사용하면 더 부드럽고 일관된 궤적을 재구성할 수 있습니다. 이를 통해 forecasting 모델은 노이즈가 많거나 불완전한 위치 데이터가 아니라 품질이 높은 움직임 입력을 받게 됩니다.

그림 3. 자동차 궤적 예측 시각화(출처)

이러한 예측을 수행하기 위해 많은 시스템은 객체의 움직임이 시간에 따라 어떻게 변하는지 이해하도록 설계된 딥러닝 모델에 의존합니다. 과거 위치 시퀀스와 그로부터 도출된 motion feature를 분석함으로써 이러한 모델은 일반적인 움직임 패턴을 학습하고, 그 지식을 활용해 미래 경로를 forecasting합니다.

다음은 궤적 forecasting에 일반적으로 사용되는 딥러닝 및 머신러닝 접근 방식입니다.

• 순환 신경망(RNNs): RNNs는 일련의 비디오 프레임과 같은 시퀀스를 처리하도록 설계된 딥러닝 모델입니다. 이전 위치를 기억하고 해당 정보를 사용해 객체가 어떻게 움직여 왔는지 이해할 수 있습니다. 이를 통해 시스템은 속도 증가, 감속 또는 직선 이동과 같은 단순한 움직임 패턴을 인식할 수 있습니다.

• 장단기 메모리 네트워크(LSTMs): LSTMs는 더 긴 기간 동안 정보를 기억할 수 있는 한층 발전된 RNN 유형입니다. 따라서 차량이 회전을 준비하거나 보행자가 방향을 바꾸는 등 더 복잡한 움직임을 포착할 수 있습니다. 더 긴 추세를 추적할 수 있기 때문에 혼잡한 환경에서 더 안정적인 예측을 생성하는 경우가 많습니다.

• Transformers: Transformers는 전체 움직임 시퀀스를 처리하고 attention을 사용해 이러한 시퀀스에서 가장 중요한 세부 정보에 집중합니다. 따라서 합류하는 자동차나 길을 건너는 보행자처럼 여러 객체가 상호작용하는 장면에서 특히 효과적입니다.

이러한 모델은 단기 및 장기 경로를 모두 예측할 수 있습니다. 일반적으로 2초 미만인 단기 forecasting은 가장 정확한 편이며, 2~6초와 같이 더 긴 구간에 대한 예측은 더 많은 사전 정보를 제공하지만 불확실성도 커집니다.

모든 요소의 통합: 충돌 감지 알고리즘#

마지막 단계인 충돌 예측에서 시스템은 지금까지 학습한 모든 정보를 사용합니다. 즉, 각 객체가 무엇인지(감지), 어떻게 움직여 왔는지(추적), 다음에 어디로 이동할 가능성이 있는지(forecasting)를 활용합니다. 이 단계에서는 예측된 경로 중 충돌로 이어질 수 있는 방식으로 교차하는 경로가 있는지 확인합니다.

그림 4. 충돌 예측 시스템의 작동 방식(출처)

자율주행 차량의 경우 충돌 확인 시스템은 자동차, 보행자, 자전거 운전자 등 주변 객체의 미래 궤적을 비교합니다. 두 예측 경로가 겹치거나 위험할 정도로 가까워지면 차량 충돌 가능성이 있는 상황으로 표시합니다. 충돌 위험이 얼마나 긴급한지 파악하기 위해 시스템은 time-to-collision이라는 값도 계산합니다.

충돌까지의 시간(TTC)은 빠르게 움직이는 환경에서 중요한 측정값입니다. 두 객체가 현재 속도와 방향을 유지할 경우 충돌하기까지 남은 시간을 추정합니다. TTC가 특정 threshold 아래로 떨어지면 시스템은 경고를 발령하거나, 브레이크를 작동하거나, 계획된 경로를 조정하여 대응할 수 있습니다.

충돌 예측의 실제 적용 사례#

충돌 예측은 교통 관리, 스마트 시티 인프라, 산업 자동화, 모바일 로보틱스를 비롯한 다양한 산업에서 점점 더 중요해지고 있습니다. 최신 컴퓨터 비전 및 forecasting 모델이 계속 발전함에 따라 이러한 시스템은 움직임을 예측하는 능력을 더욱 갖추고 있습니다.

이제 충돌 예측과 궤적 forecasting의 작동 방식을 더 잘 이해했으므로, 이러한 방법이 다양한 실제 환경에서 어떻게 사용될 수 있는지 보여주는 흥미로운 연구 사례를 살펴보겠습니다.

YOLO 기반 긴급 자율주행 차량의 충돌 예측#

혼잡하고 예측하기 어려운 환경을 주행하는 것은 자율 시스템이 직면하는 가장 어려운 과제 중 하나이며, 특히 보행자가 명확한 패턴을 따르지 않는 방식으로 움직일 때 더욱 그렇습니다. 긴급 차량은 구조화된 도로, 차선 표시 또는 예측 가능한 보행자 행동에 의존하지 않고 밀집된 공공장소를 고속으로 신속하게 이동해야 하므로 이러한 문제를 더욱 자주 겪습니다.

이러한 시나리오에서는 사람의 위치와 향후 몇 초 동안의 움직임을 이해하는 것이 사고를 피하는 데 필수적입니다. 예를 들어 최근 한 연구에서는 보행자가 많은 환경에서 운행되는 긴급 자율주행 차량(EAV)을 위한 완전한 충돌 예측 파이프라인을 구축하여 이 과제를 탐구했습니다.

YOLO 기반 충돌 예측 파이프라인의 작동 방식#

이 방법론의 작동 방식을 간단히 살펴보겠습니다.

• YOLO를 사용한 보행자 감지: YOLO 기반 detector는 각 카메라 프레임에서 보행자를 식별하고, 보이는 각 사람에 대한 바운딩 박스를 출력합니다.
• ByteTrack을 사용한 움직임 추적: ByteTrack 알고리즘은 프레임 전반에서 이러한 감지 결과를 연결하여 각 보행자에게 일관된 ID를 부여하고, 시간에 따른 움직임을 보여주는 움직임 이력을 생성합니다.
• 실제 위치 추정: 역원근 매핑(IPM)은 2D 픽셀 좌표를 지면상의 대략적인 위치로 변환하여 시스템이 차량을 기준으로 실제 공간에서 보행자가 어디에 있는지 이해하도록 돕습니다.
• cGAN을 사용한 조감도 생성: 한 이미지 형식을 다른 형식으로 변환하는 AI 모델인 조건부 GAN은 장면의 조감도 표현을 생성합니다. 이러한 하향식 레이아웃을 사용하면 보행자의 위치와 주변 환경을 더 쉽게 해석할 수 있습니다.
• LSTM 모델을 사용한 궤적 예측: LSTM 모델은 각 보행자의 과거 위치와 움직임 패턴을 사용하여 향후 몇 초 동안 보행자가 이동할 가능성이 높은 위치를 예측합니다.
• 충돌 원뿔을 사용한 효율적인 충돌 감지: 예측된 궤적은 collision-cone 방법을 사용해 비교하며, 이를 통해 차량과 보행자의 경로가 교차할 가능성이 있는지 판단합니다.
• 신호를 통한 충돌 회피: 시스템이 충돌을 예측하면 최적의 순간에 청각 신호(예: 경적 또는 벨)를 활성화합니다. 이 타이밍은 보행자의 행동에 영향을 주고 보행자가 속도를 높이거나 늦춰 안전한 곳으로 이동할 기회를 제공하도록 선택됩니다.

엣지 비전과 YOLO를 활용한 도시 보행자 안전 확보#

이와 유사하게 충돌 방지에 대한 또 다른 접근 방식은 차량을 넘어 인프라 자체에 초점을 맞춥니다. 이 방법은 차량 내부 센서에 의존하는 대신 횡단보도와 교차로에 설치된 스마트 카메라를 사용하여 보행자와 차량의 움직임을 실시간으로 모니터링합니다. 이러한 장소는 예측하기 어려운 경우가 많습니다. 사람들이 갑자기 도로로 들어설 수 있고, 자전거 운전자가 교통 사이를 지그재그로 통과할 수 있으며, 운전자가 항상 속도를 줄이지 않을 수도 있으므로 위험을 조기에 감지하는 것이 매우 중요합니다.

한 흥미로운 연구에서는 교차로에서 차량-보행자 위험을 직접 예측하도록 설계된 엣지 비전 디바이스인 NAVIBox라는 시스템을 통해 이 아이디어를 탐구했습니다. 이 시스템은 Ultralytics YOLOv8 모델을 사용해 보행자와 차량을 감지하고, 경량 Centroid tracker를 사용해 프레임 전반에서 이들을 추적합니다. 이를 통해 짧고 안정적인 움직임 이력이 생성되며, 이후 각도가 있는 CCTV 시점을 더 명확한 도로 조감도 레이아웃으로 변환하는 perspective transformation을 사용해 보정됩니다.

이렇게 보정된 궤적을 사용하면 NAVIBox는 도로 이용자가 향후 몇 초 동안 어떻게 움직일 가능성이 높은지 추정하고, 경로가 교차할 수 있는지 확인할 수 있습니다(이를 intersection test라고도 합니다). 시스템이 위험한 상호작용을 감지하면 원격 서버나 네트워크 연결에 의존하지 않고 운전자에게는 디스플레이를 통해, 보행자에게는 스피커를 통해 즉시 경고를 보냅니다. 실제 도시 환경에서 테스트한 결과 NAVIBox는 진정한 실시간 응답에 충분한 속도로 작동하며 잠재적인 충돌 시나리오를 정확하게 식별할 수 있는 것으로 나타났습니다. 따라서 혼잡한 도시 교차로에서 실용적인 안전 도구로 활용할 수 있습니다.

그림 5. 차량과 보행자 간 충돌 위험 예측(출처)

충돌 감지 및 예측의 장단점#

AI 기반 predictive collision 시스템을 사용할 때의 몇 가지 장점은 다음과 같습니다.

• 상황 인식 향상: AI 시스템은 환경에서 객체가 어떻게 움직이는지 지속적으로 매핑하여 대규모 군중 흐름, 교통 행동 또는 기계 경로를 더욱 풍부하게 이해할 수 있도록 합니다.

• 장기 계획을 위한 데이터 기반 인사이트: AI 시스템은 감지 결과, 아차 사고, 움직임 패턴을 기록하여 도시 계획자, 안전 팀, fleet 운영자가 교차로를 재설계하고 표지판을 개선하거나 운영 정책을 정교화하는 데 사용할 수 있는 분석 정보를 제공합니다.

• 비용 효율적인 위험 방지: 이러한 시스템은 위험이 커지기 전에 감지하여 비용이 많이 드는 사고, 보험 청구 또는 장비 수리를 방지할 수 있습니다.

이점에도 불구하고 collision-free 시스템에는 몇 가지 한계가 있습니다. 다음과 같은 과제를 고려해야 합니다.

• 센서 및 카메라 배치 제약: 카메라의 위치나 각도가 적절하지 않으면 객체의 크기 또는 거리가 왜곡되어 깊이 추정과 궤적 예측의 신뢰성이 낮아질 수 있습니다.
• 가림: 객체가 다른 객체 뒤에 부분적으로 또는 완전히 가려질 수 있습니다. 이 경우 모델이 시각적 연속성을 잃기 때문에 객체 추적이 어려워집니다.
• 환경 조건: 낮은 조도, 강한 햇빛, 비, 안개 또는 낮은 카메라 품질은 모델이 장면을 명확하게 볼 수 있는 능력을 떨어뜨려 정확도에 영향을 줄 수 있습니다.

핵심 요점#

충돌 예측은 두 가지 강력한 기능을 결합합니다. 컴퓨터 비전은 시스템이 현재 환경에서 일어나는 일을 이해하도록 하며, 궤적 forecasting은 다음에 일어날 가능성이 높은 일을 예상하도록 돕습니다.

이러한 강점을 결합하면 기계는 움직이는 객체를 실시간으로 감지하고, 앞으로 몇 초 동안 해당 객체들이 어떻게 상호작용할지 예측할 수 있습니다. 컴퓨터 비전과 forecasting 기술이 계속 발전함에 따라 충돌 예측은 더 안전하고 신뢰할 수 있으며 확장 가능한 자율 시스템을 구축하는 데 핵심적인 역할을 하게 될 가능성이 높습니다.

AI에 대해 더 알아보려면 커뮤니티와 GitHub 저장소를 확인해 보세요. 솔루션 페이지에서 헬스케어 분야의 AI 및 제조업의 컴퓨터 비전과 같은 애플리케이션을 살펴보세요. 라이선스 옵션을 확인하고 지금 바로 구축을 시작해 보세요!