Ultralytics YOLO 모델을 통한 충돌 예측 개선

도로에서 아무리 조심하더라도 사고는 여전히 발생할 수 있습니다. 갑자기 차선을 변경하는 차량, 무단 횡단을 하는 보행자, 또는 예고 없이 속도를 높이는 자전거 등이 그 예입니다. 이러한 일상적인 순간들이 바로 충돌 예측 시스템이 실질적인 차이를 만들고 모든 이의 안전을 지키는 데 도움을 줄 수 있는 사례입니다.

이전에 우리는 공 궤적 예측을 살펴보았으며, 빠르게 움직이는 공의 경로를 예측하는 것이 스포츠 분석에서 움직임을 이해하고 다음 상황을 예측하는 데 어떻게 도움이 되는지 확인했습니다. 충돌 예측도 이와 유사한 방식으로 작동합니다.

이러한 예측 시스템은 본질적으로 미래를 내다봅니다. 차량과 보행자의 움직임을 관찰함으로써 위험을 조기에 포착하고, 위험한 상황이 발생하기 전에 경로를 조정하거나 행동을 수정할 수 있습니다(이를 모션 플래닝 또는 경로 플래닝이라고도 합니다).

충돌 예측 시스템의 핵심 컴퓨터 과학 기술은 인공지능과 컴퓨터 비전 및 사물의 움직임을 예측하는 데 도움이 되는 예측 방법론과 같은 하위 분야입니다. 예를 들어, Ultralytics YOLO11 및 곧 출시될 Ultralytics YOLO26과 같은 컴퓨터 비전 모델을 사용하여 실시간으로 차량 및 보행자와 같은 객체를 탐지하고 추적할 수 있으며, 예측 모델은 이러한 통찰력을 사용하여 다음 움직임을 추정합니다.

그림 1. 도로에서 객체를 탐지하는 데 사용되는 YOLO11의 예시 (출처).

그 결과는 주변 상황을 이해하고 동적인 환경에서 더 스마트한 의사결정을 지원하는 AI 시스템입니다. 이 기사에서는 충돌 예측이 어떻게 작동하는지, 그 이면의 방법론, 그리고 컴퓨터 비전과 Ultralytics YOLO 모델이 이 과정에서 수행하는 역할을 살펴봅니다. 바로 시작해보겠습니다!

Link to this section충돌 예측이란 무엇인가요?#

충돌 예측은 AI 시스템이 객체의 움직임을 이해하고 매우 가까워지거나 접촉할 가능성을 미리 예측하는 능력입니다. 다양한 시스템이 이 정보를 안전 기능 지원, 움직임 최적화 또는 공유 공간 내 행동 조정 등 여러 방식으로 활용할 수 있습니다.

고속도로의 차량, 물류 창고 통로의 지게차, 또는 거리를 건너는 보행자 등 객체가 공유 공간을 이동하는 곳이라면 어디서든 충돌 예측은 시스템이 이러한 상호작용이 어떻게 전개될지 이해하도록 돕습니다. 안전 중심 애플리케이션에서는 이러한 예측력이 위험을 줄이는 데 사용될 수 있으며, 다른 환경에서는 경로 계획, 타이밍 조정 또는 조정된 움직임과 같은 작업을 지원할 수 있습니다.

예를 들어, ADAS(첨단 운전자 보조 시스템)가 장착된 많은 최신 차량에서는 카메라와 센서가 전방 도로를 모니터링하고 차량이 주변 객체에 접근하는 속도를 추정합니다. 시스템이 위험할 수 있는 상황을 탐지하면 운전자에게 경고를 보내며, 경우에 따라 자동 제동을 통해 충격을 줄일 수 있습니다.

Link to this section충돌 예측의 4단계 탐구#

충돌 예측은 다양한 AI 구성 요소가 협력하여 객체를 식별하고, 움직임을 추적하며, 다음에 무슨 일이 일어날지 추정하는 조정된 프로세스를 포함합니다. 이러한 시스템은 일반적으로 객체 탐지, 객체 추적, 궤적 예측, 마지막으로 충돌 예측이라는 4개의 연결된 단계를 거치며, 각 단계는 이전 단계의 정확도를 바탕으로 구축됩니다.

다음으로 각 단계가 어떻게 작동하는지 자세히 살펴보겠습니다.

Link to this section객체 탐지 살펴보기#

객체 탐지는 비전 AI 모델이 이미지나 비디오 프레임 내의 객체를 식별하고 위치를 파악하는 핵심 컴퓨터 비전 작업입니다. 픽셀 데이터를 분석함으로써 객체 탐지 모델은 바운딩 박스, 객체 클래스, 신뢰도 점수라는 세 가지 주요 결과를 생성할 수 있습니다. 바운딩 박스는 객체의 위치를, 객체 클래스는 차량, 보행자, 자전거 이용자와 같은 객체의 종류를, 신뢰도 점수는 모델이 해당 예측을 얼마나 확신하는지를 나타냅니다.

YOLO11 및 YOLO26과 같은 비전 AI 모델은 이러한 기반 위에서 객체 탐지, 객체 추적 및 OBB(지향성 바운딩 박스) 탐지를 포함한 여러 관련 작업을 지원합니다. 객체 탐지는 예측 시스템에 각 프레임에 무엇이 있는지 알려주고, 추적은 객체가 움직일 때 이를 따라가며, 지향성 바운딩 박스는 다양한 각도에서 나타나는 객체에 대해 더 정확한 형태를 제공합니다.

이 단계에서 충돌 예측 시스템은 시각적 데이터에 무엇이 존재하는지 이해하는 데에만 집중합니다. 이는 이후의 모든 단계가 의존하는 기본 정보 계층을 형성하지만, 아직 객체가 어떻게 움직이거나 상호작용할지는 고려하지 않습니다.

Link to this section객체 추적 개요#

객체가 탐지되면 다음 단계는 프레임 간에 이를 추적하여 시스템이 시간에 따라 객체가 어떻게 움직이는지 이해하도록 하는 것입니다. 탐지는 매 프레임 새로운 바운딩 박스를 제공하는 반면, 객체 추적은 시간에 따라 해당 탐지 결과를 연결하여 연속성을 추가합니다.

ByteTrack 또는 BoT-SORT와 같이 Ultralytics Python 패키지에서 지원하는 추적 알고리즘은 각 프레임의 탐지 데이터를 사용하여 YOLO11과 같은 모델과 함께 작동하며 객체가 움직일 때 이를 추적합니다. 이러한 알고리즘은 각 객체에 고유 ID를 할당하고, 객체가 빠르게 이동하거나 부분적으로 가려져도 동일성을 유지하는 데 사용합니다. 이는 객체의 움직임을 포착하는 매끄러운 추적 이력을 생성합니다.

그림 2. YOLO를 사용하여 서로 다른 탐지에 고유 ID를 할당하는 모습 (출처)

이 두 추적 방법이 어떻게 작동하는지 간단히 살펴보겠습니다.

• ByteTrack: 높거나 낮은 신뢰도의 탐지 결과를 모두 사용하여 일관된 객체 ID를 유지하며, 칼만 필터의 모션 예측을 통해 객체가 빠르게 움직이거나 탐지가 어려울 때 추적기가 안정적으로 유지되도록 돕습니다.
• BoT-SORT: 이 알고리즘은 칼만 필터 모션 예측과 외형 단서를 결합하여 SORT를 확장한 것으로, 혼잡한 장면이나 부분적인 가림이 발생할 때 추적기가 더 안정적으로 객체를 따라갈 수 있게 합니다.

이러한 추적 방법의 성능을 측정하기 위해 연구자들은 확립된 다중 객체 추적(MOT) 데이터셋 및 벤치마크에서 이를 평가합니다. 또한, 일반적으로 사용되는 지표로는 전체 추적 품질을 반영하는 다중 객체 추적 정확도(MOTA), 객체 ID가 얼마나 일관되게 유지되는지 측정하는 식별 F1 점수(IDF1), 그리고 탐지 성능과 연관 정확도를 모두 균형 있게 보여주는 고차 추적 정확도(HOTA)가 있습니다.

Link to this section궤적 예측 이해하기#

여러 프레임에 걸쳐 객체를 추적한 후 다음 단계는 다음에 어디로 이동할지 예측하는 것입니다. 이를 궤적 예측이라고 합니다. 탐지가 객체를 찾고 추적이 움직임을 따라간다면, 예측은 앞을 내다보고 미래의 위치를 추정합니다.

객체의 바운딩 박스, 프레임 간 위치, 할당된 ID와 같은 탐지 및 추적 정보는 속도, 방향, 이동 패턴과 같은 모션 특징을 계산하는 데 사용될 수 있습니다. 이러한 파생된 통찰력은 예측 모델이 다음 몇 초 동안 객체가 어디에 있을지 추정하는 데 필요한 데이터를 제공합니다.

추적 데이터에 누락이나 급격한 점프가 있는 경우, 보간 기법을 사용하여 더 매끄럽고 일관된 궤적을 재구성합니다. 이를 통해 예측 모델은 노이즈가 많거나 불완전한 위치 데이터 대신 고품질의 모션 입력을 받게 됩니다.

그림 3. 차량 궤적 예측의 시각화. (출처)

이러한 예측을 하기 위해 많은 시스템은 객체의 움직임이 시간에 따라 어떻게 변하는지 이해하도록 설계된 딥러닝 모델에 의존합니다. 과거 위치 시퀀스와 그로부터 파생된 모션 특징을 분석함으로써 이러한 모델은 공통적인 이동 패턴을 학습하고 그 지식을 사용하여 미래 경로를 예측합니다.

다음은 궤적 예측에 일반적으로 사용되는 딥러닝 및 머신러닝 접근 방식입니다:

• 순환 신경망(RNN): RNN은 일련의 비디오 프레임과 같은 시퀀스를 처리하도록 설계된 딥러닝 모델입니다. 이전 위치에 대한 기억을 유지하고 그 정보를 사용하여 객체가 어떻게 이동해왔는지 이해할 수 있습니다. 이는 시스템이 속도 증가, 속도 감소 또는 직선 이동과 같은 간단한 모션 패턴을 인식하는 데 도움이 됩니다.

• 장단기 메모리 네트워크 (LSTM): LSTM은 더 긴 기간 동안 정보를 기억할 수 있는 더 발전된 형태의 RNN입니다. 이를 통해 차량이 회전을 준비하거나 보행자가 방향을 바꾸는 등의 복잡한 움직임을 포착할 수 있습니다. 더 긴 추세를 추적할 수 있기 때문에 복잡한 환경에서 더 신뢰할 수 있는 예측을 생성하는 경우가 많습니다.

• Transformer: Transformer는 전체 모션 시퀀스를 처리하고 어텐션을 사용하여 이러한 시퀀스의 가장 중요한 세부 사항에 집중합니다. 이로 인해 차량 합류나 보행자 횡단과 같이 여러 객체가 상호작용하는 장면에서 특히 효과적입니다.

이러한 모델은 단기 및 장기 경로를 모두 예측할 수 있습니다. 일반적으로 2초 미만의 단기 예측이 가장 정확한 경향이 있으며, 2~6초와 같은 더 긴 기간에 대한 예측은 더 넓은 시야를 제공하지만 불확실성이 더 큽니다.

Link to this section모두 하나로 합치기: 충돌 탐지 알고리즘#

마지막 단계인 충돌 예측에서 시스템은 지금까지 학습한 모든 것을 사용합니다. 즉, 각 객체가 무엇인지(탐지), 어떻게 움직였는지(추적), 다음에 어디로 갈 가능성이 높은지(예측)입니다. 이 단계는 예측된 경로 중 어느 하나라도 충돌로 이어질 수 있는 방식으로 교차하는지 확인합니다.

그림 4. 충돌 예측 시스템 작동 방식 (출처)

자율주행 차량의 경우, 충돌 확인 시스템은 차량, 보행자, 자전거 이용자와 같은 주변 객체의 미래 궤적을 비교합니다. 만약 두 예측 경로가 겹치거나 위험할 정도로 가까워지면, 해당 상황을 잠재적 차량 충돌로 표시합니다. 충돌 위험이 얼마나 긴급한지 이해하기 위해 시스템은 TTC(Time-to-collision)라고 알려진 값을 계산합니다.

TTC는 빠르게 움직이는 환경에서의 핵심 측정값입니다. 이는 두 객체가 현재 속도와 방향을 유지할 경우 충돌하기까지 남은 시간을 추정합니다. TTC가 특정 임계값 아래로 떨어지면, 시스템은 경고 발행, 제동 적용 또는 계획된 경로 조정 등을 통해 대응할 수 있습니다.

Link to this section충돌 예측의 실제 적용 사례#

충돌 예측은 교통 관리, 스마트 시티 인프라, 산업 자동화 및 모바일 로봇 공학 등 많은 산업에서 중요해지고 있습니다. 최신 컴퓨터 비전 및 예측 모델이 계속 발전함에 따라, 이러한 시스템은 움직임을 예측하는 데 점점 더 능숙해지고 있습니다.

충돌 예측과 궤적 예측이 어떻게 작동하는지 더 잘 이해했으니, 이러한 방법들이 다양한 실제 환경에서 어떻게 사용될 수 있는지 보여주는 흥미로운 연구들을 살펴보겠습니다.

Link to this section긴급 자율주행 차량을 위한 YOLO 기반 충돌 예측#

혼잡하고 예측 불가능한 환경을 탐색하는 것은 자율주행 시스템에 있어 가장 어려운 과제 중 하나이며, 특히 보행자가 명확한 패턴을 따르지 않고 움직일 때는 더욱 그렇습니다. 긴급 차량은 구조화된 도로, 차선 표시 또는 예측 가능한 보행자 행동에 의존하지 않고 밀집된 공공장소를 고속으로 빠르게 이동해야 하므로 이러한 문제에 더 자주 직면합니다.

이러한 시나리오에서는 사람들이 어디에 있고 다음 몇 초 동안 어떻게 움직일지 이해하는 것이 사고를 피하기 위해 필수적입니다. 예를 들어, 최근 한 연구에서는 보행자가 많은 환경에서 작동하는 EAV(긴급 자율주행 차량)를 위한 완전한 충돌 예측 파이프라인을 구축하여 이 과제를 탐구했습니다.

Link to this sectionYOLO 기반 충돌 예측 파이프라인 작동 방식#

이 방법론이 작동하는 방식을 간단히 살펴보겠습니다:

• YOLO를 이용한 보행자 탐지: YOLO 기반 탐지기가 각 카메라 프레임에서 보행자를 식별하고 각 사람에 대한 바운딩 박스를 출력합니다.
• ByteTrack을 이용한 모션 추적: ByteTrack 알고리즘은 이러한 탐지 결과를 프레임 간에 연결하여 각 보행자에게 일관된 ID를 부여하고 시간이 지남에 따라 어떻게 움직이는지 보여주는 모션 이력을 생성합니다.
• 실제 위치 추정: 역투영 매핑(IPM)은 2D 픽셀 좌표를 대략적인 지면 위치로 변환하여 시스템이 차량 대비 실제 공간에서 보행자가 어디에 있는지 이해하도록 돕습니다.
• cGAN을 사용한 조감도 생성: 이미지 형식을 다른 형식으로 변환하는 AI 모델인 조건부 GAN이 장면의 조감도를 생성합니다. 이 하향식 레이아웃은 보행자 위치와 주변 환경을 더 쉽게 해석하게 해줍니다.
• LSTM 모델을 이용한 궤적 예측: 각 보행자의 과거 위치와 이동 패턴을 사용하여 LSTM 모델이 다음 몇 초 동안 어디로 이동할지 예측합니다.
• 충돌 원뿔을 이용한 효율적인 충돌 탐지: 예측된 궤적은 차량과 보행자의 경로가 교차할지 결정하는 충돌 원뿔 방법을 사용하여 비교됩니다.
• 신호를 통한 충돌 회피: 시스템이 충돌을 예측하면 최적의 순간에 청각 신호(경적이나 벨 등)를 활성화합니다. 타이밍은 보행자의 행동에 영향을 주고 그들이 속도를 높이거나 줄여 안전한 곳으로 이동할 기회를 주도록 선택됩니다.

Link to this section엣지 비전과 YOLO를 사용하여 도시 보행자 안전 보장#

마찬가지로 충돌 예방에 대한 또 다른 접근 방식은 차량을 넘어 인프라 자체에 중점을 둡니다. 이 방법은 차량 내부의 센서에 의존하는 대신 횡단보도와 교차로에 설치된 스마트 카메라를 사용하여 보행자와 차량이 실시간으로 어떻게 움직이는지 모니터링합니다. 이러한 위치는 종종 예측할 수 없습니다. 사람들이 갑자기 도로에 뛰어들 수 있고, 자전거 이용자가 교통 흐름을 뚫고 지나갈 수 있으며, 운전자가 항상 속도를 줄이지 않을 수도 있으므로 위험을 조기에 탐지하는 것이 중요합니다.

흥미로운 연구 하나는 교차로에서 차량-보행자 위험을 직접 예측하도록 설계된 엣지 비전 장치인 NAVIBox라는 시스템을 통해 이 아이디어를 탐구했습니다. 이 시스템은 Ultralytics YOLOv8 모델을 사용하여 보행자와 차량을 탐지하고, 경량 Centroid 추적기를 사용하여 프레임 간에 이들을 추적합니다. 이는 짧고 신뢰할 수 있는 모션 이력을 생성하며, 이후 CCTV의 비스듬한 뷰를 도로의 더 명확한 조감도 레이아웃으로 변환하는 투영 변환을 사용하여 정제됩니다.

이 정제된 궤적을 통해 NAVIBox는 도로 사용자가 다음 몇 초 동안 어떻게 움직일 가능성이 있는지 추정하고 경로가 교차할 수 있는지 확인할 수 있습니다(교차 테스트라고도 함). 시스템이 위험한 상호작용을 탐지하면 원격 서버나 네트워크 연결에 의존하지 않고 운전자를 위한 디스플레이와 보행자를 위한 스피커를 통해 즉시 경고를 보냅니다. 실제 도시 지역에서의 테스트는 NAVIBox가 진정한 실시간 대응을 하기에 충분히 빠르며 잠재적인 충돌 시나리오를 정확하게 식별할 수 있음을 보여주어 바쁜 도시 교차로를 위한 실용적인 안전 도구가 되었습니다.

그림 5. 차량과 보행자 간 충돌 위험 예측. (출처)

Link to this section충돌 탐지 및 예측의 장단점#

다음은 AI 기반 예측 충돌 시스템을 사용할 때의 몇 가지 장점입니다:

• 상황 인식 개선: AI 시스템은 환경에서 객체가 어떻게 움직이는지 지속적으로 매핑하여 대규모 군중 흐름, 교통 행동 또는 기계 경로에 대한 더 풍부한 이해를 제공합니다.

• 장기 계획을 위한 데이터 기반 통찰력: 탐지 결과, 아차 사고 및 이동 패턴을 기록함으로써 AI 시스템은 도시 계획자, 안전 팀 및 차량 운영자가 교차로를 재설계하거나 표지판을 개선하거나 운영 정책을 개선하는 데 사용할 수 있는 분석 정보를 제공합니다.

• 비용 효율적인 위험 예방: 위험이 확대되기 전에 탐지함으로써 이러한 시스템은 비용이 많이 드는 사고, 보험 청구 또는 장비 수리를 방지할 수 있게 합니다.

이러한 이점에도 불구하고 무충돌 시스템은 특정 제한 사항에 직면합니다. 고려해야 할 몇 가지 과제는 다음과 같습니다:

• 센서 및 카메라 배치 제약: 잘못 배치되거나 각도가 맞지 않는 카메라는 객체 크기나 거리를 왜곡하여 깊이 추정 및 궤적 예측의 신뢰도를 떨어뜨릴 수 있습니다.
• 가림(Occlusion): 객체가 다른 객체 뒤에 부분적으로 또는 완전히 숨겨질 수 있습니다. 모델이 시각적 연속성을 잃기 때문에 객체 추적이 어려워집니다.
• 환경 조건: 낮은 조명, 강한 햇빛, 비, 안개 또는 낮은 카메라 품질은 장면을 명확하게 보는 모델의 능력을 저하시켜 정확도에 영향을 줄 수 있습니다.

Link to this section핵심 요약#

충돌 예측은 두 가지 강력한 기능인 컴퓨터 비전과 궤적 예측을 결합합니다. 컴퓨터 비전은 시스템이 현재 환경에서 무슨 일이 일어나고 있는지 이해하게 하고, 궤적 예측은 다음에 무슨 일이 일어날지 예상하도록 돕습니다.

이러한 강점을 결합함으로써 기계는 실시간으로 움직이는 객체를 탐지하고 해당 객체가 앞으로 몇 초 동안 어떻게 상호작용할지 예측할 수 있습니다. 컴퓨터 비전 및 예측 기술이 계속 발전함에 따라 충돌 예측은 더 안전하고 신뢰할 수 있으며 확장 가능한 자율주행 시스템을 구축하는 데 핵심이 될 것입니다.

AI에 대해 더 자세히 알아보려면 community 및 GitHub repository를 확인하세요. 솔루션 페이지에서 AI in healthcare 및 computer vision in manufacturing과 같은 애플리케이션을 탐색해 보시기 바랍니다. licensing options을 확인하고 지금 바로 구축을 시작하세요!