Ultralytics YOLO 모델을 활용한 충돌 예측 개선

도로에서 조심하더라도 사고는 여전히 발생할 수 있습니다. 자동차가 차선을 변경하거나, 보행자가 무단 횡단하거나, 자전거 이용자가 예고 없이 속도를 높이는 경우가 그렇습니다. 이러한 일상적인 상황은 충돌 예측 시스템이 실질적인 변화를 만들고 모두의 안전을 지키는 데 도움이 되는 사례입니다.

앞서 공 궤적 예측을 살펴보며 빠르게 움직이는 공의 경로를 예측하는 일이 스포츠 분석에서 움직임을 이해하고 다음 상황을 예상하는 데 어떻게 도움이 되는지 알아보았습니다. 충돌 예측도 이와 유사한 방식으로 작동합니다.

이러한 예측 시스템은 본질적으로 미래를 내다봅니다. 차량과 보행자의 움직임을 관찰해 위험을 조기에 포착하고, 상황이 위험해지기 전에 경로 또는 행동을 조정합니다. 이러한 과정을 모션 플래닝 또는 경로 계획이라고 합니다.

충돌 예측 시스템의 기반이 되는 주요 컴퓨터 과학 기술은 인공지능과 그 하위 분야인 컴퓨터 비전, 그리고 사물의 움직임을 예측하는 데 도움이 되는 예측 방법입니다. 예를 들어 Ultralytics YOLO11 및 Ultralytics YOLO26(작성 당시에는 출시 예정이었으며 이후 출시됨)과 같은 컴퓨터 비전 모델은 차량과 보행자 같은 객체를 실시간으로 탐지하고 추적하는 데 사용할 수 있습니다. 예측 모델은 이러한 정보를 활용해 객체의 다음 움직임을 추정합니다.

그림 1. 도로 위의 객체 탐지에 YOLO11을 사용하는 예시 (출처).

그 결과 주변 상황을 이해하고 동적인 환경에서 더 나은 의사 결정을 지원하는 AI 시스템이 만들어집니다. 이 문서에서는 충돌 예측의 작동 방식과 그 기반이 되는 방법, 그리고 컴퓨터 비전과 Ultralytics YOLO 모델이 이 과정에서 수행할 수 있는 역할을 살펴보겠습니다. 시작하겠습니다!

충돌 예측이란 무엇인가요?#

충돌 예측은 AI 시스템이 객체의 움직임을 이해하고 객체들이 가까워지거나 접촉할 수 있는 시점을 예상하는 기능입니다. 다양한 시스템은 이 정보를 활용하여 안전 기능을 지원하고, 움직임을 최적화하거나, 공유 공간에서 동작을 조율할 수 있습니다.

고속도로의 자동차, 창고 통로의 지게차, 도로를 건너는 보행자 등 객체가 공유 공간을 이동하는 모든 상황에서 충돌 예측은 이러한 상호작용이 어떻게 전개될지 시스템이 이해하도록 돕습니다. 안전을 중시하는 애플리케이션에서는 이러한 예측을 통해 위험을 줄일 수 있으며, 다른 환경에서는 경로 계획, 타이밍 조정 또는 이동 조율과 같은 작업을 지원할 수 있습니다.

예를 들어, 첨단 운전자 보조 시스템(ADAS)을 갖춘 최신 차량에서는 카메라와 센서가 전방 도로를 모니터링하고 차량이 주변 객체에 얼마나 빠르게 접근하는지 추정합니다. 시스템이 위험해질 수 있는 상황을 감지하면 운전자에게 경고하며, 경우에 따라 자동 제동이 충격을 줄이는 데 도움이 될 수 있습니다.

충돌 예측의 네 단계 살펴보기#

충돌 예측은 서로 다른 AI 구성 요소가 함께 작동하여 객체를 식별하고, 움직임을 추적하며, 다음에 일어날 일을 추정하는 일련의 과정입니다. 일반적으로 객체 탐지, 객체 추적, 궤적 예측, 충돌 예측의 네 단계로 진행되며, 각 단계의 정확도는 앞 단계의 정확도를 기반으로 합니다.

이제 각 단계가 어떻게 작동하는지 자세히 살펴보겠습니다.

객체 탐지 살펴보기#

객체 탐지는 비전 AI 모델이 이미지나 비디오 프레임에서 객체를 식별하고 위치를 찾는 핵심 컴퓨터 비전 작업입니다. 픽셀 데이터를 분석하여 객체 탐지 모델은 바운딩 박스, 객체 클래스, 신뢰도 점수라는 세 가지 주요 출력을 생성할 수 있습니다. 바운딩 박스는 객체의 위치를 나타내고, 객체 클래스는 자동차, 보행자, 자전거 이용자 등 객체가 무엇인지 나타내며, 신뢰도 점수는 모델의 예측 확신도를 나타냅니다.

YOLO11 및 YOLO26과 같은 비전 AI 모델은 이 기반 기술을 확장하여 객체 탐지, 객체 추적, 방향 바운딩 박스(OBB) 탐지를 비롯한 여러 관련 작업을 지원합니다. 객체 탐지는 각 프레임에 어떤 객체가 있는지 예측 시스템에 알려 주고, 추적은 객체의 움직임을 따라가며, 방향 바운딩 박스는 다양한 각도로 나타나는 객체의 형태를 더 정확하게 표현합니다.

이 단계에서 충돌 예측 시스템은 시각 데이터에 무엇이 있는지 파악하는 데만 집중합니다. 이후 모든 단계가 의존하는 정보의 기반을 구성하지만, 아직 객체의 움직임이나 상호작용은 고려하지 않습니다.

객체 추적 개요#

객체를 탐지한 다음에는 시스템이 시간에 따른 움직임을 이해할 수 있도록 프레임 전반에 걸쳐 객체를 추적해야 합니다. 탐지는 매 프레임 새로운 바운딩 박스를 제공하지만, 객체 추적은 시간에 따라 탐지 결과를 연결하여 연속성을 더합니다.

Ultralytics Python 패키지에서 지원하는 추적 알고리즘인 ByteTrack 또는 BoT-SORT는 각 프레임의 탐지 데이터를 사용해 객체의 이동을 추적하며 YOLO11과 같은 모델과 함께 작동합니다. 이러한 알고리즘은 각 객체에 고유 ID를 부여하고, 객체가 빠르게 움직이거나 부분적으로 가려져도 해당 ID를 유지합니다. 이를 통해 객체의 움직임을 기록하는 매끄러운 추적 이력을 만들 수 있습니다.

그림 2. YOLO를 사용하여 각기 다른 탐지 결과에 고유 ID를 할당하는 모습 (출처)

이 두 추적 방법의 작동 방식을 간단히 살펴보겠습니다.

• ByteTrack: 높은 신뢰도와 낮은 신뢰도의 탐지 결과를 모두 사용하여 일관된 객체 ID를 유지합니다. 칼만 필터의 움직임 예측은 객체가 빠르게 움직이거나 잠시 탐지하기 어려운 경우에도 추적기의 안정성을 높여 줍니다.
• BoT-SORT: 이 알고리즘은 칼만 필터의 움직임 예측과 외형 정보를 결합하여 SORT를 확장하며, 혼잡한 장면이나 부분적으로 가려진 상황에서도 추적기가 객체를 더 안정적으로 따라가도록 합니다.

이러한 추적 방법의 성능을 측정하기 위해 연구자들은 표준 다중 객체 추적(MOT) 데이터셋과 벤치마크에서 평가를 수행합니다. 일반적으로 사용하는 지표에는 전반적인 추적 품질을 나타내는 다중 객체 추적 정확도(MOTA), 객체 ID가 얼마나 일관되게 유지되는지 측정하는 식별 F1 점수(IDF1), 탐지 성능과 연관 정확도를 균형 있게 평가하는 고차 추적 정확도(HOTA)가 있습니다.

궤적 예측 이해하기#

객체를 여러 프레임에 걸쳐 추적한 다음 단계는 객체가 다음에 어디로 이동할지 예측하는 것입니다. 이를 궤적 예측이라고 합니다. 탐지는 객체를 찾고 추적은 객체의 움직임을 따라가지만, 예측은 미래를 내다보고 객체의 다음 위치를 추정합니다.

객체의 바운딩 박스, 프레임별 위치, 할당된 ID 등 탐지 및 추적 정보는 속도, 방향, 이동 패턴과 같은 모션 특성을 계산하는 데 사용할 수 있습니다. 이렇게 도출된 정보는 예측 모델이 다음 몇 초 동안 객체가 있을 가능성이 높은 위치를 추정하는 데 필요한 데이터를 제공합니다.

추적 데이터에 공백이나 갑작스러운 점프가 있는 경우 보간 기법을 사용하여 더 부드럽고 일관된 궤적을 재구성할 수 있습니다. 이를 통해 예측 모델은 잡음이 있거나 불완전한 위치 데이터 대신 고품질의 움직임 입력을 받습니다.

그림 3. 자동차 궤적 예측 시각화. (출처)

이러한 예측을 위해 많은 시스템은 시간에 따른 객체 움직임의 변화를 이해하도록 설계된 딥러닝 모델에 의존합니다. 과거 위치 시퀀스와 이를 바탕으로 도출한 움직임 특징을 분석함으로써 모델은 일반적인 이동 패턴을 학습하고, 그 지식을 활용해 미래 경로를 예측합니다.

궤적 예측에 흔히 사용되는 딥러닝 및 머신러닝 접근 방식은 다음과 같습니다.

• 순환 신경망(RNNs): RNNs는 일련의 동영상 프레임과 같은 시퀀스 데이터를 처리하도록 설계된 딥러닝 모델입니다. 이전 위치 정보를 기억하고 이를 활용해 객체가 어떻게 움직여 왔는지 파악할 수 있습니다. 이를 통해 시스템은 속도 증가, 감속, 직선 이동과 같은 단순한 모션 패턴을 인식할 수 있습니다.
• 장단기 메모리 네트워크(LSTM): LSTM은 더 오랜 기간 정보를 기억할 수 있는 고급 RNN 유형입니다. 따라서 차량이 회전을 준비하거나 보행자가 방향을 바꾸는 것과 같은 더 복잡한 움직임을 포착할 수 있습니다. 장기적인 추세를 추적할 수 있어 혼잡한 환경에서도 더 안정적인 예측을 제공하는 경우가 많습니다.
• Transformer: Transformer는 전체 움직임 시퀀스를 처리하고 어텐션을 사용해 시퀀스에서 가장 중요한 세부 정보에 집중합니다. 따라서 차량 합류나 보행자 횡단처럼 여러 객체가 상호작용하는 장면에서 특히 효과적입니다.

이러한 모델은 단기 및 장기 경로를 모두 예측할 수 있습니다. 일반적으로 2초 미만의 단기 예측이 가장 정확하며, 2~6초와 같이 더 긴 구간의 예측은 더 많은 사전 정보를 제공하지만 불확실성도 커집니다.

모든 단계의 통합: 충돌 탐지 알고리즘#

마지막 충돌 예측 단계에서 시스템은 지금까지 학습한 모든 정보, 즉 각 객체가 무엇인지(탐지), 어떻게 움직였는지(추적), 다음에 어디로 이동할 가능성이 있는지(예측)를 사용합니다. 이 단계에서는 예측된 경로가 충돌로 이어질 수 있는 방식으로 서로 교차하는지 확인합니다.

그림 4. 충돌 예측 시스템의 작동 방식 (출처)

자율주행 차량의 경우, 충돌 확인 시스템은 자동차, 보행자, 자전거 이용자 등 주변 객체의 미래 궤적을 비교합니다. 예측된 두 경로가 겹치거나 위험할 정도로 가까워지면 시스템은 해당 상황을 잠재적인 차량 충돌로 표시합니다. 충돌 위험이 얼마나 긴급한지 파악하기 위해 시스템은 충돌까지 남은 시간(time-to-collision)이라는 값도 계산합니다.

충돌까지 남은 시간(Time-to-collision, TTC)은 빠르게 움직이는 환경에서 핵심적인 측정값입니다. 두 객체가 현재 속도와 방향을 유지할 경우 충돌하기까지 남은 시간을 추정합니다. TTC가 특정 임계값 아래로 떨어지면 시스템은 경고를 보내거나, 브레이크를 작동하거나, 계획된 경로를 조정할 수 있습니다.

충돌 예측의 실제 적용 사례#

충돌 예측은 교통 관리, 스마트 시티 인프라, 산업 자동화, 모바일 로보틱스 등 다양한 산업 분야에서 중요성이 커지고 있습니다. 최첨단 컴퓨터 비전 및 예측 모델이 계속 발전함에 따라 이러한 시스템은 움직임을 더욱 효과적으로 예측할 수 있게 되고 있습니다.

충돌 예측과 궤적 예측의 작동 방식을 더 잘 이해했으니, 이제 이러한 방법을 다양한 실제 환경에서 어떻게 활용할 수 있는지 보여 주는 흥미로운 연구 몇 가지를 살펴보겠습니다.

YOLO 기반 긴급 자율주행 차량의 충돌 예측#

혼잡하고 예측하기 어려운 환경에서 이동하는 것은 자율 시스템이 직면한 가장 어려운 과제 중 하나입니다. 특히 보행자가 뚜렷한 패턴을 따르지 않고 움직일 때 더욱 그렇습니다. 긴급 차량은 구조화된 도로, 차선 표시, 예측 가능한 보행자 행동에 의존하지 않고 인구 밀집 공공장소를 빠르게 통과해야 하므로 이러한 문제를 더 자주 겪습니다.

이러한 상황에서는 사고를 피하기 위해 사람들이 어디에 있는지, 그리고 앞으로 몇 초 동안 어떻게 움직일지 파악하는 것이 필수적입니다. 예를 들어, 최근 한 연구에서는 보행자가 많은 환경에서 운행하는 긴급 자율주행 차량(EAV)을 위해 완전한 충돌 예측 파이프라인을 구축하여 이 문제를 살펴보았습니다.

YOLO 기반 충돌 예측 파이프라인의 작동 방식#

이 방법론의 작동 방식을 간단히 살펴보겠습니다:

• YOLO를 사용한 보행자 감지: YOLO 기반 감지기가 각 카메라 프레임에서 보행자를 식별하고, 화면에 보이는 각 사람의 바운딩 박스를 출력합니다.
• ByteTrack을 사용한 움직임 추적: ByteTrack 알고리즘은 프레임 전반에서 이러한 감지 결과를 연결하여 각 보행자에게 일관된 ID를 부여하고, 시간에 따른 움직임을 보여 주는 이동 이력을 생성합니다.
• 실제 위치 추정: 역원근 매핑(IPM)은 2D 픽셀 좌표를 지면상의 대략적인 위치로 변환하여 시스템이 차량을 기준으로 실제 공간에서 보행자가 어디에 있는지 파악하도록 돕습니다.
• cGAN을 사용한 조감도 생성: 한 이미지 형식을 다른 형식으로 변환하는 AI 모델인 조건부 GAN이 장면을 조감도로 표현합니다. 이 하향식 레이아웃은 보행자 위치와 주변 환경을 더욱 쉽게 해석하도록 돕습니다.
• LSTM 모델을 사용한 궤적 예측: 각 보행자의 과거 위치와 이동 패턴을 사용하여 LSTM 모델이 앞으로 몇 초 동안 보행자가 어디로 이동할 가능성이 높은지 예측합니다.
• 충돌 원뿔을 사용한 효율적인 충돌 감지: 충돌 원뿔 기법으로 예측된 궤적을 비교하여 차량과 보행자의 경로가 교차할 가능성이 있는지 판단합니다.
• 신호를 통한 충돌 방지: 시스템이 충돌을 예측하면 최적의 순간에 경적이나 벨과 같은 청각 신호를 작동합니다. 보행자의 행동에 영향을 주고 속도를 높이거나 낮춰 안전한 곳으로 이동할 기회를 제공할 수 있도록 신호 시점을 정합니다.

엣지 비전과 YOLO를 활용한 도시 보행자 안전 확보#

마찬가지로 충돌 방지를 위한 또 다른 접근 방식은 차량을 넘어 인프라 자체에 주목합니다. 차량 내부 센서에 의존하는 대신, 이 방법은 횡단보도와 교차로에 설치된 스마트 카메라를 사용해 보행자와 차량의 움직임을 실시간으로 모니터링합니다. 이러한 장소에서는 상황을 예측하기 어려운 경우가 많습니다. 사람들이 갑자기 도로로 들어설 수 있고, 자전거 이용자가 차량 사이를 누빌 수 있으며, 운전자가 항상 속도를 줄이는 것도 아니므로 위험을 조기에 감지하는 것이 중요합니다.

흥미로운 한 연구에서는 교차로에서 차량과 보행자 간 위험을 직접 예측하도록 설계된 엣지 비전 장치인 NAVIBox라는 시스템을 통해 이 아이디어를 살펴보았습니다. 이 시스템은 Ultralytics YOLOv8 모델로 보행자와 차량을 감지하고, 경량 Centroid 추적기로 프레임 전반에서 이들을 추적합니다. 이를 통해 짧고 신뢰할 수 있는 이동 이력을 생성한 다음, 원근 변환을 적용해 비스듬한 CCTV 화면을 더 명확한 도로 조감도로 변환합니다.

이렇게 정교하게 보정된 궤적을 바탕으로 NAVIBox는 도로 이용자가 앞으로 몇 초 동안 어떻게 움직일지 추정하고 경로가 교차할 가능성이 있는지 확인합니다. 이를 교차 테스트라고도 합니다. 시스템이 위험한 상호작용을 감지하면 원격 서버나 네트워크 연결에 의존하지 않고 운전자용 디스플레이와 보행자용 스피커를 통해 즉시 경고를 보냅니다. 실제 도심에서 진행한 테스트에서 NAVIBox는 진정한 실시간 대응에 충분한 속도로 작동했으며 잠재적 충돌 상황을 정확히 식별할 수 있었습니다. 따라서 교통량이 많은 도심 교차로에서 실용적인 안전 도구로 활용할 수 있습니다.

그림 5. 차량과 보행자 간 충돌 위험 예측. (출처)

충돌 감지 및 예측의 장단점#

AI 기반 예측 충돌 시스템을 사용할 때 얻을 수 있는 몇 가지 이점은 다음과 같습니다:

• 상황 인식 향상: AI 시스템은 환경 내 객체의 움직임을 지속적으로 파악하여 대규모 군중 흐름, 교통 행태 또는 기계의 경로를 더 폭넓게 이해하도록 돕습니다.
• 장기 계획을 위한 데이터 기반 인사이트: AI 시스템은 감지 결과, 아슬아슬한 사고, 이동 패턴을 기록하여 도시 계획 담당자, 안전팀, 차량 운영자가 교차로를 재설계하고, 표지판을 개선하거나, 운영 정책을 다듬는 데 활용할 수 있는 분석 결과를 제공합니다.
• 비용 효율적인 위험 예방: 위험이 커지기 전에 감지함으로써 이러한 시스템은 비용이 많이 드는 사고, 보험 청구 또는 장비 수리를 피할 수 있도록 합니다.

충돌 예측 시스템은 여러 이점이 있지만 몇 가지 한계도 있습니다. 고려해야 할 과제는 다음과 같습니다.

• 센서 및 카메라 설치 위치의 제약: 카메라 위치나 각도가 적절하지 않으면 객체의 크기나 거리가 왜곡되어 깊이 추정과 궤적 예측의 신뢰도가 낮아질 수 있습니다.
• 가림 현상: 객체가 다른 객체 뒤에 일부 또는 완전히 가려질 수 있습니다. 이 경우 모델이 시각적 연속성을 잃기 때문에 객체 추적이 어려워집니다.
• 환경 조건: 낮은 조도, 강한 햇빛, 비, 안개 또는 낮은 카메라 화질은 모델이 장면을 명확하게 파악하는 능력을 저하시켜 정확도에 영향을 줄 수 있습니다.

핵심 요점#

충돌 예측은 두 가지 기능을 결합합니다. 컴퓨터 비전은 시스템이 현재 환경에서 어떤 일이 일어나고 있는지 이해하도록 하며, 궤적 예측은 다음에 일어날 가능성이 있는 일을 예상하도록 돕습니다.

이러한 강점을 결합하면 기계는 움직이는 객체를 실시간으로 감지하고, 앞으로 몇 초 동안 객체들이 어떻게 상호작용할지 예측할 수 있습니다. 컴퓨터 비전과 예측 기술이 계속 발전함에 따라 충돌 예측은 더 안전하고 신뢰할 수 있으며 확장 가능한 자율 시스템을 구축하는 데 핵심 요소가 될 것입니다.

AI에 대해 더 알아보려면 커뮤니티와 GitHub 저장소를 확인하세요. 솔루션 페이지에서 헬스케어 분야의 AI 및 제조 분야의 컴퓨터 비전과 같은 애플리케이션을 살펴보세요. 라이선스 옵션을 확인하고 지금 바로 구축을 시작하세요!