Autonomous Vehicles

자율주행 차량(AV)은 흔히 무인 주행 차량이라고도 하며, 센서와 인공 지능(AI)을 사용해 주변 환경을 인식하고, 다른 도로 이용자의 행동을 예측하고, 경로를 계획하며, 사람의 운전자 없이 조향, 가속, 제동을 수행합니다. 이 용어는 사람이 감독하는 동안 고속도로에서 차선을 유지하는 자동차부터 운전석에 사람이 없는 로보택시까지 다양한 수준을 포함합니다. 무인 운송 서비스는 이미 상용화되었습니다. 2020년 피닉스에서 완전 무인 승차 서비스를 일반에 공개한 Waymo는 미국 대도시권 10곳 이상에서 유료 승객을 운송하고 있으며, Baidu의 Apollo Go는 우한과 같은 중국 도시에서 무인 로보택시를 운행합니다. 일반 소비자용 차량은 대부분 사람의 지속적인 감독이 필요한 운전자 보조 기능을 제공합니다. 이는 여전히 자동차 분야의 AI에서 가장 흔한 형태입니다.

자율주행 차량의 작동 방식#

자율주행 시스템은 초당 여러 번 동일한 파이프라인을 반복합니다.

• 센싱: 카메라는 차선 표시, 표지판, 신호등을 읽고, 라이다는 레이저 펄스로 정확한 3D 거리를 측정하며, 레이더는 거리와 속도를 측정하고 안개나 비가 오는 환경에서도 작동합니다. GNSS, 관성 센서, 휠 오도메트리는 차량 자체의 움직임을 추적합니다.
• 인식: 신경망은 자동차, 자전거 이용자, 보행자를 탐지하고 분류하며 추적하고, 차선과 주행 가능 영역을 찾고 거리를 추정합니다.
• 예측: 시스템은 향후 몇 초 동안 각 도로 이용자가 어디로 이동할지 예측합니다. 이때 확률을 포함한 여러 가능한 궤적으로 예측하는 경우가 많습니다.
• 계획: 플래너는 진행을 가능하게 하고 교통 규칙을 준수하며 예측된 모든 궤적과 안전 거리를 유지하는 경로와 속도를 선택합니다.
• 제어: 저수준 컨트롤러는 계획을 조향, 스로틀, 브레이크 명령으로 변환합니다.

어떤 센서도 모든 조건에서 작동하지는 않으므로 센서 융합으로 여러 센서의 정보를 결합합니다. 인식에는 객체 탐지, 도로·인도·식생의 시맨틱 세그멘테이션, 라이다 포인트 클라우드의 3D 객체 탐지, 다중 객체 추적이 사용됩니다. 카메라만 사용하는 시스템은 깊이 추정과 스테레오 비전으로 거리를 추정합니다. 경로 추적 컨트롤러는 조향 및 가속 한계 내에서 계획된 궤적을 따라가기 위해 모델 예측 제어를 사용하는 경우가 많습니다. KITTI와 Argoverse 같은 공개 데이터셋은 이러한 모델의 학습과 벤치마킹에 사용할 레이블이 지정된 주행 데이터를 제공합니다.

코드에서 도로 이용자 추적하기#

예측에는 도로 이용자 각각의 움직임이 필요하므로, 인식 시스템은 안정적인 ID를 유지하면서 프레임마다 모든 객체를 추적해야 합니다. 추적 모드의 Ultralytics YOLO26은 각 탐지 박스에 지속적으로 유지되는 ID를 부여해 이를 수행합니다. 이 예제는 사람들이 걷는 비디오에서 보행자를 추적합니다.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Track pedestrians (COCO class 0) across video frames, keeping one ID per person
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
results = model.track(source=video, classes=[0], stream=True)

ids_seen = set()
for result in results:
    if result.boxes.is_track:
        ids_seen.update(result.boxes.id.int().tolist())

print(f"Unique pedestrians tracked: {len(ids_seen)}")

이 코드는 클립에서 ID를 부여받은 서로 다른 사람의 수를 출력합니다. 각 ID는 프레임 간에 한 사람의 박스를 연결하며, 프레임마다 달라지는 박스 위치가 예측 모듈이 외삽하는 움직임 이력입니다.

모듈식 주행과 엔드투엔드 주행#

기존 AV 소프트웨어는 인식, 예측, 계획, 제어를 각각 별도로 테스트하는 구성 요소로 나눈 모듈식 구조입니다. 각 구성 요소는 추적된 객체 목록과 같은 직접 설계한 인터페이스로 연결됩니다. 엔드투엔드 시스템은 이 파이프라인의 대부분을 센서 데이터에서 궤적을 생성하는 하나의 신경망으로 대체하며, 대량의 사람 주행 데이터로 행동 복제를 학습합니다. Tesla는 2024년에 버전 12를 출시하면서 FSD (Supervised) 운전자 보조 소프트웨어를 엔드투엔드 네트워크로 전환했습니다. 인식, 예측, 계획을 하나의 계획 최적화 네트워크로 연결한 연구 모델 UniAD는 CVPR 2023 최우수 논문상을 받았습니다. 실제 프로덕션 스택은 두 방식의 중간에 있는 경우가 많습니다. 학습된 모듈을 공동으로 학습하되 엔지니어가 테스트할 수 있는 해석 가능한 출력을 제공하는 방식입니다.

희귀한 사건은 필요할 때마다 수집할 수 없으므로 시뮬레이션이 검증의 상당 부분을 담당합니다. 2026년 2월에 발표된 Waymo World Model과 같이 차량 데이터로 학습된 월드 모델은 차량이 한 번도 기록하지 않은 시나리오의 현실적인 카메라 및 라이다 데이터를 생성합니다. 시뮬레이션에서의 강화 학습은 사람의 주행 데이터에 드물게 나타나는 상황을 플래너가 처리하도록 돕습니다.

주행 자동화 단계#

2021년에 ISO와 함께 개정된 SAE J3016 표준은 주행 자동화의 6단계를 정의합니다. 0~2단계는 운전자 지원 기능입니다. 발이 페달에서 떨어져 있거나 손이 운전대에서 떨어져 있더라도 사람이 직접 운전하며, 항상 주변을 감독해야 합니다. 3~5단계는 운전 작업을 자체적으로 수행하는 자동 주행 시스템입니다. 최소한 시스템이 설계된 도로, 속도, 조건으로 이루어진 운행 설계 영역 내에서는 자체적으로 주행합니다.

GM Super Cruise와 같은 핸즈프리 고속도로 시스템은 운전자가 계속 도로를 주시해야 하므로 2단계입니다. Mercedes-Benz Drive Pilot은 독일, 캘리포니아, 네바다의 일부 고속도로에서 승인된 3단계 시스템입니다. 운전자는 시선을 돌릴 수 있지만 시스템의 요청이 있으면 운전을 넘겨받아야 합니다. Waymo의 로보택시는 지도화된 서비스 구역 내에서 운전자가 필요 없는 4단계이며, 사람이 운전할 수 있는 모든 곳에서 주행할 수 있는 5단계 차량은 아직 없습니다.

실제 적용 사례#

• 로보택시: Waymo, Baidu Apollo Go 등은 지정된 서비스 구역에서 차내 안전 운전자 없이 승객을 운송하며, 원격 직원이 차량의 문의에 답변할 수 있도록 지원합니다.
• 트럭 운송: Aurora는 장거리의 예측 가능한 고속도로 주행이 자동화에 적합한 구간에서 2025년 댈러스와 휴스턴 사이의 무인 트럭으로 고객 화물 운송을 시작했습니다.
• 운전자 보조: 어댑티브 크루즈 컨트롤, 차로 중앙 유지, 자동 긴급 제동은 수백만 대의 일반 소비자용 차량에서 동일한 종류의 인식 모델을 사용합니다. 운전자의 주의 상태를 확인하는 운전자 모니터링 카메라를 함께 사용하는 경우도 많습니다.
• 산업용 차량: 광산의 자율주행 운반 트럭, 야드 트랙터, 창고 지게차는 경로와 교통이 통제되는 전용 시설에서 운행됩니다.

자율주행 차량과 관련 용어 비교#

• 첨단 운전자 보조 시스템(ADAS): 운전자를 돕는 0~2단계 기능으로, 운전은 여전히 운전자의 책임입니다. 엄밀한 의미의 AV는 주행 작업 전체를 자체적으로 수행합니다.
• 커넥티드 차량(V2X): 교통 신호와 같은 인프라 및 다른 차량과 데이터를 주고받는 차량입니다. 자동화되지 않은 차량도 연결될 수 있으며, 연결 기능은 AV가 자체 센서의 범위를 넘어 주변을 파악하도록 지원할 수 있습니다.
• 원격 지원과 원격 운전: SAE의 2021년 개정판은 두 개념을 구분합니다. 원격 지원 담당자는 무인 차량에 멈춰 있는 트럭을 추월해도 된다는 확인과 같은 조언을 제공하지만, 차량은 계속 자체적으로 주행합니다. 원격 운전자는 멀리 떨어진 곳에서 차량을 직접 제어합니다.
• 물리적 AI와 로보틱스: AV는 공공 도로에 특화된 이동 로봇이자 물리적 AI의 최대 상용 배포 사례입니다. AV의 인식 및 계획 방법은 창고 로봇, 드론, 휴머노이드와도 공유됩니다.