Shortcut Learning

지름길 학습은 모델이 학습 데이터의 레이블을 예측하는 간단한 단서를 이용해 학습 작업을 해결하지만, 그 단서가 모델이 학습해야 할 개념과는 무관한 경우에 발생합니다. 단서를 공유하는 테스트 세트에서는 점수가 높지만 단서가 사라지면 실패합니다. Robert Geirhos와 동료들은 2020년 Nature Machine Intelligence 관점 논문 심층 신경망의 지름길 학습에서 이 문제를 설명했습니다. 이들은 지름길을 표준 벤치마크에서는 잘 작동하지만 실제 사용과 같은 더 까다로운 조건으로 전이되지 않는 의사결정 규칙으로 정의했습니다. 대표적인 비유는 산수 문제를 푸는 듯 보였지만 조련사의 몸짓을 읽고 있었던 말, Clever Hans입니다.

공개된 모델의 지름길#

다양한 발표 모델에서 단축 학습이 발견되었습니다.

• 의료 영상의 병원별 특징: John Zech와 동료들의 2018년 연구에서 여러 병원 시스템의 흉부 X선으로 학습한 폐렴 분류기는 이미지가 어느 병원에서 왔는지 식별할 수 있었습니다. 병원마다 질병 발생률이 달랐기 때문에 출처 정보는 진단 예측에도 도움이 됐습니다. 학습 데이터에 없던 병원에서는 성능이 대개 낮았으며, 이는 방사선학 분야 AI에서 반복적으로 발생하는 위험입니다.
• COVID-19 방사선 사진: Alex DeGrave와 동료들이 2021년에 수행한 분석에 따르면 COVID-19 탐지기는 폐 소견 대신 텍스트 표식, 환자 자세, 데이터 출처 간 차이에 의존했으며, 새로운 병원의 데이터에서는 정확도가 크게 낮아졌습니다.
• 카메라 트랩 사진의 배경: Sara Beery와 동료들의 2018년 연구 "미지의 환경에서의 인식"은 이미지 분류 모델이 동물을 촬영 장소 및 배경과 연결해 새로운 카메라 설치 지점에서 정확도가 떨어진다는 점을 보여주었습니다. 이는 야생동물 보전 분야 AI의 알려진 문제입니다. 논문은 해변의 소를 인식하지 못한 상용 이미지 분류기의 사례로 시작하는 반면, 알프스 목초지의 소는 올바르게 분류되었습니다.
• 형태보다 질감: Geirhos와 동료들이 2019년에 보인 것처럼 ImageNet으로 학습된 합성곱 신경망은 고양이 형태와 코끼리 피부 질감을 가진 이미지를 코끼리로 분류했습니다.

표준 검증에서 놓치는 이유#

무작위로 학습 및 검증 데이터를 분할하면 지름길이 양쪽에 모두 복사되므로 검증 데이터의 정확도는 매우 높아 보입니다. 데이터가 다른 방식으로 수집될 때, 즉 새로운 장소, 카메라, 병원, 계절 또는 기간의 데이터에서만 실패가 드러납니다.

이 점이 지름길 학습과 관련 문제를 구분합니다:

• 과적합: 학습 데이터에만 있는 노이즈를 기억하는 현상으로, 학습 점수와 검증 점수의 차이로 드러납니다. 지름길은 같은 출처에서 가져온 검증 세트에는 완벽하게 일반화될 수 있습니다.
• 데이터 누출: 예측 시점에는 존재하지 않을 정보가 특성이나 분할에 섞이는 현상입니다. 데이터 누출은 지름길이 데이터세트에 들어오는 구체적이고 대개 우발적인 한 가지 방식입니다.
• 데이터세트 편향: 모든 양성 예제가 한 스캐너에서 나온 경우처럼 수집된 데이터가 한쪽으로 치우쳐 지름길이 이용할 단서를 제공하는 현상입니다.

scikit-learn 코드 몇 줄로 약한 실제 신호와 학습 데이터에서 레이블을 거의 완벽하게 따라가는 지름길, 두 특성을 사용한 로지스틱 회귀의 실패를 재현할 수 있습니다.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

지름길을 섞으면 정확도가 1.00에서 0.52로 떨어집니다. 실제 신호만으로도 정확도 약 70%를 얻을 수 있지만, 모델은 지름길에 신호보다 약 18배 큰 계수를 부여했으므로 더 어려운 단서에서는 거의 학습하지 않았습니다.

단축 학습 찾기 및 제거하기#

가장 신뢰할 수 있는 테스트는 무작위 이미지 대신 학습에서 제외된 장소, 카메라 또는 기간 전체의 데이터를 사용해 지름길이 따라갈 수 없는 데이터를 평가하는 것입니다. 해당 점수와 분포 내 점수 사이의 큰 차이는 배경, 조명 또는 센서 단서를 나타냅니다. 데이터 탐색은 학습 전에 후보 단서를 찾아냅니다. Ultralytics Platform의 클러스터링 패널은 시각적으로 유사한 이미지를 2D 지도에 가깝게 배치하고 클래스, 분할 또는 이미지 너비와 높이에 따라 색상을 지정합니다. 따라서 이미지가 한 카메라에서 왔기 때문에 특정 클래스가 별도의 군집을 이루면 YOLO26 모델이 객체 대신 카메라를 학습하기 전에 이를 알아볼 수 있습니다.

반사실적 편집은 의심되는 단서를 직접 테스트합니다. 배경을 바꾸거나, 오버레이를 제거하거나, 표식을 잘라내도 올바른 예측은 그대로 유지되지만 지름길에 의존한 예측은 바뀝니다. 설명 가능한 AI(XAI)의 현저성 맵과 같은 귀속 방법은 예측을 이끄는 픽셀을 보여줍니다. COVID-19 연구에서는 폐가 아니라 이미지 테두리와 텍스트가 강조되었습니다.

지름길을 없애려면 대개 데이터를 바꿔야 합니다. 모든 트레이와 배경에서 촬영한 불량 부품처럼 단서와 레이블이 일치하지 않는 사례를 수집하면 상관관계가 깨집니다. 색상, 크기, 배치를 바꾸는 데이터 증강은 이러한 속성과 연결된 단서를 약화시키며, 도메인 무작위화는 텍스처, 조명, 배경을 무작위로 바꿔 합성 이미지에 같은 효과를 냅니다. 지름길을 포함하는 그룹을 알고 있다면 그룹 분포 강건 최적화는 평균 손실 대신 성능이 가장 낮은 그룹의 손실을 최소화합니다.