Jagged Intelligence

들쭉날쭉한 지능은 현대 AI 시스템의 불균등한 능력 프로필을 가리킵니다. 같은 모델이 어려운 작업에서는 전문가 수준의 성능을 내면서도 대부분의 사람이 쉽게 해내는 간단한 작업에는 실패할 수 있습니다. Andrej Karpathy는 어려운 수학 문제를 풀면서도 9.11이 9.9보다 크다고 주장하는 대규모 언어 모델(LLM)을 가리켜 2024년에 이 용어를 만들었습니다. "strawberry"에서 문자 "r"의 개수를 잘못 세는 것도 또 하나의 유명한 사례입니다. 여러 작업에 걸쳐 모델의 역량을 그래프로 나타내면 뾰족한 봉우리와 깊은 골짜기가 있는 들쭉날쭉한 선이 되며, 봉우리만으로 골짜기의 위치를 예측하기 어렵습니다.

역량이 고르지 않은 이유#

모델은 학습 데이터가 풍부하고 내부 표현이 작업에 적합한 영역에서 가장 강력하며, 이 두 조건은 작업마다 크게 달라집니다. 표현 방식은 유명한 텍스트 관련 실패 사례 상당수를 설명합니다. 모델이 텍스트를 보기 전에 토큰화 과정에서 텍스트를 서브워드 토큰으로 나눕니다. GPT-4o를 위한 OpenAI 토크나이저를 보면 이를 확인할 수 있습니다:

import tiktoken

# o200k_base는 OpenAI의 GPT-4o가 사용하는 토크나이저입니다
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

단어 " strawberry"는 단일 토큰으로 입력되므로 모델은 r이 세 개라는 사실을 볼 수 없고 학습 텍스트에서 철자를 떠올려야 합니다. 숫자는 "9", ".", "11"과 "9", ".", "9"로 입력됩니다. 이러한 숫자 쌍은 많은 텍스트에서 버전 번호, 날짜 또는 책의 장을 뜻하며, 그런 맥락에서는 9.11이 9.9 다음에 오고 11이 9보다 큽니다. 모델은 숫자 비교를 수행하는 대신 이러한 패턴에 따라 답합니다.

나머지 상당 부분은 데이터 범위로 설명할 수 있습니다. 학습 데이터에 자주 등장하는 기술은 신뢰할 수 있게 발휘되지만, 사람에게는 아무리 단순해 보여도 드문 형식, 특이한 표현, 예외 사례는 약한 상태로 남습니다. 비전 모델에서도 같은 패턴이 나타납니다. 객체 탐지 모델은 밝은 낮에 촬영한 흔하고 큰 객체를 잘 탐지하면서도 작은 객체, 드문 클래스, 특이한 시점에서는 성능이 크게 낮아질 수 있습니다. 사람에게는 이 모든 사례가 똑같이 쉬워 보여도 그렇습니다.

들쭉날쭉한 역량은 Moravec의 역설과 다릅니다. Hans Moravec은 1988년에 체스처럼 사람에게 어려운 작업은 컴퓨터에 쉽지만, 지각과 움직임처럼 사람이 힘들이지 않고 하는 기술은 컴퓨터에 어렵다고 관찰했습니다. 들쭉날쭉한 역량은 어느 방향으로도 인간의 난이도를 따르지 않으므로, 무엇이 "쉽다"는 직관은 모델이 실패할 지점을 예측하는 데 적절하지 않습니다.

실제 업무에서의 들쭉날쭉한 프런티어#

같은 불균등성은 사람들이 AI와 협업하는 방식에도 영향을 줍니다. 2023년 보스턴 컨설팅 그룹 컨설턴트 758명을 대상으로 한 현장 실험에서 Harvard Business School 등의 연구자들은 들쭉날쭉한 기술 프런티어를 설명했습니다. 프런티어 안에 있는 18개 작업에서 GPT-4를 사용한 컨설턴트는 작업을 12.2% 더 많이 완료하고, 25.1% 더 빠르게 일했으며, 품질 평가가 40% 이상 높은 결과물을 만들었습니다. 프런티어 바로 바깥에 있는 작업에서는 AI를 사용한 컨설턴트가 AI 없이 일한 사람보다 정답에 도달할 가능성이 19%포인트 낮았습니다. 들쭉날쭉한 지능은 모델의 불균등한 역량 프로필을 뜻하고, 들쭉날쭉한 프런티어는 AI가 도움을 주는 작업과 조용히 성능을 악화시키는 작업 사이의 경계를 뜻합니다.

들쭉날쭉한 특성은 인공 일반 지능(AGI)에 대한 주장도 복잡하게 만듭니다. 광범위한 벤치마크 데이터세트의 평균 점수는 꾸준히 오르는 동안 특정 약점은 그대로 남을 수 있으므로, 대표적인 평균값만으로는 모델이 특정 작업에서 얼마나 신뢰할 만한지 알기 어렵습니다.

들쭉날쭉한 역량 프로필 측정#

평가 결과를 하나의 숫자로 보고하는 대신 세부 범주로 나누면 불균등한 역량이 드러납니다. 탐지기의 경우 첫 번째 구분 기준은 클래스입니다. Ultralytics YOLO26의 검증 모드는 전체 평균 정밀도(mAP)와 검증 레이블의 각 클래스별 mAP를 보고하며, 클래스별 지표를 정렬하면 약점이 먼저 표시됩니다:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

COCO의 이미지 5,000장과 같은 전체 검증 세트에서는 같은 분해 결과로 더 많은 데이터가 필요하거나 레이블을 자세히 살펴봐야 하는 클래스를 확인할 수 있습니다. 클래스는 첫 번째 분류 기준일 뿐입니다. 조명, 카메라 각도, 움직임, 가림 현상에도 각각 약점이 숨어 있을 수 있으며, 이러한 조건에서 촬영한 새 이미지로 모델을 테스트하면 약점이 드러납니다:

배포 후에는 입력이 바뀌면서 프로필도 계속 변합니다. 데이터 드리프트를 추적하면 프로덕션 이미지가 검증 세트에서 다루지 않았던 영역에 들어오기 시작하는 시점을 파악할 수 있습니다.