Tokenization

토큰화는 텍스트, 이미지 또는 오디오와 같은 원시 데이터 스트림을 토큰이라고 하는 더 작고 관리하기 쉬운 단위로 분할하는 알고리즘 프로세스입니다. 이러한 변환은 데이터 전처리 파이프라인에서 중요한 가교 역할을 하며, 비정형 입력을 인공지능 (AI) 시스템이 해석할 수 있는 수치 형식으로 변환합니다. 컴퓨터는 본질적으로 인간의 언어나 시각적 장면을 이해할 수 없으므로 계산을 수행하려면 수치 표현이 필요합니다. 데이터를 토큰으로 분할하면 엔지니어는 신경망이 이러한 단위를 의미적 의미를 포착하는 벡터 표현인 임베딩에 매핑할 수 있도록 합니다. 이 기본 단계가 없으면 머신 러닝 모델은 패턴을 식별하거나, 컨텍스트를 학습하거나, 최신 학습에 필요한 방대한 데이터셋을 처리할 수 없습니다.

토큰화와 토큰 비교#

두 용어는 딥 러닝 논의에서 함께 자주 언급되지만, 워크플로를 이해하려면 방법과 결과를 구분하는 것이 도움이 됩니다.

• **토큰화**는 프로세스 (동사)입니다. 데이터를 분할하는 데 사용되는 특정 규칙 또는 알고리즘 집합을 의미합니다. 텍스트의 경우 NLTK나 spaCy와 같은 라이브러리를 사용하여 한 단위가 끝나고 다른 단위가 시작되는 위치를 결정할 수 있습니다.
• **토큰**은 출력 (명사)입니다. 단일 단어, 서브워드, 문자 또는 픽셀 패치와 같이 프로세스에서 생성되는 개별 단위입니다.

다양한 도메인에서의 방법#

토큰화 전략은 데이터의 modality에 따라 크게 달라지며, 이는 파운데이션 모델이 세상을 인식하는 방식에 영향을 줍니다.

NLP에서의 텍스트 토큰화#

자연어 처리 (NLP)에서는 의미를 보존하면서 텍스트를 분할하는 것이 목표입니다. 초기 방법은 공백으로 단어를 구분하거나 불용어를 제거하는 것과 같은 단순한 기법에 의존했습니다. 그러나 최신 대규모 언어 모델 (LLMs)은 바이트 페어 인코딩 (BPE) 또는 WordPiece와 같은 더 정교한 서브워드 알고리즘을 사용합니다. 이러한 알고리즘은 가장 빈번하게 나타나는 문자 쌍을 반복적으로 병합하여, 모델이 희귀한 단어를 익숙한 하위 구성 요소로 분할해 처리할 수 있도록 합니다(예: "smartphones"는 "smart" + "phones"가 됩니다). 이 접근 방식은 어휘 크기와 복잡한 언어를 표현하는 능력 사이의 균형을 유지합니다.

컴퓨터 비전에서의 시각적 토큰화#

기존에는 컴퓨터 비전 (CV) 모델이 CNN과 같은 방식으로 슬라이딩 윈도우를 사용해 픽셀을 처리했습니다. 비전 Transformer (ViT)의 도입으로 이미지에 토큰화를 적용하는 새로운 패러다임이 열렸습니다. 이미지를 고정 크기의 패치(예: 16x16 픽셀)로 분할한 다음 평탄화하고 선형 투영합니다. 이러한 "시각적 토큰"을 사용하면 모델이 셀프 어텐션 메커니즘을 활용하여 이미지 전체의 전역적 관계를 학습할 수 있으며, 이는 Transformer가 문장을 처리하는 방식과 유사합니다.

실제 적용 사례#

토큰화는 오늘날 프로덕션 환경에서 사용되는 많은 AI 애플리케이션을 뒷받침하는 보이지 않는 엔진입니다.

1. 개방형 어휘 객체 감지: YOLO-World와 같은 고급 아키텍처는 멀티모달 모델 접근 방식을 사용합니다. 사용자가 "빨간 모자를 쓴 사람"과 같은 프롬프트를 입력하면 시스템은 이 텍스트를 토큰화하고 시각 데이터와 동일한 특성 공간에 매핑합니다. 이를 통해 제로샷 학습이 가능해지며, 텍스트 토큰과 시각적 특성을 일치시켜 모델이 명시적으로 학습하지 않은 객체도 감지할 수 있습니다.

2. 생성형 아트 및 디자인: 텍스트-이미지 생성에서는 사용자의 프롬프트를 토큰화하여 디퓨전 프로세스를 안내합니다. 모델은 이러한 토큰을 사용하여 생성을 조건화하며, 토큰화 단계에서 추출된 의미적 개념(예: "일몰", "해변")에 결과 이미지가 부합하도록 합니다.

Python 예제: 토큰 기반 감지#

다음 예제는 ultralytics 패키지가 YOLO-World 워크플로 내에서 텍스트 토큰화를 암묵적으로 사용하는 방식을 보여줍니다. 사용자 지정 클래스를 정의하면 모델은 이러한 문자열을 토큰화하여 특정 객체를 동적으로 검색합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

모델 성능에 미치는 영향#

토큰화 전략의 선택은 정확도와 계산 효율성에 직접적인 영향을 미칩니다. 비효율적인 토큰화는 NLP에서 "어휘 외" 오류를 일으키거나 이미지 분석에서 세밀한 정보를 손실할 수 있습니다. PyTorch 및 TensorFlow와 같은 프레임워크는 이 단계를 최적화할 수 있는 유연한 도구를 제공합니다. 최신 YOLO26과 같은 아키텍처가 발전함에 따라 효율적인 데이터 처리를 통해 강력한 클라우드 GPU부터 엣지 디바이스까지 다양한 하드웨어에서 모델을 실시간 추론으로 실행할 수 있습니다. 이러한 복잡한 데이터 워크플로를 관리하는 팀은 데이터셋 주석, 모델 학습 및 배포를 간소화하기 위해 Ultralytics Platform에 의존하는 경우가 많습니다.