Token

현대적 인공지능의 정교한 아키텍처에서 토큰은 모델이 처리하는 정보의 근본적이고 원자적인 단위를 나타냅니다. 알고리즘이 문장을 해석하거나, 소프트웨어 스크립트를 분석하거나, 이미지 속 객체를 인식하기 전에 원시 입력 데이터는 이러한 개별적이고 표준화된 요소로 분할되어야 합니다. 이 분할 과정은 데이터 전처리의 핵심 단계로, 비정형 입력을 신경망이 효율적으로 연산할 수 있는 수치 형식으로 변환합니다. 인간은 언어를 연속적인 생각의 흐름이나 시각적 장치로 인식하지만, 연산 모델은 패턴 인식 및 의미 분석 같은 작업을 수행하기 위해 이러한 세분화된 구성 요소를 필요로 합니다.

토큰 vs. 토큰화#

머신러닝의 메커니즘을 이해하려면 데이터 단위와 이를 생성하는 데 사용되는 프로세스를 구분하는 것이 필수적입니다. 이러한 구분을 통해 데이터 파이프라인을 설계하고 Ultralytics Platform에서 학습 자료를 준비할 때 혼란을 방지할 수 있습니다.

• 토큰화: 이는 원시 데이터를 조각으로 나누는 알고리즘적 프로세스(동사)입니다. 텍스트의 경우, Natural Language Toolkit (NLTK) 같은 라이브러리를 사용하여 한 단위가 끝나고 다른 단위가 시작되는 지점을 결정할 수 있습니다.
• 토큰: 이는 결과 출력(명사)입니다. 단어, 하위 단어 또는 이미지 패치와 같은 실제 데이터 조각으로, 최종적으로 임베딩이라고 하는 수치 벡터에 매핑됩니다.

다양한 AI 영역에서의 토큰#

토큰의 특성은 처리되는 데이터의 양식, 특히 텍스트 도메인과 시각적 도메인 간의 차이에 따라 크게 달라집니다.

NLP에서의 텍스트 토큰#

자연어 처리 (NLP) 분야에서 토큰은 대규모 언어 모델 (LLM)의 입력입니다. 초기 접근 방식은 전체 단어에 엄격하게 매핑했지만, 현대 아키텍처는 바이트 페어 인코딩 (BPE) 같은 서브워드 알고리즘을 활용합니다. 이 방법을 사용하면 모델이 희귀 단어를 의미 있는 음절로 나누어 처리할 수 있으며, 어휘 크기와 의미 커버리지 사이의 균형을 유지할 수 있습니다. 예를 들어, "unhappiness"라는 단어는 "un", "happi", "ness"로 토큰화될 수 있습니다.

컴퓨터 비전에서의 시각적 토큰#

토큰화 개념은 비전 트랜스포머 (ViT)의 등장과 함께 컴퓨터 비전 분야로 확장되었습니다. 슬라이딩 윈도우 방식으로 픽셀을 처리하는 전통적인 컨볼루션 네트워크와 달리, 트랜스포머는 이미지를 고정 크기 패치(예: 16x16 픽셀)의 그리드로 분할합니다. 각 패치는 평탄화되어 고유한 시각적 토큰으로 취급됩니다. 이 접근 방식을 통해 모델은 Google Research가 원래 텍스트에 트랜스포머를 적용한 방식과 유사하게 자기 주의(self-attention) 메커니즘을 사용하여 이미지의 먼 부분 간의 관계를 이해할 수 있습니다.

실제 애플리케이션 사례#

토큰은 수많은 애플리케이션에서 인간의 데이터와 기계 지능 사이의 가교 역할을 합니다.

1. 개방형 어휘 객체 감지: YOLO-World 같은 고급 모델은 텍스트 토큰이 시각적 특징과 상호 작용하는 멀티모달 접근 방식을 사용합니다. 사용자는 사용자 지정 텍스트 프롬프트(예: "blue helmet")를 입력할 수 있으며, 모델은 이를 토큰화하여 이미지 내의 객체와 매칭합니다. 이를 통해 제로샷 학습이 가능해져 모델이 명시적으로 학습되지 않은 객체도 감지할 수 있습니다.

2. 생성형 AI: 챗봇 같은 텍스트 생성 시스템에서 AI는 시퀀스의 다음 토큰 확률을 예측하여 작동합니다. 가장 가능성이 높은 후속 토큰을 반복적으로 선택함으로써 시스템은 일관된 문장과 단락을 구성하며, 자동화된 고객 지원부터 가상 비서에 이르기까지 다양한 도구를 구동합니다.

Python 예제: 탐지를 위한 텍스트 토큰 사용#

다음 코드 조각은 ultralytics 패키지가 텍스트 토큰을 사용하여 객체 감지를 안내하는 방법을 보여줍니다. 고속의 고정 클래스 추론에는 최첨단 YOLO26이 권장되지만, YOLO-World 아키텍처는 사용자가 런타임에 클래스를 텍스트 토큰으로 정의할 수 있는 고유한 기능을 제공합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Understanding tokens is fundamental to navigating the landscape of generative AI and advanced analytics. Whether enabling a chatbot to converse fluently or helping a vision system distinguish between subtle object classes, tokens remain the essential currency of machine intelligence used by frameworks like PyTorch and TensorFlow.