Token

현대 인공지능의 정교한 아키텍처에서 토큰은 모델이 처리하는 정보의 기본적이고 원자적인 단위를 의미합니다. 알고리즘이 문장을 해석하거나 소프트웨어 스크립트를 분석하거나 이미지에서 객체를 인식하려면 먼저 원시 입력 데이터를 이러한 개별적이고 표준화된 요소로 분해해야 합니다. 이러한 세분화는 데이터 전처리의 핵심 단계로, 구조화되지 않은 입력을 신경망이 효율적으로 계산할 수 있는 수치 형식으로 변환합니다. 사람은 언어를 연속적인 사고의 흐름으로, 이미지를 끊김 없는 시각적 장면으로 인식하지만, 계산 모델은 패턴 인식과 의미 분석 같은 연산을 수행하기 위해 이러한 세밀한 구성 요소가 필요합니다.

토큰과 토큰화#

머신러닝의 작동 원리를 이해하려면 데이터 단위와 이를 생성하는 데 사용되는 프로세스를 구분하는 것이 중요합니다. 이러한 차이를 이해하면 데이터 파이프라인을 설계하고 Ultralytics Platform에서 학습 자료를 준비할 때 혼동을 방지할 수 있습니다.

• 토큰화: 원시 데이터를 여러 조각으로 나누는 알고리즘 프로세스(동사)입니다. 텍스트의 경우 자연어 툴킷 (NLTK)과 같은 라이브러리를 사용하여 한 단위가 끝나고 다른 단위가 시작되는 지점을 판단할 수 있습니다.
• 토큰: 결과로 생성되는 출력(명사)입니다. 이는 단어, 서브워드 또는 이미지 패치와 같은 실제 데이터 조각으로, 최종적으로 임베딩이라고 하는 수치 벡터에 매핑됩니다.

다양한 AI 도메인의 토큰#

토큰의 특성은 처리되는 데이터의 모달리티에 따라 크게 달라지며, 특히 텍스트 도메인과 비주얼 도메인 간에 차이가 큽니다.

NLP의 텍스트 토큰#

자연어 처리 (NLP) 분야에서 토큰은 대규모 언어 모델 (LLM)의 입력입니다. 초기 접근 방식은 엄격하게 전체 단어에 매핑했지만, 최신 아키텍처는 바이트 페어 인코딩 (BPE)과 같은 서브워드 알고리즘을 활용합니다. 이 방법을 사용하면 모델이 단어를 의미 있는 음절로 분해하여 희귀 단어를 처리할 수 있으며, 어휘 크기와 의미적 범위 사이의 균형을 맞출 수 있습니다. 예를 들어 "unhappiness"라는 단어는 "un", "happi", "ness"로 토큰화될 수 있습니다.

컴퓨터 비전의 비주얼 토큰#

토큰화 개념은 Vision Transformer (ViT)의 등장과 함께 컴퓨터 비전으로 확장되었습니다. 슬라이딩 윈도우에서 픽셀을 처리하는 기존 컨볼루션 네트워크와 달리, Transformer는 이미지를 고정 크기 패치의 격자(예: 16x16 픽셀)로 나눕니다. 각 패치는 평탄화되어 독립적인 비주얼 토큰으로 처리됩니다. 이 접근 방식을 사용하면 모델이 셀프 어텐션 메커니즘을 활용하여 이미지에서 멀리 떨어진 부분 간의 관계를 파악할 수 있으며, 이는 Google Research가 처음 텍스트에 Transformer를 적용했던 방식과 유사합니다.

실제 적용 사례#

토큰은 수많은 애플리케이션에서 인간의 데이터와 머신 인텔리전스를 연결하는 다리 역할을 합니다.

1. 오픈 보캐뷸러리 객체 탐지: YOLO-World와 같은 고급 모델은 텍스트 토큰이 시각적 특징과 상호작용하는 멀티모달 접근 방식을 사용합니다. 사용자는 사용자 지정 텍스트 프롬프트(예: "blue helmet")를 입력할 수 있으며, 모델은 이를 토큰화하고 이미지의 객체와 대조합니다. 이를 통해 제로샷 학습이 가능해지며, 모델이 명시적으로 학습하지 않은 객체도 탐지할 수 있습니다.

2. 생성형 AI: 챗봇과 같은 텍스트 생성 시스템에서 AI는 시퀀스에서 다음 토큰이 될 확률을 예측하는 방식으로 작동합니다. 시스템은 다음에 올 가능성이 가장 높은 토큰을 반복적으로 선택하여 일관성 있는 문장과 문단을 구성하며, 자동화된 고객 지원부터 가상 어시스턴트에 이르는 다양한 도구를 구동합니다.

Python 예제: 탐지를 위한 텍스트 토큰 사용#

다음 코드 스니펫은 ultralytics 패키지가 텍스트 토큰을 사용하여 객체 탐지를 유도하는 방법을 보여줍니다. 최신 YOLO26은 고속의 고정 클래스 추론에 권장되지만, YOLO-World 아키텍처는 런타임에 사용자가 클래스를 텍스트 토큰으로 정의할 수 있도록 한다는 점에서 독특합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

토큰을 이해하는 것은 생성형 AI와 고급 분석의 세계를 탐색하는 데 기본이 됩니다. 챗봇이 유창하게 대화하도록 하거나 비전 시스템이 서로 미묘하게 다른 객체 클래스를 구분하도록 지원하는 경우에도, 토큰은 PyTorch와 TensorFlow 같은 프레임워크에서 사용하는 머신 인텔리전스의 핵심 자원으로 남아 있습니다.