토큰화

토큰화는 텍스트, 코드, 이미지 등의 원시 데이터 스트림을 토큰이라는 더 작은 토큰으로 알려진 더 작은 개별 단위로 변환하는 기본적인 프로세스입니다. 이 변환은 데이터 전처리 파이프라인에서 중요한 가교 역할을 합니다. 데이터 전처리 파이프라인에서 중요한 가교 역할을 합니다. 비정형 인간 정보를 수치화된 형식으로 변환하는 중요한 가교 역할을 합니다. 인공 지능(AI) 시스템이 해석할 수 있는 수치 형식으로 변환합니다. 토큰화는 복잡한 데이터를 관리 가능한 조각으로 분해함으로써 다음을 가능하게 합니다. 머신러닝 모델이 패턴을 식별하고 의미 관계를 학습하고 정교한 추론 작업을 수행할 수 있습니다. 이 초기 단계가 없다면 현대 기술을 구동하는 신경망은 학습에 필요한 방대한 데이터 세트를 처리할 수 없습니다.

토큰화 대 토큰

이 용어는 종종 비슷하게 사용되지만, 방법과 결과를 구분하는 것이 중요합니다.

• 토큰화는 데이터에 적용되는 작업 또는 알고리즘입니다. 여기에는 문자열을 분할하거나 이미지를 분할하기 위한 특정 규칙 문자열을 분할하거나 이미지를 분할하기 위한 특정 규칙을 포함합니다. spaCy나 NLTK와 같은 도구는 텍스트에 대한 이 프로세스를 용이하게 합니다.
• 토큰은 프로세스에서 생성되는 출력 단위입니다. 이러한 단위의 특성에 대한 자세한 내용은 단위의 특성에 대한 자세한 내용은 토큰 용어집 페이지를 참조하세요.

AI에서 토큰화가 작동하는 방식

토큰화의 적용은 처리되는 데이터의 유형에 따라 크게 다르지만 임베딩생성의 궁극적인 목표인 데이터 벡터 데이터의 벡터 표현이라는 궁극적인 목표는 동일하게 유지됩니다.

NLP의 텍스트 토큰화

In 자연어 처리(NLP), 에서는 문장을 단어, 하위 단어 또는 문자로 분할하는 과정을 거칩니다. 초기 방식은 단순히 텍스트를 공백으로 공백으로 텍스트를 분할했지만, 최신 대규모 언어 모델(LLM)은 바이트 쌍 인코딩과 같은 바이트 쌍 인코딩(BPE) 과 같은 고급 알고리즘을 활용하여 희귀 단어를 효율적으로 처리합니다. 이를 통해 다음과 같은 모델이 가능합니다. GPT-4와 같은 모델은 무한 사전 없이도 복잡한 어휘를 처리할 수 있습니다. 무한 사전 없이도 복잡한 어휘를 처리할 수 있습니다.

컴퓨터 비전의 시각적 토큰화

전통적으로 컴퓨터 비전(CV) 은 픽셀 어레이에서 작동했습니다. 그러나 비전 트랜스포머(ViT)가 등장하면서 이미지를 고정된 크기의 패치(예: 16x16픽셀)로 분할하는 개념이 도입되었습니다. 이러한 패치는 평평하게 처리되고 시각적 토큰으로 취급되어 모델이 중요도에 따라 다른 이미지 영역의 중요도를 평가할 수 있는 이미지 영역의 중요도를 평가할 수 있습니다.

실제 애플리케이션

토큰화는 단순한 이론적 개념이 아니라 매일 사용되는 많은 AI 애플리케이션의 기반이 됩니다.

1. 멀티모달 감지: 다음과 같은 고급 모델 YOLO 같은 모델은 텍스트와 시각 사이의 간극을 메웁니다. 이로써 사용자 입력(예: "빨간 자동차")을 토큰화하고 이를 시각적 특징과 일치시킴으로써 이러한 모델은 명시적으로 재학습할 필요 없이 개방형 어휘 객체 감지 새로운 클래스에 대해 명시적으로 재학습할 필요 없이 개방형 어휘 객체 감지를 수행합니다.
2. 언어 번역: 다음과 같은 서비스 Google 번역은 입력 텍스트를 토큰으로 분해하여 번역하는 데 의존합니다. 번역하고 시퀀스 간 모델을 통해 번역하고 출력 토큰을 대상 언어로 재조립합니다.
3. 제너레이티브 아트: 다음을 수행할 수 있는 모델 다음과 같은 텍스트-이미지 생성이 가능한 모델 안정적인 확산, 텍스트 프롬프트를 토큰화하여 노이즈 제거 프로세스를 안내하는 노이즈 제거 프로세스를 토큰화하여 입력 토큰의 의미적 의미와 일치하는 비주얼을 생성합니다.

예시: YOLO 토큰화

다음 예는 다음과 같은 방법을 보여줍니다. ultralytics 내에서 암시적 토큰화를 활용합니다. YOLO 모델 워크플로. 워크플로 .set_classes() 메서드는 텍스트 목록을 토큰화하여 모델의 탐지 초점을 동적으로 안내합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model
model = YOLO("yolov8s-world.pt")

# Define custom classes; the model tokenizes these strings to search for specific objects
model.set_classes(["backpack", "person"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

모델 성능의 중요성

토큰화 전략의 선택은 다음과 같은 직접적인 영향을 미칩니다. 정확성과 계산 효율성에 직접적인 영향을 미칩니다. 비효율적 토큰화는 NLP에서 "어휘를 벗어난" 오류를 발생시키거나 이미지 세분화에서 세밀한 세부 정보가 손실될 수 있습니다. 이미지 세분화. 다음과 같은 프레임워크 PyTorch 와 TensorFlow 과 같은 프레임워크는 이 단계를 최적화하는 유연한 도구를 제공하여 이 단계를 최적화합니다. 아키텍처가 진화함에 따라(예: 최신 YOLO11-와 같이 아키텍처가 진화함에 따라 효율적인 데이터 처리를 통해 다양한 하드웨어에서 다양한 하드웨어에서 실시간 추론을 실행할 수 있습니다. 다양한 하드웨어에서 실시간 추론을 실행할 수 있습니다.