Text-to-Image

텍스트-이미지 생성은 프롬프트라고 하는 자연어 설명을 바탕으로 새 이미지를 만드는 작업입니다. 텍스트-이미지 모델은 수억 개에서 수십억 개에 이르는 이미지-캡션 쌍을 통해 단어와 시각적 콘텐츠의 관계를 학습한 다음, "해 질 녘 벽돌 벽에 기대어 있는 빨간 자전거"와 같은 프롬프트를 이전에 존재하지 않았던 이미지로 변환합니다. 이는 생성형 AI와 자연어 처리(NLP), 컴퓨터 비전을 결합하는 핵심 응용 분야입니다. Stable Diffusion, FLUX, Google의 Imagen을 비롯한 대부분의 최신 시스템은 확산 또는 플로 모델입니다. 반면 OpenAI가 2025년 GPT-4o에 통합한 이미지 생성기와 같은 모델은 토큰 시퀀스로 이미지를 자기회귀적으로 생성합니다.

텍스트-이미지 모델의 작동 원리#

먼저 텍스트 인코더가 프롬프트를 임베딩으로 변환합니다. 초기 Stable Diffusion 버전은 OpenAI의 CLIP 텍스트 인코더를 사용했습니다. Google의 Imagen은 고정된 언어 인코더를 T5-XXL 모델까지 확장하면 이미지 생성기를 확장하는 것보다 이미지 품질과 이미지-텍스트 정렬이 훨씬 더 향상된다는 점을 보였습니다. 생성기는 무작위 노이즈에서 시작해 보통 잠재 확산 모델의 압축 공간에서 20~50단계에 걸쳐 노이즈를 제거합니다. 교차 어텐션 또는 공동 어텐션 계층을 사용하면 이미지의 각 부분이 프롬프트에 주의를 기울일 수 있습니다. 분류기 없는 가이던스는 프롬프트가 있는 경우와 없는 경우의 모델 예측을 비교해 그 차이를 증폭하므로, 가이던스 스케일을 높이면 다양성이 줄어드는 대신 프롬프트에 더 충실하게 생성됩니다. 마지막으로 디코더가 완성된 잠재 표현을 픽셀로 변환합니다.

학습 데이터는 모델이 그릴 수 있는 내용을 결정합니다. Stable Diffusion은 웹에서 수집한 58억 개 이미지-텍스트 쌍인 LAION-5B의 하위 집합으로 학습했으며, OpenAI의 DALL-E 3는 대부분의 웹 이미지에 포함된 짧은 대체 텍스트 대신 상세한 합성 캡션으로 학습해 프롬프트를 더 잘 따르도록 개선했습니다. 웹 규모의 데이터에는 문제도 있습니다. Stanford Internet Observatory 보고서에서 아동 성 착취물 관련 콘텐츠가 발견된 뒤 LAION은 2023년 12월 LAION-5B를 철회했고, 정제한 Re-LAION-5B를 2024년 8월 공개했습니다.

모델 계열#

• 확산 및 플로 모델: 여러 단계에 걸쳐 이미지 또는 잠재 표현의 노이즈를 제거합니다. DALL-E 2와 3, Imagen, Stable Diffusion, FLUX가 이 계열에 속하며, 최신 모델은 U-Net 노이즈 제거기를 rectified flow로 학습한 확산 Transformer로 대체합니다.
• 자기회귀 모델: 이미지를 이산 토큰으로 변환한 다음 Transformer로 한 번에 하나씩 예측합니다. 2021년 최초의 DALL-E와 Google Parti가 이 방식을 사용했습니다. OpenAI는 2025년 3월 출시된 GPT-4o의 이미지 생성을 확산 기반 DALL-E와 달리 ChatGPT에 기본 내장된 자기회귀 모델이라고 설명합니다.
• 생성적 적대 신경망: 한 번의 순전파로 이미지를 생성합니다. AttnGAN과 같은 텍스트 조건부 GAN은 확산 모델보다 먼저 등장했습니다. 샘플링 속도는 빠르지만 복잡한 프롬프트를 덜 안정적으로 따릅니다.

생성 이미지 평가#

프레셰 인셉션 거리(FID)는 생성 이미지와 실제 이미지의 통계를 비교해 품질과 다양성을 측정하며, CLIP 점수는 공유 임베딩 공간에서 이미지가 프롬프트와 얼마나 잘 일치하는지 측정합니다. 어느 쪽도 객체 수나 위치와 같은 세부 사항을 확인하지는 않습니다. 따라서 GenEval은 생성 이미지에 객체 검출 모델을 실행해 객체의 동시 출현 여부, 위치, 개수를 확인하고 다른 비전 모델을 추가해 색상도 확인합니다. 공개 평가 플랫폼은 수만 건의 쌍별 인간 투표를 바탕으로 상용 모델과 오픈 모델의 순위를 매겨 미적 품질과 프롬프트 일치도를 함께 반영합니다.

텍스트-투-이미지와 관련 용어 비교#

• 이미지 캡셔닝: 기존 이미지에 대한 텍스트 설명을 생성하는 반대 방향의 작업입니다.
• 텍스트-투-비디오: 시간에 따라 일관성을 유지해야 하는 프레임 시퀀스를 생성하므로 텍스트-투-이미지 모델보다 연산량과 데이터 요구량이 늘어납니다.
• 이미지 인페인팅과 이미지-투-이미지: 기존 이미지로 시작해 프롬프트에 따라 이미지의 일부 또는 전체를 변경하며, 이미지 입력을 추가한 동일 모델을 사용합니다.
• 비전 언어 모델: 이미지와 텍스트를 읽고 텍스트로 답변합니다. GPT-4o와 Gemini 같은 네이티브 멀티모달 모델은 이미지 이해에 이미지 생성을 추가했습니다.

활용 사례 및 위험#

디자이너, 게임 스튜디오, 마케팅 팀은 텍스트-투-이미지 모델로 콘셉트를 탐색하고 제품 이미지를 제작하며, 비전 팀은 촬영하기 어려운 희귀 클래스, 결함, 조건에 대한 합성 데이터를 생성하는 데 이를 사용합니다. Ultralytics Platform의 유사 이미지 생성 작업은 데이터셋 이미지에서 영감을 얻은 새 장면을 설명하고 설명마다 이미지 하나를 생성합니다. 조명, 시점, 배경, 객체를 지정하는 안내도 선택적으로 추가할 수 있으며, 사용자가 보관하는 이미지는 라벨 없이 데이터셋에 추가되어 어노테이션할 준비가 됩니다. 합성 이미지는 모델에 부족한 데이터를 보완할 때만 도움이 됩니다.

같은 사실성은 위험도 초래합니다. 모델은 학습 데이터의 편향을 재현하고 그럴듯한 딥페이크를 생성할 수 있습니다. 제공업체는 Google SynthID와 같은 AI 워터마킹과 이미지 생성 또는 편집에 사용된 도구를 기록하는 서명된 메타데이터인 C2PA 콘텐츠 자격 증명으로 대응합니다.