Diffusion Models

확산 모델(Diffusion models)은 점진적인 노이즈 추가 프로세스를 역으로 수행하여 새로운 데이터 샘플을 생성하는 방법을 학습하는 생성형 AI(generative AI) 알고리즘의 일종입니다. 데이터로부터 레이블을 예측하는 객체 검출(object detection)이나 분류 같은 작업에 사용되는 전통적인 판별 모델과 달리, 확산 모델은 실제 세계 데이터의 통계적 속성을 밀접하게 모방하는 고품질 콘텐츠(특히 이미지, 오디오, 영상) 생성에 초점을 맞춥니다. 이들은 학습 안정성과 다양한 출력 생성 능력 덕분에 이전의 주류였던 생성적 적대 신경망(GANs)을 제치고 고해상도 이미지 합성을 위한 최첨단(state-of-the-art) 솔루션으로 빠르게 자리 잡았습니다.

확산 모델의 작동 원리#

확산 모델의 핵심 메커니즘은 비평형 열역학에 기반합니다. 학습 과정은 순방향 과정(forward process)(확산)과 역방향 과정(reverse process)(노이즈 제거)이라는 두 가지 뚜렷한 단계로 나뉩니다.

• 순방향 프로세스(Forward Process): 이 단계는 일련의 타임스텝에 걸쳐 소량의 가우스 노이즈(Gaussian noise)를 추가하여 학습 이미지의 구조를 체계적으로 파괴합니다. 프로세스가 진행됨에 따라 고양이 사진과 같은 복잡한 데이터는 점차 순수하고 비정형적인 무작위 노이즈로 변환됩니다.
• 역방향 프로세스(Reverse Process): 신경망(neural network)의 목표는 이러한 손상을 되돌리는 방법을 학습하는 것입니다. 무작위 노이즈에서 시작하여 모델은 각 단계에서 추가된 노이즈를 예측하고 이를 빼냅니다. 노이즈를 반복적으로 제거함으로써 모델은 일관성 있고 고품질의 이미지가 나타날 때까지 무작위 신호를 "디노이징(denoises)"합니다.

이러한 반복적인 개선을 통해 세밀한 디테일과 질감을 탁월하게 제어할 수 있으며, 이는 단일 단계 생성 방식보다 훨씬 큰 장점입니다.

실제 애플리케이션 사례#

확산 모델은 학술 연구 단계를 넘어 다양한 산업 전반에서 실용적인 프로덕션급 도구로 발전했습니다.

• 합성 데이터 생성(Synthetic Data Generation): 컴퓨터 Vision 엔지니어에게 가장 가치 있는 응용 분야 중 하나는 학습 데이터셋을 증강하기 위한 합성 데이터(synthetic data)의 생성입니다. 데이터셋에 다양성이 부족한 경우(예: 눈이 내리는 환경의 자동차 이미지가 누락된 경우), 확산 모델이 현실적인 변형을 생성할 수 있습니다. 이는 예측 불가능한 환경에 배포될 때 YOLO26과 같은 비전 모델의 강인성(robustness)을 향상시키는 데 도움이 됩니다.
• 이미지 인페인팅 및 편집: 확산 모델은 사용자가 이미지의 특정 영역을 수정할 수 있도록 지원하는 고급 편집 도구의 기반이 됩니다. 인페인팅(inpainting)으로 알려진 이 기술은 주변 문맥을 기반으로 원치 않는 물체를 제거하거나 사진의 빈 부분을 채울 수 있습니다. 건축가와 디자이너는 수동 3D 렌더링 없이 제품이나 환경의 변경 사항을 시각화하여 신속하게 프로토타이핑하는 데 이 기술을 사용합니다.

주요 용어 구분#

확산 모델을 다른 생성형 아키텍처와 구분하는 것이 도움이 됩니다.

• 확산 모델 vs. GANs: GANs은 서로 경쟁하는 두 개의 네트워크(생성자와 판별자)를 사용하며 빠른 샘플링으로 유명하지만, 모델이 제한된 종류의 출력을 생성하는 "모드 붕괴(mode collapse)" 문제를 겪는 경우가 많습니다. 확산 모델은 일반적으로 학습 중에 더 안정적이며 데이터의 분포를 더 포괄적으로 커버하지만, 추론(inference) 시에는 더 느릴 수 있습니다.
• 확산 모델 vs. VAEs: 변분 오토인코더(VAEs)는 데이터를 잠재 공간(latent space)으로 압축한 다음 재구성합니다. VAEs는 빠르지만, 확산 프로세스에 의해 생성된 선명한 디테일에 비해 생성된 이미지가 때때로 흐리게 보일 수 있습니다.

실제 구현#

확산 모델을 처음부터 학습하는 데는 상당한 연산량이 필요하지만, 엔지니어는 사전 학습된 모델을 활용하거나 이를 효율적인 검출기와 함께 워크플로우에 통합할 수 있습니다. 예를 들어, 확산 모델을 사용하여 데이터셋의 배경 변형을 생성한 다음 Ultralytics Platform을 사용하여 해당 강화된 데이터에 대한 검출 모델을 주석(annotate)하고 학습시킬 수 있습니다.

아래는 이러한 시스템 학습의 기초가 되는 간단한 순방향 확산 단계(노이즈 추가)를 시뮬레이션하기 위해 torch를 사용하는 개념적 예시입니다.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

향후 방향#

이 분야는 연산 비용을 줄이기 위해 픽셀 공간 대신 압축된 잠재 공간에서 작동하는 잠재 확산 모델(LDMs) 쪽으로 빠르게 진화하고 있습니다. 이러한 효율성 덕분에 소비자용 하드웨어에서도 강력한 생성 모델을 실행하는 것이 가능해졌습니다. 연구가 계속됨에 따라, 자율주행차(autonomous vehicles)의 안전성을 검증하거나 희귀 병리를 시뮬레이션하여 의학 이미지 분석(medical image analysis)을 개선하는 데 확산 생성 시나리오를 사용하는 등 생성형 입력과 판별형 작업 간의 더 긴밀한 통합을 기대할 수 있습니다.