Diffusion Models

확산 모델은 점진적인 노이즈 추가 과정을 역으로 수행하여 새로운 데이터 샘플을 생성하는 방법을 학습하는 생성형 AI(generative AI) 알고리즘의 한 종류입니다. 데이터에서 레이블을 예측하는 객체 탐지(object detection)나 분류와 같은 작업에 사용되는 기존 판별 모델과 달리, 확산 모델은 실제 데이터의 통계적 특성을 밀접하게 모방하는 고품질 콘텐츠(특히 이미지, 오디오, 비디오)를 생성하는 데 중점을 둡니다. 확산 모델은 학습 안정성과 다양한 출력을 생성하는 능력 덕분에 생성적 적대 신경망(GANs)과 같은 기존의 선두 주자를 제치고 고해상도 이미지 합성을 위한 최첨단 솔루션으로 빠르게 자리 잡았습니다.

Link to this section확산 모델의 작동 원리#

확산 모델의 핵심 메커니즘은 비평형 열역학에 기반합니다. 학습 과정은 순방향 과정(forward process)(확산)과 역방향 과정(reverse process)(노이즈 제거)이라는 두 가지 뚜렷한 단계로 나뉩니다.

• 순방향 과정: 이 단계는 일련의 시간 단계에 걸쳐 소량의 가우시안 노이즈(Gaussian noise)를 추가하여 학습 이미지의 구조를 체계적으로 파괴합니다. 과정이 계속될수록 복잡한 데이터(예: 고양이 사진)는 점차 순수하고 구조화되지 않은 무작위 노이즈로 변합니다.
• 역방향 과정: 신경망(neural network)의 목표는 이러한 손상을 되돌리는 방법을 학습하는 것입니다. 모델은 무작위 노이즈에서 시작하여 각 단계에서 추가된 노이즈를 예측하고 이를 제거합니다. 반복적인 노이즈 제거를 통해 모델은 일관된 고품질 이미지가 나타날 때까지 무작위 신호를 "디노이징(denoise)"합니다.

이러한 반복적인 개선을 통해 세밀한 디테일과 질감을 탁월하게 제어할 수 있으며, 이는 단일 단계 생성 방식보다 훨씬 큰 장점입니다.

Link to this section실제 애플리케이션 사례#

확산 모델은 학술 연구 단계를 넘어 다양한 산업 전반에서 실용적인 프로덕션급 도구로 발전했습니다.

• 합성 데이터 생성: 컴퓨터 비전 엔지니어에게 가장 가치 있는 응용 분야 중 하나는 학습 데이터셋을 보강하기 위한 합성 데이터(synthetic data)를 생성하는 것입니다. 데이터셋에 다양성이 부족한 경우(예: 눈 오는 환경의 자동차 이미지가 누락된 경우), 확산 모델이 사실적인 변형 이미지를 생성할 수 있습니다. 이는 예측할 수 없는 환경에 배포될 때 YOLO26과 같은 비전 모델의 견고성을 높이는 데 도움이 됩니다.
• 이미지 인페인팅 및 편집: 확산 모델은 사용자가 이미지의 특정 영역을 수정할 수 있도록 지원하는 고급 편집 도구의 기반이 됩니다. 인페인팅(inpainting)으로 알려진 이 기술은 주변 문맥을 기반으로 원치 않는 물체를 제거하거나 사진의 빈 부분을 채울 수 있습니다. 건축가와 디자이너는 수동 3D 렌더링 없이 제품이나 환경의 변경 사항을 시각화하여 신속하게 프로토타이핑하는 데 이 기술을 사용합니다.

Link to this section주요 용어 구분#

확산 모델을 다른 생성형 아키텍처와 구분하는 것이 도움이 됩니다.

• 확산 모델 vs. GANs: GANs는 경쟁하는 두 개의 네트워크(생성자와 판별자)를 사용하며 빠른 샘플링 속도로 유명하지만, 종종 모델이 제한적인 종류의 출력만을 생성하는 "모드 붕괴(mode collapse)" 문제를 겪습니다. 확산 모델은 일반적으로 학습 과정이 더 안정적이고 데이터 분포를 더 포괄적으로 다루지만, 추론 시간은 더 오래 걸릴 수 있습니다.
• 확산 모델 vs. VAEs: 변분 오토인코더(Variational Autoencoders, VAEs)는 데이터를 잠재 공간으로 압축한 뒤 재구성합니다. VAE는 속도가 빠르지만, 확산 과정이 생성하는 선명한 디테일에 비해 생성된 이미지가 다소 흐릿하게 보일 수 있습니다.

Link to this section실제 구현#

확산 모델을 처음부터 학습시키려면 상당한 컴퓨팅 자원이 필요하지만, 엔지니어는 사전 학습된 모델을 활용하거나 효율적인 탐지 모델과 함께 워크플로에 통합할 수 있습니다. 예를 들어, 확산 모델을 사용하여 데이터셋의 배경 변형을 생성한 다음 Ultralytics Platform을 사용하여 해당 강화된 데이터로 탐지 모델을 주석 처리하고 학습시킬 수 있습니다.

아래는 torch를 사용하여 간단한 순방향 확산 단계(노이즈 추가)를 시뮬레이션하는 개념적인 예시이며, 이는 이러한 시스템을 학습시키는 기초가 됩니다.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

Link to this section향후 방향#

이 분야는 계산 비용을 줄이기 위해 픽셀 공간이 아닌 압축된 잠재 공간에서 작동하는 잠재 확산 모델(LDMs)을 향해 빠르게 진화하고 있습니다. 이러한 효율성 덕분에 일반 소비자용 하드웨어에서도 강력한 생성 모델을 실행할 수 있게 되었습니다. 연구가 계속됨에 따라, 확산 기반 생성 시나리오를 활용하여 자율주행 차량의 안전성을 검증하거나 희귀 병리를 시뮬레이션하여 의료 영상 분석을 개선하는 등 생성형 입력과 판별형 작업 간의 더 긴밀한 통합이 이루어질 것으로 기대됩니다.