Diffusion Models

확산 모델은 점진적으로 노이즈를 추가하는 과정을 역으로 수행하여 새로운 데이터 샘플을 생성하는 방법을 학습하는 생성형 AI 알고리즘의 한 종류입니다. 데이터에서 레이블을 예측하는 객체 탐지나 분류와 같은 기존 판별 모델과 달리, 확산 모델은 실제 데이터의 통계적 특성을 밀접하게 모방하는 고품질 콘텐츠, 특히 이미지, 오디오 및 비디오를 생성하는 데 중점을 둡니다. 확산 모델은 학습 안정성과 다양한 출력을 생성하는 능력 덕분에 생성적 적대 신경망(GANs)과 같은 기존 선도 기술을 빠르게 제치고 고해상도 이미지 합성을 위한 최첨단 솔루션으로 자리 잡았습니다.

확산 모델의 작동 방식#

확산 모델의 핵심 메커니즘은 비평형 열역학에 기반합니다. 학습 과정은 순방향 프로세스(확산)와 역방향 프로세스(디노이징)라는 두 가지 뚜렷한 단계로 구성됩니다.

• 순방향 프로세스: 이 단계에서는 여러 시간 단계에 걸쳐 소량의 가우시안 노이즈를 추가하여 학습 이미지의 구조를 체계적으로 파괴합니다. 프로세스가 계속되면 복잡한 데이터(예: 고양이 사진)는 점차 순수하고 구조가 없는 무작위 노이즈로 변환됩니다.
• 역방향 프로세스: 신경망의 목표는 이러한 손상을 되돌리는 방법을 학습하는 것입니다. 모델은 무작위 노이즈에서 시작하여 각 단계에서 추가된 노이즈를 예측하고 이를 제거합니다. 노이즈를 반복적으로 제거하면 모델이 무작위 신호를 "디노이즈"하여 일관성 있고 고품질인 이미지가 나타날 때까지 처리합니다.

이러한 반복적 정 refinement를 통해 세부 요소와 텍스처를 탁월하게 제어할 수 있으며, 이는 단일 단계 생성 방법에 비해 중요한 장점입니다.

실제 적용 사례#

확산 모델은 학술 연구를 넘어 다양한 산업 분야에서 실용적인 프로덕션급 도구로 발전했습니다.

• 합성 데이터 생성: 컴퓨터 비전 엔지니어에게 가장 가치 있는 활용 사례 중 하나는 학습 데이터셋을 보강하기 위한 합성 데이터 생성입니다. 데이터셋의 다양성이 부족한 경우(예: 눈 내리는 환경의 자동차 이미지가 없는 경우), 확산 모델이 사실적인 변형 데이터를 생성할 수 있습니다. 이는 예측하기 어려운 환경에 배포될 때 YOLO26과 같은 비전 모델의 견고성을 향상하는 데 도움이 됩니다.
• 이미지 인페인팅 및 편집: 확산 모델은 사용자가 이미지의 특정 영역을 수정할 수 있도록 하는 고급 편집 도구를 구동합니다. 인페인팅이라고 하는 이 기법은 주변 맥락을 기반으로 원치 않는 객체를 제거하거나 사진에서 누락된 부분을 채울 수 있습니다. 건축가와 디자이너는 수동으로 3D 렌더링을 수행하지 않고도 제품이나 환경의 변경 사항을 시각화하고 신속하게 프로토타입을 제작하는 데 이를 사용합니다.

주요 용어 구분#

확산 모델을 다른 생성 아키텍처와 구분해 이해하는 것이 도움이 됩니다.

• 확산 모델과 GANs 비교: GANs는 두 개의 경쟁하는 네트워크(생성자와 판별자)를 사용하며 빠른 샘플링으로 알려져 있지만, 모델이 제한된 종류의 출력만 생성하는 "모드 붕괴"를 겪는 경우가 많습니다. 확산 모델은 일반적으로 학습 중 더 안정적이고 데이터 분포를 더 포괄적으로 다루지만, 추론 시에는 더 느릴 수 있습니다.
• 확산 모델과 VAEs 비교: 변분 오토인코더(VAEs)는 데이터를 잠재 공간으로 압축한 다음 다시 복원합니다. VAEs는 빠르지만, 생성된 이미지는 확산 프로세스가 만들어 내는 선명한 세부 묘사에 비해 때때로 흐릿하게 보일 수 있습니다.

실제 구현#

확산 모델을 처음부터 학습하려면 상당한 컴퓨팅 자원이 필요하지만, 엔지니어는 사전 학습된 모델을 활용하거나 효율적인 디텍터와 함께 워크플로에 통합할 수 있습니다. 예를 들어, 확산 모델을 사용하여 데이터셋의 배경 변형을 생성한 다음, Ultralytics Platform을 사용하여 이러한 데이터가 보강된 탐지 모델에 주석을 추가하고 학습할 수 있습니다.

다음은 이러한 시스템 학습의 기반이 되는 간단한 순방향 확산 단계(노이즈 추가)를 시뮬레이션하기 위해 torch을 사용하는 개념적 예제입니다.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

향후 방향#

이 분야는 계산 비용을 줄이기 위해 픽셀 공간이 아닌 압축된 잠재 공간에서 작동하는 잠재 확산 모델(LDMs)로 빠르게 발전하고 있습니다. 이러한 효율성 덕분에 소비자용 하드웨어에서 강력한 생성 모델을 실행할 수 있습니다. 연구가 계속됨에 따라 생성형 입력과 판별 작업 간의 통합이 더욱 긴밀해질 것으로 예상됩니다. 예를 들어, 자율주행 차량의 안전성을 검증하기 위해 확산 모델이 생성한 시나리오를 사용하거나, 희귀 병리를 시뮬레이션하여 의료 이미지 분석을 개선하는 방식입니다.