노이즈 제거를 위한 자기 지도 학습: 단계별 분석

카메라는 우리가 세상을 보는 방식 그대로를 항상 포착하지는 않습니다. 어두운 곳에서 찍은 인물 사진이나 빠르게 움직이는 자동차 사진은 거칠거나 흐릿하거나 왜곡되어 보일 수 있습니다.

센서 속도가 느리거나 환경이 어둡거나 움직임이 있으면 미세한 노이즈가 생겨 가장자리가 흐려지고 중요한 세부 정보가 가려질 수 있습니다. 선명도가 떨어지면 고급 AI와 머신러닝 시스템조차 이미지 내용을 이해하는 데 어려움을 겪을 수 있습니다. 많은 지능형 시스템이 제대로 작동하려면 이러한 세부 정보에 의존하기 때문입니다.

예를 들어, 컴퓨터 비전은 기계가 이미지와 영상을 해석할 수 있게 하는 인공지능 분야입니다. 하지만 이를 정확히 수행하려면 비전 AI 모델이 학습할 수 있는 깨끗하고 품질이 높은 시각 데이터가 필요합니다.

구체적으로 Ultralytics YOLO11과 Ultralytics YOLO26(2026년 1월 출시)과 같은 모델은 객체 탐지, 인스턴스 분할, 포즈 추정 등의 작업을 지원하며 다양한 사용 사례에 맞게 커스텀 학습할 수 있습니다. 이러한 작업은 에지, 텍스처, 색상, 세밀한 구조적 세부 정보와 같은 명확한 시각적 단서에 의존합니다.

노이즈가 이러한 특징을 가리면 모델이 받는 학습 신호가 약해져 정확한 패턴을 학습하기 어려워집니다. 따라서 소량의 노이즈만으로도 실제 애플리케이션의 성능이 저하될 수 있습니다.

앞서 자기 지도 학습으로 이미지를 노이즈 제거하는 방법을 살펴보았습니다. 이 글에서는 자기 지도 노이즈 제거 기법의 작동 원리와 의미 있는 시각 정보를 복원하는 방법을 자세히 알아보겠습니다.

실제 이미지에서 흔히 나타나는 노이즈 유형#

이미지 디노이징에 자기 지도 학습을 사용하는 방법을 살펴보기 전에, 먼저 이미지에 노이즈가 생기는 이유를 다시 살펴보겠습니다.

실제 사물과 장면을 촬영한 이미지는 완벽한 경우가 드뭅니다. 조도가 낮거나 센서 품질이 제한적이거나 움직임이 빠르면 이미지 전체의 개별 픽셀에 무작위 교란이 발생할 수 있습니다. 노이즈라고 하는 이러한 픽셀 수준의 교란은 전반적인 선명도를 떨어뜨리고 중요한 세부 정보를 보기 어렵게 만듭니다.

노이즈가 가장자리, 질감, 미묘한 패턴을 가리면 컴퓨터 비전 시스템은 객체를 인식하거나 장면을 정확히 해석하는 데 어려움을 겪습니다. 조건마다 서로 다른 유형의 노이즈가 발생하며, 각 유형은 이미지에 각기 다른 영향을 미칩니다.

그림 1. 노이즈로 이미지의 불확실성이 증가하는 예시. (출처)

이미지에서 흔히 나타나는 노이즈 유형은 다음과 같습니다.

• 가우시안 노이즈: 전자 센서 간섭이나 열 변동으로 발생하는 이 노이즈는 부드럽고 무작위적인 입자 형태로 나타납니다. 가우시안(정규) 분포를 따르며, 픽셀의 미세한 변동이 세부 정보를 흐리고 전반적인 선명도를 떨어뜨립니다.
• 포아송 노이즈: 샷 노이즈라고도 하는 이 노이즈는 저조도 환경이나 노출 시간이 짧을 때 발생합니다. 분산은 밝기가 높아질수록 커지지만, 포착되는 광자가 적어 신호 대 잡음비가 낮아지므로 어두운 영역에서 노이즈가 더 두드러지는 경우가 많습니다.
• 솔트 앤 페퍼 노이즈: 이 노이즈는 검은색 또는 흰색 픽셀의 뚜렷한 돌출 형태로 나타납니다. 일반적으로 전송 오류, 비트 손상, 카메라 센서 결함으로 발생하며, 픽셀 값이 누락되거나 손상되는 결과를 낳습니다.
• 스펙클 노이즈: 이 노이즈는 거칠고 점상인 패턴으로 나타나며 의료 영상, 레이더 영상, 초음파 영상에서 흔히 발생합니다. 신호 간섭과 산란으로 인해 발생하며, 대비를 낮추고 가장자리를 감지하기 어렵게 만듭니다.

자기 지도 디노이징은 언제 사용해야 할까요?#

그렇다면 자기 지도 디노이징의 특별한 점은 무엇일까요? 깨끗한 정답 이미지가 없거나 수집하기 매우 어려운 상황에서 특히 유용합니다.

이러한 상황은 저조도 사진, 고ISO 영상, 의료 및 과학 영상이나 노이즈를 피할 수 없고 완벽한 참조 데이터를 수집하기 비현실적인 환경에서 자주 발생합니다. 모델은 깨끗한 예시를 필요로 하는 대신 이미 보유한 노이즈 이미지에서 직접 학습하므로 카메라나 센서의 특정 노이즈 패턴에 맞게 적응할 수 있습니다.

다운스트림 컴퓨터 비전 작업의 성능을 높이고 싶지만 데이터셋에 일관성이 없거나 노이즈가 있는 이미지가 가득한 경우에도 자기 지도 디노이징이 좋은 선택입니다. 가장자리, 질감, 구조를 더욱 선명하게 복원하여 YOLO와 같은 모델이 장면을 더 안정적으로 감지하고 세그먼트화하며 이해하도록 돕습니다. 요컨대 노이즈가 있는 데이터를 사용하고 깨끗한 학습 이미지를 구할 수 없다면 자기 지도 디노이징이 가장 실용적이고 효과적인 솔루션인 경우가 많습니다.

자기 지도 디노이징의 핵심 기술#

앞서 살펴본 것처럼 자기 지도 노이즈 제거는 깨끗한 레이블에 의존하지 않고 모델이 노이즈가 있는 이미지에서 직접 학습할 수 있도록 하는 딥러닝 기반 AI 접근 방식입니다. 데이터 자체에서 학습 신호를 생성하는 모델에 기반한 자기 지도 학습의 원리를 활용합니다.

즉, 모델은 노이즈 이미지를 입력과 학습 신호의 원천으로 모두 사용하여 스스로 학습할 수 있습니다. 동일한 이미지의 손상된 버전을 비교하거나 마스킹된 픽셀을 예측하면서 모델은 어떤 패턴이 실제 구조를 나타내고 어떤 패턴이 단순한 노이즈인지 학습합니다. 반복적인 최적화와 패턴 인식을 통해 네트워크는 의미 있는 이미지 내용과 무작위 변동을 구분하는 능력을 점진적으로 향상합니다.

그림 2. 원본 이미지와 디노이징된 이미지. (출처)

모델이 안정적인 이미지 구조와 무작위 노이즈를 분리하도록 안내하는 구체적인 학습 전략을 통해 이 과정이 가능합니다. 다음으로 이 과정을 간소화하는 핵심 기술과 알고리즘을 자세히 살펴보고, 각 접근 방식이 모델의 더 깨끗하고 신뢰도 높은 이미지 재구성을 어떻게 돕는지 알아보겠습니다.

쌍별 이미지 디노이징 방법#

초기 자기 지도 디노이징 방법 중 상당수는 동일한 이미지의 노이즈가 있는 버전 두 개를 비교하는 방식으로 작동했습니다. 이미지를 촬영하거나 손상할 때마다 노이즈는 무작위로 달라지지만 실제 구조는 그대로 유지되므로, 이러한 차이를 모델의 학습 신호로 활용할 수 있습니다.

이 접근 방식은 학습 과정에서 노이즈가 있는 이미지 쌍을 사용하거나 생성하기 때문에 일반적으로 쌍별 이미지 디노이징 방법이라고 합니다. 예를 들어 Jaakko Lehtinen과 연구팀이 제안한 Noise2Noise 접근 방식은 동일한 장면을 각각 독립적으로 노이즈 처리한 이미지 두 개를 사용해 모델을 학습합니다. 두 이미지의 노이즈 패턴이 서로 다르므로 모델은 실제 원본 이미지를 나타내는 일관된 세부 정보를 식별하는 방법을 학습합니다.

그림 3. Noise2Noise 작동 방식 (출처)

시간이 지나면 네트워크는 깨끗한 참조 이미지를 한 번도 보지 않고도 무작위 노이즈를 억제하고 실제 구조를 보존하는 방법을 학습합니다. 어두운 밤거리에서 사진 두 장을 찍는 간단한 상황을 생각해 보겠습니다.

각 이미지에는 같은 건물, 조명, 그림자가 담겨 있지만 거친 노이즈는 서로 다른 위치에 나타납니다. 학습 중 노이즈가 있는 두 사진을 비교하면 자기 지도 모델은 어떤 시각 패턴이 안정적이고 어떤 패턴이 노이즈로 인한 것인지 학습하여 더 깨끗한 이미지를 재구성하는 능력을 향상할 수 있습니다.

디노이징을 위한 블라인드 스폿 기반 자기 지도 학습 방법#

쌍별 방법은 동일한 이미지의 서로 다르게 손상된 버전 두 개를 비교하지만, 블라인드 스폿 방법은 다른 접근 방식을 취합니다. 일부 픽셀을 가려 네트워크가 해당 픽셀의 손상된 값을 보지 못하게 하여, 모델이 노이즈 이미지 하나만으로 학습하게 합니다.

그런 다음 모델은 주변 맥락만 사용해 가려진 픽셀을 예측해야 합니다. 핵심 아이디어는 노이즈는 무작위적이지만 이미지의 기반 구조는 그렇지 않다는 것입니다.

모델이 픽셀의 노이즈 값을 그대로 복사하지 못하게 하면, 블라인드 스폿 방법은 인접한 가장자리, 질감, 색상 그라데이션과 같은 안정적인 이미지 패턴을 바탕으로 해당 픽셀의 값을 추론하도록 합니다. Alexander Krull과 연구팀이 소개한 Noise2Void와 Joshua Batson 및 Loïc Royer가 개발한 Noise2Self와 같은 기술은 개별 픽셀이나 작은 주변 영역을 마스킹하고 이를 재구성하도록 모델을 학습시켜 이 원리를 구현합니다.

Noise2Same 및 PN2V를 포함한 더 발전된 접근 방식은 여러 마스킹 버전에 대해 일관된 예측을 강제하거나 노이즈 분포를 명시적으로 모델링하여 불확실성을 추정함으로써 견고성을 높입니다. 이 방법들은 노이즈 이미지 하나만 필요하므로 깨끗한 이미지나 쌍을 이루는 이미지를 촬영하기 어렵거나 불가능한 현미경 검사, 천문학, 생의학 영상, 저조도 사진과 같은 분야에서 특히 유용합니다.

Transformer 기반 디노이징 방법#

대부분의 쌍별 및 블라인드 스폿 자기 지도 노이즈 제거 방법은 합성곱 신경망(CNNs)이나 노이즈 제거 네트워크에 의존합니다. CNNs는 에지, 텍스처, 작은 세부 정보와 같은 로컬 패턴에 집중하므로 이러한 접근 방식에 적합합니다.

U-Net과 같은 아키텍처는 세밀한 특징과 다중 스케일 정보를 결합하므로 널리 사용됩니다. 그러나 CNN은 주로 제한된 주변 영역에서 작동하기 때문에 이미지의 더 넓은 영역에 걸친 중요한 관계를 놓칠 수 있습니다.

이러한 한계를 해결하기 위해 Transformer를 활용한 최신 노이즈 제거 방법이 등장했습니다. 주변 픽셀만 살펴보는 대신, 이러한 방법은 어텐션 메커니즘을 사용해 이미지의 각 부분이 서로 어떤 관계인지 파악합니다.

일부 모델은 전역 어텐션을 사용하고, 다른 모델은 연산량을 줄이기 위해 윈도우 기반 또는 계층적 어텐션을 사용하지만, 일반적으로 CNN만으로는 포착하기 어려운 장거리 구조를 파악하도록 설계됩니다. 이러한 폭넓은 관점은 이미지 전체의 정보를 필요로 하는 반복 질감, 매끄러운 표면, 큰 객체를 모델이 복원하는 데 도움이 됩니다.

기타 이미지 디노이징 방법#

자기 지도 기술 외에도 노이즈가 있는 이미지를 정리하는 여러 방법이 있습니다. 양방향 필터링, 웨이블릿 디노이징, 비국소 평균과 같은 전통적인 방법은 중요한 세부 정보를 유지하면서 노이즈를 평활화하기 위해 간단한 수학적 규칙을 사용합니다.

한편 깨끗한 이미지와 노이즈가 있는 이미지의 쌍으로 학습하는 지도 모델, 더 선명하고 사실적인 결과를 생성하는 생성적 적대 신경망(GANs) 등 딥러닝 접근 방식도 있습니다. 그러나 이러한 방법은 일반적으로 학습에 더 높은 품질의 이미지가 필요합니다.

자기 지도 이미지 디노이징의 단계별 작동 방식#

방금 여러 가지 기술을 살펴보았으므로, 각기 다른 아키텍처를 사용하는 만큼 기술마다 완전히 다른 방식으로 작동하는지 궁금할 수 있습니다. 하지만 모든 기술은 데이터 준비로 시작해 모델 평가로 끝나는 유사한 파이프라인을 따릅니다.

이제 자기 지도 이미지 노이즈 제거의 전체 과정을 단계별로 자세히 살펴보겠습니다.

1단계: 전처리 및 정규화#

모델이 노이즈 이미지에서 학습을 시작하기 전에 먼저 모든 이미지의 일관성을 확보해야 합니다. 실제 사진은 서로 크게 다를 수 있습니다.

일부 이미지는 너무 밝고, 다른 이미지는 너무 어두우며, 색상이 약간 어긋난 이미지도 있을 수 있습니다. 이러한 차이를 그대로 모델에 입력하면 노이즈의 특징을 학습하는 데 집중하기가 더 어려워집니다.

이 문제를 처리하기 위해 각 이미지는 정규화와 기본 전처리를 거칩니다. 여기에는 픽셀 값을 표준 범위로 조정하고, 강도 변화를 보정하거나, 이미지를 자르고 크기를 조정하는 작업이 포함될 수 있습니다. 핵심은 모델이 안정적이고 비교 가능한 입력으로 사용할 수 있는 일관된 데이터를 받는 것입니다.

2단계: 자기 지도 학습 신호 생성#

이미지가 정규화되면 다음 단계에서는 깨끗한 이미지를 전혀 보지 않고도 모델이 학습할 수 있는 학습 신호를 생성합니다. 자기 지도 디노이징 방법은 모델이 입력받은 노이즈 픽셀 값을 단순히 복사하지 못하게 하여 이를 구현합니다.

대신 이러한 방법은 모델이 예측할 수 없는 노이즈가 아니라 안정적인 구조를 담고 있는 이미지 주변 맥락에 의존해야 하는 상황을 만듭니다. 방법마다 이를 구현하는 방식은 약간씩 다르지만 핵심 아이디어는 같습니다.

일부 접근 방식은 특정 픽셀을 일시적으로 숨기거나 마스킹하여 모델이 주변 픽셀로부터 해당 픽셀 값을 추론하게 합니다. 다른 접근 방식은 동일한 노이즈 이미지의 별도 손상 버전을 생성하여 입력과 타깃에 서로 독립적인 노이즈가 포함되도록 합니다. 두 경우 모두 타깃 이미지는 의미 있는 구조 정보를 담지만, 네트워크가 예측해야 하는 픽셀의 원래 노이즈 값에는 접근하지 못하게 합니다.

노이즈는 무작위로 변하는 반면 이미지의 기반 구조는 일관되게 유지되므로, 이러한 설정은 자연스럽게 모델이 실제 구조의 형태를 학습하고 버전마다 달라지는 노이즈를 무시하도록 유도합니다.

3단계: 이미지 구조 복원을 위한 디노이징 학습#

학습 신호가 마련되면 모델은 모델 학습을 통해 의미 있는 이미지 구조와 노이즈를 분리하는 방법을 학습할 수 있습니다. 마스킹되거나 다시 노이즈가 추가된 픽셀을 예측할 때마다, 원래 해당 위치에 있던 노이즈 값이 아니라 주변 맥락에 의존해야 합니다.

여러 반복 또는 에포크를 거치면서 네트워크는 가장자리, 질감, 매끄러운 표면처럼 이미지에서 안정적으로 유지되는 패턴을 인식하는 방법을 학습합니다. 또한 노이즈를 특징짓는 무작위 변동을 무시하는 방법도 학습합니다.

예를 들어 표면이 매우 거칠게 보이는 저조도 사진을 생각해 보겠습니다. 노이즈는 픽셀마다 다르지만 기반 표면은 여전히 매끄럽습니다. 이러한 영역의 가려진 픽셀을 반복적으로 추론하면 모델은 노이즈 아래에 있는 안정적인 패턴을 식별하고 더 깨끗하게 재구성하는 능력을 점진적으로 향상합니다.

모델 학습 과정에서 네트워크는 이미지 구조에 대한 내부 표현을 학습합니다. 이를 통해 입력이 심하게 손상된 경우에도 일관성 있는 세부 정보를 복원할 수 있습니다.

4단계: 검증 및 노이즈 감소 결과#

모델이 가려지거나 다시 노이즈가 추가된 픽셀을 예측하는 방법을 학습한 후에는 전체 이미지에서 성능을 평가합니다. 테스트 중 모델은 노이즈가 있는 이미지 전체를 입력받고 이미지 구조에 관해 학습한 내용을 바탕으로 노이즈를 제거한 완전한 이미지를 생성합니다. 이 과정의 효과를 측정하기 위해 출력 이미지를 깨끗한 참조 이미지 또는 표준 벤치마크 데이터셋과 비교합니다.

흔히 사용하는 지표 두 가지는 PSNR(피크 신호 대 잡음비)과 SSIM(구조적 유사도 지수)입니다. PSNR은 복원된 이미지가 깨끗한 정답 이미지와 얼마나 유사한지 측정하고, SSIM은 가장자리와 질감 같은 중요한 특징이 얼마나 잘 보존되었는지 평가합니다. 일반적으로 점수가 높을수록 디노이징이 더 정확하고 시각적으로 신뢰할 수 있음을 나타냅니다.

학습 및 벤치마킹에 사용되는 이미지 데이터셋#

IEEE 학술지, CVPR, ICCV, ECCV와 같은 CVF 학회, arXiv에 게재된 자기 지도 노이즈 제거 연구는 통제된 환경과 실제 조건에서 딥러닝 방법의 모델 성능을 평가하기 위해 합성 데이터셋과 실제 데이터셋을 함께 사용하는 경우가 많습니다. 합성 데이터셋은 깨끗한 이미지에 인공 노이즈를 추가하여 PSNR 및 SSIM과 같은 지표로 방법을 쉽게 비교할 수 있게 합니다.

벤치마킹을 위해 합성 노이즈를 추가해 일반적으로 사용하는 인기 데이터셋은 다음과 같습니다:

• Kodak24: 이 데이터셋은 디노이징 결과를 시각적으로 비교할 때 자주 사용되는 고품질 자연 장면 사진을 제공합니다.
• DIV2K: 이 고해상도 데이터셋에는 텍스처 충실도와 전반적인 복원 품질을 평가하는 데 사용되는 다양하고 세밀한 이미지가 포함되어 있습니다.

반면 실제 노이즈 데이터셋에는 저조도, 높은 ISO 또는 기타 까다로운 조건에서 카메라 센서로 직접 촬영한 이미지가 포함됩니다. 이러한 데이터셋은 쉽게 시뮬레이션할 수 없는 복잡한 비가우시안 노이즈를 모델이 처리할 수 있는지 평가합니다.

인기 있는 실제 노이즈 데이터셋은 다음과 같습니다:

• SIDD: 이 데이터셋은 다양한 조명 환경에서 스마트폰 센서로 촬영한 실제 노이즈 이미지와 깨끗한 이미지 쌍을 제공합니다.
• DND: 여기에는 소비자용 카메라에서 발견되는 현실적인 센서 노이즈 패턴을 담은 고 ISO 사진이 포함되어 있습니다.

그림 4. DND 데이터셋의 예시. (출처)

자기 지도 디노이징 모델을 학습할 때 고려해야 할 요소#

딥러닝 기반 자기 지도 디노이징 모델을 학습하려는 경우 고려해야 할 요소와 한계는 다음과 같습니다:

• 노이즈 분포 일치: 학습에 사용하는 노이즈 이미지는 실제 사용 환경에서 모델이 접하게 될 노이즈를 반영해야 합니다. 노이즈가 일치하지 않으면 일반화 성능이 저하됩니다.
• 학습 데이터 다양성 확보: 데이터의 다양성이 제한되면 복잡한 텍스처에서 과적합이나 과도한 스무딩이 발생할 수 있습니다.
• 노이즈 유형의 한계 인식: 자기 지도 방식은 구조적이거나 상관관계가 있거나 무작위가 아닌 노이즈를 처리하는 데 더 어려움을 겪습니다.
• 여러 기기 또는 센서에서 테스트: 디노이징 성능은 카메라나 이미징 시스템에 따라 크게 달라질 수 있습니다.

핵심 요점#

자기 지도 디노이징은 AI 애호가가 이미 보유한 노이즈 데이터만으로 이미지를 정리할 수 있는 실용적인 방법을 제공합니다. 노이즈 아래에 있는 실제 구조를 식별하도록 학습하면 중요한 시각적 세부 정보를 복원할 수 있습니다. 디노이징 기술이 계속 발전함에 따라 다양한 컴퓨터 비전 작업의 일상적인 환경에서의 신뢰성이 높아질 것으로 보입니다.

성장하는 커뮤니티의 일원이 되어 보세요! GitHub 저장소에서 AI에 대해 자세히 알아보세요. 컴퓨터 비전 솔루션을 개발하려면 라이선스 옵션을 확인해 보세요. 리테일 분야의 컴퓨터 비전의 이점을 살펴보고 제조 분야의 AI가 어떻게 변화를 이끄는지 알아보세요!