노이즈 제거를 위한 자기지도 학습: 단계별 분석

카메라는 우리가 세상을 보는 방식 그대로 항상 포착하지는 못합니다. 저조도에서 촬영한 인물 사진이나 빠르게 움직이는 자동차 사진은 거칠거나 흐릿하거나 왜곡되어 보일 수 있습니다.

느린 센서, 어두운 환경, 움직임은 미세한 노이즈 점을 만들어 가장자리를 흐리게 하고 중요한 세부 정보를 가릴 수 있습니다. 이러한 선명도가 손실되면 고급 AI 및 머신러닝 시스템도 이미지에 무엇이 포함되어 있는지 파악하는 데 어려움을 겪을 수 있습니다. 많은 지능형 시스템이 제대로 작동하려면 이러한 세부 정보에 의존하기 때문입니다.

예를 들어, 컴퓨터 비전은 기계가 이미지와 동영상을 해석할 수 있도록 하는 인공지능의 한 분야입니다. 하지만 이를 정확하게 수행하려면 비전 AI 모델이 학습할 수 있는 깨끗하고 고품질인 시각 데이터가 필요합니다.

구체적으로 Ultralytics YOLO11 및 출시 예정인 Ultralytics YOLO26과 같은 모델은 객체 감지, 인스턴스 세그멘테이션, 포즈 추정 등의 작업을 지원하며 다양한 사용 사례에 맞게 커스텀 학습할 수 있습니다. 이러한 작업은 가장자리, 텍스처, 색상, 미세한 구조적 세부 정보와 같은 선명한 시각적 단서에 의존합니다.

노이즈가 이러한 특징을 가리면 모델이 받는 학습 신호가 약해져 정확한 패턴을 학습하기가 어려워집니다. 그 결과 적은 양의 노이즈도 실제 애플리케이션에서 성능을 저하시킬 수 있습니다.

이전에 자기지도 학습이 이미지를 노이즈 제거하는 방식을 살펴보았습니다. 이 글에서는 자기지도 노이즈 제거 기법의 작동 방식과 의미 있는 시각 정보를 복원하는 방법을 더 자세히 알아보겠습니다. 시작해 보겠습니다!

실제 이미지에서 나타나는 일반적인 노이즈 유형#

자기지도 학습이 이미지 노이즈 제거에 사용되는 방식을 살펴보기 전에, 먼저 이미지가 애초에 노이즈가 생기는 이유를 다시 알아보겠습니다.

실제 사물과 장면의 이미지는 완벽한 경우가 거의 없습니다. 낮은 조도, 제한적인 센서 품질, 빠른 움직임은 이미지 전체의 개별 픽셀에 무작위 교란을 일으킬 수 있습니다. 노이즈라고 하는 이러한 픽셀 수준의 변화는 전체적인 선명도를 떨어뜨리고 중요한 세부 정보를 보기 어렵게 만듭니다.

노이즈가 가장자리, 텍스처, 미묘한 패턴을 가리면 컴퓨터 비전 시스템은 객체를 인식하거나 장면을 정확하게 해석하는 데 어려움을 겪습니다. 조건에 따라 서로 다른 유형의 노이즈가 발생하며, 각각 고유한 방식으로 이미지에 영향을 줍니다.

그림 1. 노이즈로 인해 이미지의 불확실성이 증가할 수 있는 방식의 예시입니다. (출처)

이미지에서 발견되는 가장 일반적인 노이즈 유형은 다음과 같습니다.

• 가우시안 노이즈: 전자 센서 간섭이나 열 변동으로 인해 부드럽고 무작위적인 입자 형태로 나타나는 노이즈입니다. 가우시안(정규) 분포를 따르며, 작은 픽셀 변화가 미세한 세부 정보를 흐리게 하고 전반적인 선명도를 낮춥니다.
• 포아송 노이즈: 샷 노이즈라고도 하는 이 유형의 노이즈는 저조도 조건이나 짧은 노출 시간에서 발생합니다. 밝기가 증가하면 분산도 커지지만, 포착되는 광자가 적어 신호 대 노이즈 비가 낮아지므로 어두운 영역에서 노이즈가 더 두드러지는 경우가 많습니다.
• 소금-후추 노이즈: 선명한 검은색 또는 흰색 픽셀 스파이크로 나타나는 노이즈입니다. 일반적으로 전송 오류, 비트 손상 또는 결함이 있는 카메라 센서로 인해 발생하며, 픽셀 값이 누락되거나 손상되는 결과를 초래합니다.
• 스펙클 노이즈: 입자감이 있는 점 형태의 패턴으로 나타나는 노이즈로, 의료, 레이더, 초음파 영상에서 흔히 발생합니다. 신호 간섭과 산란으로 인해 발생하며, 대비를 낮추고 가장자리를 감지하기 어렵게 만듭니다.

자기지도 노이즈 제거는 언제 사용해야 할까요?#

그렇다면 자기지도 노이즈 제거가 특별한 이유는 무엇일까요? 깨끗한 그라운드 트루스 이미지가 존재하지 않거나 촬영하기가 너무 어려운 상황에서 특히 효과적입니다.

이는 저조도 사진, 높은 ISO 이미징, 의료 및 과학 이미징, 또는 노이즈를 피할 수 없고 완벽한 참조 데이터를 수집하기 어려운 모든 환경에서 자주 발생합니다. 깨끗한 예시가 필요한 대신, 모델은 이미 보유한 노이즈 이미지에서 직접 학습하므로 카메라나 센서의 특정 노이즈 패턴에 맞게 조정할 수 있습니다.

데이터셋에 일관되지 않거나 노이즈가 많은 이미지가 가득하지만 다운스트림 컴퓨터 비전 작업의 성능을 높이고 싶을 때에도 자기지도 노이즈 제거는 훌륭한 선택입니다. 이러한 방법은 더 선명한 가장자리, 텍스처, 구조를 복원하여 YOLO와 같은 모델이 장면을 더 안정적으로 감지하고 세그먼트하며 이해하도록 돕습니다. 요약하면 노이즈가 많은 데이터를 다루고 깨끗한 학습 이미지를 사용할 수 없다면, 자기지도 노이즈 제거는 가장 실용적이고 효과적인 해결책인 경우가 많습니다.

자기지도 노이즈 제거를 이끄는 핵심 기법#

앞서 살펴본 것처럼 자기지도 노이즈 제거는 깨끗한 라벨에 의존하지 않고 모델이 노이즈 이미지에서 직접 학습하도록 하는 딥러닝 기반 AI 접근 방식입니다. 모델이 데이터 자체에서 학습 신호를 생성하는 자기지도 학습의 원리를 기반으로 합니다.

다시 말해 모델은 노이즈 이미지를 입력이자 학습 신호의 원천으로 사용하여 스스로 학습할 수 있습니다. 동일한 이미지의 서로 다른 손상 버전을 비교하거나 마스킹된 픽셀을 예측하면서, 모델은 어떤 패턴이 실제 구조를 나타내고 어떤 패턴이 단순한 노이즈인지 학습합니다. 반복적인 최적화와 패턴 인식을 통해 네트워크는 의미 있는 이미지 콘텐츠와 무작위 변동을 구분하는 능력을 점진적으로 향상합니다.

그림 2. 원본 이미지와 노이즈가 제거된 이미지입니다. (출처)

이는 모델이 안정적인 이미지 구조와 무작위 노이즈를 분리하도록 유도하는 특정 학습 전략을 통해 가능합니다. 이제 이 과정을 간소화하는 핵심 기법과 알고리즘, 그리고 각 접근 방식이 모델의 더 깨끗하고 신뢰할 수 있는 이미지 재구성을 어떻게 돕는지 자세히 살펴보겠습니다.

쌍 이미지 노이즈 제거 방법#

초기의 많은 자기지도 노이즈 제거 방법은 동일한 이미지의 노이즈 버전 두 개를 비교하는 방식으로 작동했습니다. 이미지를 캡처하거나 손상시킬 때마다 노이즈는 무작위로 변하지만 실제 구조는 동일하게 유지되므로, 이러한 차이를 모델의 학습 신호로 사용할 수 있습니다.

이러한 접근 방식은 학습 중 노이즈 이미지 쌍을 사용하거나 생성하기 때문에 일반적으로 쌍 이미지 노이즈 제거 방법이라고 합니다. 예를 들어 Noise2Noise 접근 방식( Jaakko Lehtinen과 연구팀이 제안)은 동일한 장면을 독립적으로 노이즈 처리한 이미지 두 장을 사용하여 모델을 학습합니다. 두 버전의 노이즈 패턴이 서로 다르므로 모델은 실제 원본 이미지에 해당하는 일관된 세부 정보를 식별하는 방법을 학습합니다.

그림 3. Noise2Noise의 작동 방식 (출처)

시간이 지나면 네트워크는 깨끗한 참조 이미지를 전혀 보지 않고도 무작위 노이즈를 억제하고 실제 구조를 보존하는 방법을 학습합니다. 밤에 저조도의 거리를 두 번 촬영하는 간단한 상황을 생각해 보겠습니다.

각 이미지에는 동일한 건물, 조명, 그림자가 포함되지만 입자 형태의 노이즈는 서로 다른 위치에 나타납니다. 학습 중 이 두 노이즈 사진을 비교하면 자기지도 모델은 어떤 시각적 패턴이 안정적이고 어떤 패턴이 노이즈로 인해 발생하는지 학습하여 더 깨끗한 이미지를 재구성하는 능력을 궁극적으로 향상할 수 있습니다.

노이즈 제거를 위한 블라인드 스팟 기반 자기지도 학습 방법#

쌍 이미지 방법이 동일한 이미지의 서로 다르게 손상된 두 버전을 비교하는 반면, 블라인드 스팟 방법은 다른 접근 방식을 취합니다. 선택한 픽셀을 숨겨 네트워크가 해당 픽셀의 손상된 값을 볼 수 없도록 함으로써 모델이 단일 노이즈 이미지에서 학습하도록 합니다.

그런 다음 모델은 주변 맥락만 사용하여 숨겨진 픽셀을 예측해야 합니다. 핵심 아이디어는 노이즈는 무작위이지만 이미지의 근본적인 구조는 그렇지 않다는 것입니다.

모델이 픽셀의 노이즈 값을 그대로 복사하지 못하게 하면 블라인드 스팟 방법은 주변 가장자리, 텍스처, 색상 그라데이션과 같은 안정적인 이미지 패턴을 바탕으로 해당 픽셀의 올바른 값을 추론하도록 유도합니다. Noise2Void(Alexander Krull과 연구팀이 소개) 및 Noise2Self(Joshua Batson과 Loïc Royer가 개발)와 같은 기법은 개별 픽셀이나 작은 주변 영역을 마스킹하고 모델이 이를 재구성하도록 학습하여 이 원리를 구현합니다.

Noise2Same 및 PN2V를 포함한 고급 접근 방식은 여러 마스크 버전에 걸쳐 일관된 예측을 강제하거나 노이즈 분포를 명시적으로 모델링하여 불확실성을 추정함으로써 견고성을 높입니다. 이러한 방법은 단일 노이즈 이미지만 필요하므로 깨끗한 이미지나 쌍 이미지를 캡처하기 어렵거나 불가능한 현미경 검사, 천문학, 생의학 이미징, 저조도 사진과 같은 분야에서 특히 유용합니다.

Transformer 지원 노이즈 제거 방법#

대부분의 쌍 이미지 및 블라인드 스팟 자기지도 노이즈 제거 방법은 합성곱 신경망(CNN) 또는 노이즈 제거 네트워크에 의존합니다. CNN은 가장자리, 텍스처, 작은 세부 정보와 같은 로컬 패턴에 집중하기 때문에 이러한 접근 방식에 적합합니다.

U-Net과 같은 아키텍처는 세밀한 특징과 멀티스케일 정보를 결합하므로 널리 사용됩니다. 그러나 CNN은 주로 제한된 주변 영역 내에서 작동하기 때문에 이미지의 더 넓은 영역에 걸쳐 있는 중요한 관계를 놓칠 수 있습니다.

Transformer를 지원하는 최첨단 노이즈 제거 방법은 이러한 한계를 해결하기 위해 도입되었습니다. 제안된 방법은 주변 픽셀만 살펴보는 대신 어텐션 메커니즘을 사용하여 이미지의 서로 다른 부분이 어떤 관계를 맺는지 파악합니다.

일부 모델은 완전한 글로벌 어텐션을 사용하고, 다른 모델은 연산량을 줄이기 위해 윈도우 기반 또는 계층적 어텐션을 사용합니다. 그러나 일반적으로 이러한 모델은 CNN만으로는 포착할 수 없는 장거리 구조를 포착하도록 설계되었습니다. 이러한 폭넓은 관점은 이미지 전체의 정보가 필요한 반복 텍스처, 매끄러운 표면 또는 큰 객체를 모델이 복원하는 데 도움을 줍니다.

기타 이미지 노이즈 제거 방법#

자기지도 기법 외에도 노이즈 이미지를 정리하는 여러 방법이 있습니다. 양방향 필터링, 웨이블릿 노이즈 제거, 비국소 평균과 같은 전통적인 방법은 중요한 세부 정보를 유지하면서 노이즈를 평활화하기 위해 간단한 수학적 규칙을 사용합니다.

한편 깨끗한 이미지와 노이즈 이미지 쌍으로 학습하는 지도 모델, 더 선명하고 사실적인 결과를 생성하는 생성적 적대 신경망(GAN) 등 딥러닝 접근 방식도 존재합니다. 그러나 이러한 방법은 일반적으로 학습을 위해 더 높은 이미지 품질을 요구합니다.

자기지도 이미지 노이즈 제거의 작동 방식 단계별 살펴보기#

방금 여러 가지 기법을 살펴보았으므로, 각 기법이 고유한 아키텍처를 사용한다는 점에서 서로 완전히 다른 방식으로 작동하는지 궁금할 수 있습니다. 그러나 이러한 기법은 모두 데이터 준비로 시작하여 모델 평가로 끝나는 유사한 파이프라인을 따릅니다.

이제 전반적인 자기지도 이미지 노이즈 제거 과정이 단계별로 어떻게 작동하는지 자세히 살펴보겠습니다.

1단계: 전처리 및 정규화#

모델이 노이즈 이미지에서 학습을 시작하기 전에 가장 먼저 해야 할 일은 모든 이미지가 일관되게 보이는지 확인하는 것입니다. 실제 사진은 매우 다양할 수 있습니다.

일부 이미지는 너무 밝고, 다른 이미지는 너무 어두울 수 있으며, 색상이 약간 어긋난 이미지도 있을 수 있습니다. 이러한 변형을 모델에 직접 입력하면 노이즈의 형태를 학습하는 데 집중하기가 어려워집니다.

이를 처리하기 위해 각 이미지는 정규화와 기본 전처리 과정을 거칩니다. 여기에는 픽셀 값을 표준 범위로 조정하거나, 밝기 변화를 보정하거나, 이미지를 자르고 크기를 조정하는 작업이 포함될 수 있습니다. 핵심은 모델이 안정적이고 비교 가능한 입력으로 사용할 수 있는 정제된 데이터를 받도록 하는 것입니다.

2단계: 자기지도 학습 신호 생성#

이미지가 정규화되면 다음 단계는 모델이 깨끗한 이미지를 전혀 보지 않고도 학습할 수 있도록 학습 신호를 생성하는 것입니다. 자기지도 노이즈 제거 방법은 모델이 입력으로 받은 노이즈 픽셀 값을 단순히 복사할 수 없도록 하여 이를 수행합니다.

대신 모델이 예측할 수 없는 노이즈가 아니라 안정적인 구조를 포함하는 이미지 주변 맥락에 의존해야 하는 상황을 만듭니다. 방법마다 구현 방식은 조금씩 다르지만 핵심 아이디어는 동일합니다.

일부 접근 방식은 특정 픽셀을 일시적으로 숨기거나 마스킹하여 모델이 주변 픽셀에서 해당 값을 추론하도록 합니다. 다른 접근 방식은 동일한 노이즈 이미지에서 별도로 손상된 버전을 생성하여 입력과 타깃에 독립적인 노이즈가 포함되도록 합니다. 두 경우 모두 타깃 이미지는 의미 있는 구조 정보를 담으면서 네트워크가 예측해야 하는 픽셀의 원래 노이즈 값에 접근하지 못하도록 합니다.

노이즈는 무작위로 변하지만 underlying 이미지는 일관되게 유지되므로, 이러한 설정은 자연스럽게 모델이 실제 구조의 형태를 학습하고 버전마다 달라지는 노이즈를 무시하도록 유도합니다.

3단계: 이미지 구조를 복원하기 위한 노이즈 제거 학습#

학습 신호가 마련되면 모델은 모델 학습을 통해 의미 있는 이미지 구조와 노이즈를 분리하는 방법을 학습하기 시작할 수 있습니다. 마스킹되거나 다시 손상된 픽셀을 예측할 때마다 모델은 해당 위치를 원래 차지했던 노이즈 값이 아니라 주변 맥락에 의존해야 합니다.

많은 반복 또는 에포크를 거치면서 네트워크는 가장자리, 텍스처, 매끄러운 표면처럼 이미지 전체에서 안정적으로 유지되는 패턴을 인식하는 방법을 학습합니다. 또한 노이즈의 특징인 무작위 변동을 무시하는 방법도 학습합니다.

예를 들어 표면이 매우 거칠게 보이는 저조도 사진을 생각해 보겠습니다. 노이즈는 픽셀마다 달라지지만 근본적인 표면은 여전히 매끄럽습니다. 이러한 영역에서 숨겨진 픽셀을 반복적으로 추론하면 모델은 노이즈 아래의 안정적인 패턴을 식별하고 더 깨끗하게 재구성하는 능력을 점진적으로 향상합니다.

모델 학습 과정을 통해 네트워크는 이미지 구조에 대한 내부 표현을 학습합니다. 이를 통해 입력이 심하게 손상된 경우에도 일관된 세부 정보를 복원할 수 있습니다.

4단계: 검증 및 노이즈 감소 결과#

모델이 숨겨졌거나 다시 손상된 픽셀을 예측하는 방법을 학습한 후 마지막 단계는 전체 이미지에서 얼마나 잘 작동하는지 평가하는 것입니다. 테스트 중 모델은 전체 노이즈 이미지를 입력받고 이미지 구조에 대해 학습한 내용을 바탕으로 완전한 노이즈 제거 버전을 생성합니다. 이 과정의 효과를 측정하기 위해 출력 결과를 깨끗한 참조 이미지 또는 표준 벤치마크 데이터셋과 비교합니다.

일반적으로 사용되는 두 가지 메트릭은 PSNR(최대 신호 대 노이즈 비)과 SSIM(구조적 유사성 지수)입니다. PSNR은 재구성 결과가 깨끗한 그라운드 트루스에 얼마나 가까운지 측정하고, SSIM은 가장자리와 텍스처 같은 중요한 특징이 얼마나 잘 보존되는지 평가합니다. 점수가 높을수록 일반적으로 더 정확하고 시각적으로 신뢰할 수 있는 노이즈 제거를 의미합니다.

학습 및 벤치마킹에 사용되는 이미지 데이터셋#

자기지도 노이즈 제거 연구는 IEEE 저널과 CVF 학회, 특히 CVPR, ICCV, ECCV 등에 게재되고 arXiv를 통해 널리 배포되며, 통제된 조건과 실제 조건 모두에서 딥러닝 방법의 모델 성능을 평가하기 위해 합성 데이터셋과 실제 데이터셋을 함께 사용하는 경우가 많습니다. 한편 합성 데이터셋은 깨끗한 이미지로 시작해 인공 노이즈를 추가하므로 PSNR 및 SSIM과 같은 메트릭을 사용하여 방법을 쉽게 비교할 수 있습니다.

벤치마킹을 위해 합성 노이즈를 추가하여 흔히 사용하는 인기 데이터셋은 다음과 같습니다.

• Kodak24: 시각적으로 노이즈 제거 결과를 비교하는 데 흔히 사용되는 고품질 자연 장면 사진을 제공합니다.
• DIV2K: 텍스처 충실도와 전반적인 복원 품질을 평가하는 데 사용되는 다양하고 세부적인 고해상도 이미지를 포함합니다.

반면 실제 노이즈 데이터셋에는 저조도, 높은 ISO 또는 기타 까다로운 조건에서 카메라 센서로 직접 촬영한 이미지가 포함됩니다. 이러한 데이터셋은 쉽게 시뮬레이션할 수 없는 복잡한 비가우시안 노이즈를 모델이 처리할 수 있는지 테스트합니다.

인기 있는 실제 노이즈 데이터셋은 다음과 같습니다.

• SIDD: 다양한 조명 환경에서 스마트폰 센서로 촬영한 실제 노이즈 이미지와 깨끗한 이미지 쌍을 제공합니다.
• DND: 소비자용 카메라에서 발견되는 현실적인 센서 노이즈 패턴을 포착한 고ISO 사진을 포함합니다.

그림 4. DND 데이터셋의 예시입니다. (출처)

자기지도 노이즈 제거 모델 학습 시 고려할 요소#

딥러닝 기반 자기지도 노이즈 제거 모델을 학습하려는 경우 고려해야 할 요소와 한계는 다음과 같습니다.

• 노이즈 분포 일치: 학습에 사용하는 노이즈 이미지에는 모델이 실제 사용 환경에서 접하게 될 것과 동일한 노이즈가 반영되어야 합니다. 일치하지 않는 노이즈는 일반화 성능을 저하시킵니다.
• 학습 데이터의 다양성 확보: 변형이 제한되면 복잡한 텍스처에서 과적합이나 과도한 평활화가 발생할 수 있습니다.
• 노이즈 유형의 한계 인지: 자기지도 방법은 구조적이거나 상관성이 있거나 무작위가 아닌 노이즈를 처리하는 데 더 큰 어려움을 겪습니다.
• 여러 디바이스 또는 센서에서 테스트: 노이즈 제거 성능은 카메라나 이미징 시스템에 따라 크게 달라질 수 있습니다.

핵심 요점#

자기지도 노이즈 제거는 AI 애호가가 이미 보유한 노이즈 데이터만 사용하여 이미지를 정리할 수 있는 실용적인 방법을 제공합니다. 노이즈 아래에 있는 실제 구조를 인식하도록 학습함으로써 이러한 방법은 중요한 시각적 세부 정보를 복원할 수 있습니다. 노이즈 제거 기술이 계속 발전함에 따라 일상적인 환경에서 다양한 컴퓨터 비전 작업의 안정성이 향상될 가능성이 큽니다.

성장하는 커뮤니티의 일원이 되어 보세요! GitHub 저장소를 살펴보고 AI에 대해 자세히 알아보세요. 컴퓨터 비전 솔루션을 구축하려는 경우 라이선스 옵션을 확인해 보세요. 리테일 분야의 컴퓨터 비전의 이점을 살펴보고 제조 분야의 AI가 어떤 변화를 만들어 내는지 확인해 보세요!