자기 지도 학습을 사용한 이미지 디노이징

이미지는 우리가 촬영하는 사진부터 공공장소의 카메라로 녹화되는 영상까지 일상생활의 일부입니다. 이미지에는 유용한 정보가 담겨 있으며, 최첨단 기술을 통해 이러한 데이터를 분석하고 해석할 수 있습니다.

특히 컴퓨터 비전은 인공지능(AI)의 한 분야로, 기계가 사람처럼 시각 정보를 처리하고 자신이 보는 것을 이해할 수 있도록 합니다. 그러나 실제 애플리케이션에서 이미지는 완벽한 경우가 드뭅니다.

비, 먼지, 저조도 또는 센서의 한계로 인해 발생하는 이미지 노이즈는 중요한 세부 정보를 가릴 수 있으며, Vision AI 모델이 객체를 감지하거나 장면을 정확하게 해석하기 어렵게 만듭니다. 이미지 노이즈 제거는 이러한 노이즈를 줄여 Vision AI 모델이 세부 정보를 더 선명하게 확인하고 더 나은 예측을 수행할 수 있도록 합니다.

그림 1. 이미지 노이즈 제거 예시입니다. (출처)

기존에는 이미지 노이즈 제거에 지도 학습을 주로 사용했습니다. 지도 학습에서는 노이즈가 있는 이미지와 깨끗한 이미지로 구성된 쌍을 사용해 모델을 학습시키고 노이즈를 제거하는 방법을 익히게 합니다. 그러나 완벽하게 깨끗한 참조 이미지를 수집하는 일이 항상 실용적인 것은 아닙니다.

이러한 문제를 해결하기 위해 연구자들은 자기 지도 이미지 노이즈 제거 모델을 개발했습니다. 이 모델은 깨끗한 참조 이미지 없이도 데이터에서 직접 학습하고, 자체 학습 신호를 생성하여 노이즈를 제거하면서 중요한 세부 정보를 보존하도록 AI 모델을 학습시키는 것을 목표로 합니다.

이 글에서는 자기 지도 이미지 노이즈 제거 모델과 그 작동 방식, 핵심 기술 및 실제 애플리케이션을 자세히 살펴봅니다. 시작해 보겠습니다.

자기 지도 이미지 노이즈 제거란 무엇인가요?#

노이즈가 있는 이미지는 Vision AI 모델이 사진 속 내용을 해석하기 어렵게 만들 수 있습니다. 예를 들어 저조도 환경에서 촬영한 사진은 거칠거나 흐릿하게 보일 수 있으며, 이로 인해 모델이 객체를 정확하게 식별하는 데 도움이 되는 미세한 특징이 가려집니다.

지도 학습 기반 노이즈 제거에서는 노이즈가 있는 이미지와 깨끗한 이미지 한 장씩으로 구성된 이미지 쌍을 사용해 모델을 학습시키고 원치 않는 노이즈를 제거하는 방법을 익히게 합니다. 이 접근 방식은 효과적이지만, 실제 환경에서 완벽하게 깨끗한 참조 데이터를 수집하는 일은 시간이 많이 걸리고 어렵습니다.

이 때문에 연구자들은 자기 지도 이미지 노이즈 제거로 관심을 돌렸습니다. 자기 지도 이미지 노이즈 제거는 자기 지도 학습의 개념을 기반으로 하며, 모델이 데이터에서 자체 학습 신호를 생성해 스스로 학습하도록 합니다.

이 방법은 대규모 라벨링 데이터 세트에 의존하지 않으므로 더 빠르고 확장성이 높으며, 깨끗한 참조 이미지를 확보하기 어려운 저조도 사진, 의료 영상, 위성 이미지 분석과 같은 다양한 도메인에 쉽게 적용할 수 있습니다.

이 접근 방식은 깨끗한 참조 이미지에 의존하는 대신 마스킹된 픽셀을 예측하거나 누락된 부분을 재구성하여 노이즈 데이터로 직접 학습합니다. 이 과정을 통해 모델은 의미 있는 이미지 세부 정보와 무작위 노이즈를 구분하는 방법을 학습하며, 더 선명하고 정확한 결과를 생성합니다.

자기 지도 학습은 비지도 학습과 비슷해 보일 수 있지만 실제로는 비지도 학습의 특수한 경우입니다. 핵심적인 차이는 자기 지도 학습에서는 모델이 데이터에서 자체 라벨 또는 학습 신호를 생성하여 특정 작업을 학습한다는 점입니다. 반면 비지도 학습은 명시적인 작업이나 사전 정의된 목표 없이 데이터에 숨겨진 패턴이나 구조를 찾는 데 중점을 둡니다.

자기 지도 노이즈 제거의 학습 전략#

자기 지도 노이즈 제거에서는 여러 방식으로 학습이 이루어집니다. 일부 자기 지도 노이즈 제거 모델은 마스킹되거나 누락된 픽셀을 채우고, 다른 모델은 동일한 이미지의 여러 노이즈 버전을 비교하여 일관된 세부 정보를 찾습니다.

예를 들어 블라인드 스팟 학습이라는 널리 사용되는 방법은 노이즈 제거 모델이 재구성 중인 픽셀을 무시하고 주변 컨텍스트에 의존하도록 학습하는 데 중점을 둡니다. 시간이 지나면 모델은 중요한 텍스처, 가장자리 및 색상을 보존하면서 고품질 이미지를 재구성합니다.

노이즈 제거를 위한 자기 지도 학습의 작동 방식#

이제 자기 지도 학습이 노이즈를 제거하는 과정의 원리를 살펴보겠습니다.

자기 지도 노이즈 제거 과정은 일반적으로 노이즈가 있는 이미지를 노이즈 제거 모델에 입력하는 것부터 시작합니다. 모델은 주변 픽셀을 분석하여 불분명하거나 마스킹된 각 픽셀이 어떤 모습이어야 하는지 추정하고, 노이즈와 실제 시각적 세부 정보를 구분하는 방법을 점진적으로 학습합니다.

어둡고 거친 하늘 이미지의 경우를 생각해 보겠습니다. 모델은 주변의 별과 패턴을 살펴보고 노이즈가 있는 각 영역이 노이즈 없이 어떤 모습이어야 하는지 예측합니다. 전체 이미지에서 이 과정을 반복하면 모델은 무작위 노이즈와 의미 있는 특징을 분리하는 방법을 학습하여 더 선명하고 정확한 결과를 생성합니다.

즉, 모델은 완벽하게 깨끗한 참조 이미지 없이도 컨텍스트를 기반으로 더 깨끗한 이미지 버전을 예측합니다. 이 과정은 다양한 유형의 모델을 사용해 구현할 수 있으며, 각 모델은 노이즈 처리에서 고유한 강점을 가집니다.

자기 지도 이미지 노이즈 감소에 사용되는 모델 유형#

자기 지도 이미지 노이즈 제거에 일반적으로 사용되는 모델 유형을 간단히 살펴보겠습니다.

• 합성곱 신경망 (CNNs): CNNs는 이미지의 작은 영역에서 패턴을 인식하도록 설계된 딥러닝 모델입니다. 필터를 사용해 이미지를 스캔하면서 가장자리, 형태 및 텍스처를 감지합니다. 자기 지도 노이즈 제거에서는 대상 픽셀을 입력에서 제외하고 주변 픽셀만을 바탕으로 해당 값을 예측하게 하는 블라인드 스팟 기법을 자주 사용합니다. 이를 통해 모델이 노이즈를 단순히 복사하지 않고 더 깨끗한 세부 정보를 추론할 수 있습니다.
• 오토인코더: 오토인코더는 데이터를 압축하고 재구성하는 방법을 학습하는 신경망입니다. 먼저 이미지를 더 작은 표현으로 줄인 다음(인코딩) 다시 복원합니다(디코딩). 이 과정에서 형태와 텍스처 같은 중요한 시각적 특징을 포착하는 동시에 무작위 노이즈와 관련 없는 세부 정보를 걸러내는 방법을 학습합니다.
• Transformer 기반 모델: Transformer는 원래 자연어 처리를 위해 개발되었지만 현재는 비전 작업에도 널리 사용되는 모델입니다. 이미지 전체를 한 번에 처리하면서 서로 다른 영역이 어떤 관계를 가지는지 학습합니다. 이러한 전역적 관점 덕분에 복잡하거나 고해상도인 이미지에서도 미세한 세부 정보와 구조적 일관성을 보존할 수 있습니다.

그림 2. 자기 지도 이미지 노이즈 제거에 사용되는 CNN 기반 아키텍처입니다. (출처)

다양한 조명과 ISO 설정에서 촬영한 이미지로 이러한 모델을 학습시키면 여러 실제 상황에서 효과적으로 작동할 수 있습니다. 디지털 카메라에서 ISO 설정은 수신한 신호를 증폭하여 카메라가 이미지를 얼마나 밝게 만들지 제어합니다.

ISO가 높으면 어두운 곳에서 사진이 더 밝아지지만 노이즈도 증가하고 세부 정보는 줄어듭니다. 다양한 ISO 수준에서 촬영한 이미지로 학습하면 모델이 실제 세부 정보와 노이즈를 더 잘 구분할 수 있어 더 선명하고 정확한 결과를 얻을 수 있습니다.

노이즈 제거 모델은 무엇이 노이즈이고 무엇이 실제 정보인지 어떻게 학습하나요?#

노이즈 제거 모델은 노이즈 제거에 사용되는 모델 유형과는 별개의 다양한 학습 기법을 통해 노이즈와 실제 이미지 세부 정보를 구분하는 방법을 학습합니다. CNN, 오토인코더, Transformer와 같은 모델 유형은 네트워크의 구조와 시각 정보를 처리하는 방식을 설명합니다.

반면 학습 기법은 모델이 학습하는 방식을 정의합니다. 일부 방법은 컨텍스트 기반 예측을 사용하여 주변 영역의 정보를 바탕으로 누락되거나 마스킹된 픽셀을 채웁니다.

다른 방법은 재구성 기반 학습을 사용합니다. 이 방식에서는 모델이 이미지를 더 단순한 형태로 압축한 다음 다시 복원하여 가장자리와 텍스처 같은 의미 있는 구조를 인식하는 동시에 무작위 노이즈를 걸러내도록 합니다.

모델 유형과 학습 기법은 함께 노이즈 제거 모델이 이미지를 얼마나 효과적으로 정리할 수 있는지를 결정합니다. 적절한 아키텍처와 학습 접근 방식을 결합하면 자기 지도 노이즈 제거 모델은 다양한 유형의 노이즈에 적응하고, 깨끗한 참조 데이터 없이도 더 선명하고 정확한 이미지를 생성할 수 있습니다.

자기 지도 AI 이미지 노이즈 제거의 핵심 기법#

효과적인 자기 지도 이미지 노이즈 제거를 가능하게 하는 널리 사용되는 학습 기법은 다음과 같습니다.

• Noise2Noise: 이 방법은 동일한 이미지의 노이즈가 있는 두 가지 버전을 사용해 모델을 학습합니다. 각 버전의 노이즈는 무작위이므로 모델은 실제 이미지를 나타내는 일관된 세부 정보에 집중하고 노이즈는 무시하는 방법을 학습합니다. 버스트 촬영이나 의료 및 과학 영상처럼 동일한 장면을 노이즈가 있는 상태로 여러 번 캡처할 수 있을 때 가장 효과적입니다.
• Noise2Void 또는 Noise2Self: 이러한 기법은 노이즈가 있는 단일 이미지에서 픽셀 하나를 숨기거나(마스킹) 주변 픽셀을 바탕으로 그 값을 예측하도록 모델에 요청하여 학습합니다. 이를 통해 모델이 노이즈 데이터를 단순히 복사하는 것을 방지하고 이미지의 자연스러운 구조를 학습하도록 합니다. 현미경, 천문학 또는 저조도 사진처럼 노이즈가 있는 이미지 하나만 사용할 수 있을 때 특히 유용합니다.
• 블라인드 스팟 네트워크: 이 네트워크는 모델이 재구성 중인 픽셀을 볼 수 없도록 특별히 설계됩니다. 대신 주변 영역의 정보에 의존하여 해당 픽셀이 어떤 모습이어야 하는지 추정합니다. 이를 통해 노이즈를 더 정확하고 편향 없이 제거할 수 있으며, 픽셀 단위 노이즈 제거 작업에서 Noise2Void 또는 Noise2Self 방법과 함께 사용하는 경우가 많습니다.
• 마스킹 오토인코더(MAE): 이 접근 방식에서는 이미지의 일부를 숨기고 모델이 누락된 영역을 재구성하도록 학습합니다. 이를 통해 미세한 세부 정보와 전체 구조를 모두 학습하며, 실제 콘텐츠와 노이즈를 구분하는 데 도움이 됩니다. 마스킹 오토인코더는 더 넓은 컨텍스트를 이해하면 복원이 향상되는 고해상도 또는 복잡한 이미지에서 특히 효과적입니다.

이미지 노이즈 제거 시스템 평가#

이미지 노이즈 제거는 노이즈를 줄이는 것과 미세한 세부 정보를 온전히 유지하는 것이라는 두 가지 목표 사이에서 신중한 균형을 이루어야 합니다. 노이즈를 지나치게 제거하면 이미지가 부드럽거나 흐릿해질 수 있고, 충분히 제거하지 않으면 원치 않는 입자나 아티팩트가 남을 수 있습니다.

모델이 이러한 균형을 얼마나 잘 맞추는지 이해하기 위해 연구자들은 이미지의 선명도와 세부 정보 보존을 모두 측정하는 평가 지표를 사용합니다. 이러한 지표는 중요한 시각 정보를 잃지 않고 모델이 이미지를 얼마나 잘 정리하는지 보여줍니다.

이미지 품질과 노이즈 제거 성능을 측정하는 데 도움이 되는 일반적인 평가 지표는 다음과 같습니다.

• 평균 제곱 오차(MSE): 원본 이미지와 노이즈가 제거된 이미지 사이의 평균 제곱 차이를 측정합니다. 픽셀 수준에서 출력이 원본에 얼마나 가까운지 보여줍니다. MSE 값이 낮을수록 오류가 적고 결과가 더 정확합니다.
• 최대 신호 대 잡음비(PSNR): 이 지표는 원본 이미지 신호의 세기와 남아 있는 노이즈를 비교하며 데시벨로 표시합니다. 노이즈 제거 후 원본 세부 정보가 얼마나 보존되었는지 확인하는 데 사용됩니다. PSNR 값이 높을수록 이미지가 더 선명하고 품질이 높습니다.
• 구조적 유사성 지수 측정(SSIM): SSIM은 구조, 밝기 및 대비를 평가하여 노이즈가 제거된 이미지와 원본 이미지의 유사성을 측정합니다. 단순한 수치가 아니라 사람이 이미지를 보는 방식을 중점적으로 반영합니다. SSIM 점수가 높을수록 이미지가 더 자연스럽고 원본에 가깝게 보입니다.
• 지각 지표: 이러한 지표는 딥러닝 모델을 사용하여 이미지가 얼마나 사실적이고 자연스럽게 보이는지 판단합니다. 개별 픽셀을 비교하는 대신 전체적인 외관, 텍스처 및 시각적 유사성에 중점을 둡니다. 대부분의 경우 점수가 낮을수록 이미지가 원본에 더 가깝고 사람에게 시각적으로 더 보기 좋습니다.

자기 지도 노이즈 제거의 애플리케이션#

이제 노이즈 제거가 무엇인지 더 잘 이해했으므로, 자기 지도 이미지 노이즈 제거가 실제 환경에 어떻게 적용되는지 살펴보겠습니다.

천체 사진에 자기 지도 노이즈 제거 사용하기#

별과 은하를 선명하게 촬영하는 일은 쉽지 않습니다. 밤하늘은 어둡기 때문에 카메라에 긴 노출 시간이 필요한 경우가 많고, 이로 인해 원치 않는 노이즈가 발생할 수 있습니다. 이러한 노이즈는 미세한 우주 세부 정보를 흐리게 만들고 희미한 신호를 감지하기 어렵게 할 수 있습니다.

기존 노이즈 제거 도구는 노이즈를 줄이는 데 도움이 되지만 중요한 세부 정보까지 함께 제거하는 경우가 많습니다. 자기 지도 노이즈 제거는 더 지능적인 대안을 제공합니다. AI 모델은 노이즈가 있는 이미지에서 직접 학습하여 실제 특징을 나타내는 패턴을 인식하고 무작위 노이즈와 분리할 수 있습니다.

그 결과 별, 은하, 태양과 같은 천체가 훨씬 선명하게 보이며, 그렇지 않으면 놓칠 수 있는 희미한 세부 정보까지 드러납니다. 또한 미세한 천문학적 특징을 향상시켜 이미지 선명도를 높이고 데이터를 과학 연구에 더 유용하게 만들 수 있습니다.

그림 3. 이미지 노이즈 제거로 천체 사진을 향상할 수 있습니다. (출처)

의료 영상에서의 자기 지도 노이즈 제거#

MRI, CT, 현미경 이미지와 같은 의료 스캔에는 작은 세부 정보를 보기 어렵게 만드는 노이즈가 포함되는 경우가 많습니다. 이는 의사가 질병의 초기 징후를 발견하거나 시간에 따른 변화를 추적해야 할 때 문제가 될 수 있습니다.

이미지 노이즈는 환자의 움직임, 낮은 신호 세기 또는 사용 가능한 방사선량의 한계로 인해 발생할 수 있습니다. 의료 스캔을 더 선명하게 만들기 위해 연구자들은 Noise2Self와 같은 자기 지도 노이즈 제거 방법 및 유사한 접근 방식을 연구해 왔습니다.

이러한 모델은 노이즈가 있는 뇌 MRI 이미지로 직접 학습하면서 스스로 노이즈 패턴을 파악하고, 완벽하게 선명한 예시 없이도 이미지를 정리합니다. 처리된 이미지는 더 선명한 텍스처와 향상된 대비를 보여 미세한 구조를 더 쉽게 식별할 수 있게 합니다. 이러한 AI 기반 노이즈 제거 모델은 진단 영상의 워크플로를 간소화하고 실시간 분석 효율성을 향상시킵니다.

그림 4. 뇌 MRI 스캔에 다양한 자기 지도 노이즈 제거 기법을 사용한 예시입니다. (출처)

자기 지도 노이즈 제거를 통한 비전 시스템 향상#

대부분의 경우 노이즈 제거는 광범위한 컴퓨터 비전 애플리케이션에 상당한 영향을 미칩니다. 원치 않는 노이즈와 왜곡을 제거하여 Vision AI 모델이 처리할 더 깨끗하고 일관된 입력 데이터를 생성합니다.

더 선명한 이미지는 객체 감지, 인스턴스 세그멘테이션, 이미지 인식과 같은 컴퓨터 비전 작업의 성능을 향상시킵니다. 다음은 Ultralytics YOLO11 및 Ultralytics YOLO26과 같은 Vision AI 모델이 노이즈 제거의 이점을 얻을 수 있는 애플리케이션의 예시입니다.

• 산업 검사: 노이즈 제거는 제조 환경에서 표면 결함이나 이상을 더 정확하게 감지하도록 하여 품질 관리를 향상시킵니다.
• 자율 주행 및 내비게이션: 저조도, 비 또는 안개와 같은 까다로운 조건에서 객체와 장애물 감지를 향상시켜 전반적인 안전성과 신뢰성을 높입니다.
• 감시 및 보안: 노이즈 제거는 저조도 또는 고압축 비디오 스트림의 이미지 품질을 향상시켜 객체나 사람을 더 정확하게 식별하고 추적할 수 있도록 합니다.
• 수중 이미징: 노이즈 제거는 산란과 빛의 왜곡을 줄여 탁한 수중 환경에서 가시성과 객체 인식을 향상시킵니다.

자기 지도 노이즈 제거의 장단점#

이미징 시스템에서 자기 지도 노이즈 제거를 사용할 때의 주요 이점은 다음과 같습니다.

• 노이즈 적응성: 자기 지도 노이즈 제거 방법은 짝지어진 깨끗한 참조 데이터 없이도 노이즈 데이터에서 직접 학습할 수 있습니다. 따라서 센서 노이즈, 모션 블러 또는 환경 간섭과 같은 다양한 실제 노이즈 수준과 유형에 매우 유연하게 대응합니다.
• 세부 정보 보존: 잘 설계된 모델은 정확한 이미지 해석에 필수적인 미세한 텍스처와 가장자리를 보존합니다. 블라인드 스팟 네트워크 및 마스킹 기반 학습과 같은 접근 방식은 노이즈를 줄이면서 구조 정보를 유지하는 데 도움이 됩니다.
• 전처리 감소: 모델은 사용 가능한 데이터만으로 노이즈 입력을 깨끗한 표현으로 매핑하는 방법을 학습하므로 수동 필터링, 수작업으로 설계한 노이즈 제거 알고리즘 또는 엄선된 학습 데이터 세트의 필요성을 줄입니다.

자기 지도 노이즈 제거에는 이점이 있지만 몇 가지 한계도 있습니다. 다음과 같은 요소를 고려해야 합니다.

• 컴퓨팅 요구 사항: 자기 지도 노이즈 제거에 사용되는 딥 신경망 아키텍처, 특히 Transformer 기반 모델은 기존 필터링 기법보다 상당한 컴퓨팅 성능과 메모리 리소스를 요구할 수 있습니다.
• 모델 설계의 복잡성: 최적의 결과를 얻으려면 마스킹 전략과 손실 함수 같은 모델 설정을 신중하게 선택해야 하며, 이러한 설정은 노이즈 유형에 따라 달라질 수 있습니다.
• 평가의 어려움: 일반적인 이미지 품질 지표가 노이즈가 제거된 이미지의 자연스러움이나 사실적인 정도와 항상 일치하는 것은 아니므로 시각적 검사나 작업별 검증이 필요한 경우가 많습니다.

핵심 요점#

자기 지도 노이즈 제거는 AI 모델이 노이즈가 있는 이미지에서 직접 학습하도록 하여 미세한 세부 정보를 보존하면서 더 선명한 결과를 생성합니다. 저조도, 높은 ISO, 세부 정보가 많은 이미지와 같은 다양한 까다로운 상황에서 효과적으로 작동합니다. AI가 계속 발전함에 따라 이러한 기법은 다양한 컴퓨터 비전 애플리케이션에서 필수적인 역할을 할 가능성이 높습니다.

커뮤니티에 참여하고 GitHub 저장소를 살펴보며 AI에 대해 더 알아보세요. 자체 Vision AI 프로젝트를 구축하려는 경우 라이선스 옵션을 확인해 보세요. 솔루션 페이지를 방문하여 헬스케어 분야의 AI 및 리테일 분야의 Vision AI와 같은 애플리케이션에 대해 더 알아보세요.