自监督去噪学习：分步解析
了解自监督去噪的工作原理、图像产生噪声的原因，以及恢复清晰视觉细节所用的关键方法和步骤。
Abirami Vina10 分钟阅读
摄像头记录的世界并不总是和我们看到的一样。在弱光下拍摄的人像，或快速行驶的汽车照片，可能会显得颗粒感很重、模糊或失真。
传感器响应慢、环境昏暗和物体运动都可能引入细小的噪点，模糊边缘并掩盖重要细节。清晰度一旦丧失，即使是先进的 AI 和机器学习系统，也可能难以理解图像内容，因为许多智能系统都依赖这些细节才能良好运行。
例如，计算机视觉是人工智能的一个分支，它使机器能够解读图像和视频。但要准确做到这一点，视觉 AI 模型需要从干净、高质量的视觉数据中学习。
具体来说，Ultralytics YOLO11 和 Ultralytics YOLO26（于 2026 年 1 月发布）等模型支持目标检测、实例分割和姿势估计等任务，并且可以针对不同用例进行定制训练。这些任务依赖清晰的视觉线索，例如边缘、纹理、颜色和精细的结构细节。
当噪声遮挡这些特征时，模型收到的训练信号会变弱，因此更难学习准确的模式。结果是，即使少量噪声也可能降低模型在实际应用中的性能。
此前，我们介绍了自监督学习如何为图像去噪。本文将深入探讨自监督去噪技术的工作原理，以及它们如何帮助恢复有意义的视觉信息。
真实图像中的常见噪声类型#
在探讨如何使用自监督学习进行图像去噪之前，我们先来回顾一下图像最初为何会产生噪声。
真实世界物体和场景的图像很少是完美的。光线不足、传感器质量有限和快速运动都可能在图像的各个像素中引入随机干扰。这些像素级干扰称为噪声，会降低整体清晰度，让重要细节更难辨认。
噪声会遮挡边缘、纹理和细微模式，使计算机视觉系统难以准确识别物体或解读场景。不同条件会产生不同类型的噪声，每种噪声对图像的影响也各不相同。
图 1。噪声如何增加图像中不确定性的示例。（来源）
以下是图像中最常见的几种噪声：
- 高斯噪声：这类噪声呈现为柔和、随机的颗粒感，由电子传感器干扰或热波动引起。它服从高斯（正态）分布，像素的微小变化会模糊精细细节并降低整体清晰度。
- 泊松噪声：也称为散粒噪声，这类噪声会在弱光条件下或曝光时间较短时出现。其方差会随亮度增加，但由于捕获的光子较少、信噪比较低，这种噪声通常在较暗区域更明显。
- 椒盐噪声：这类噪声表现为突出的黑色或白色像素点，通常由传输错误、位损坏或相机传感器故障引起，并经常导致像素值缺失或损坏。
- 散斑噪声：这类噪声表现为颗粒状的斑点图案，常见于医学成像、雷达和超声成像。它由信号干扰和散射引起，会降低对比度，让边缘更难检测。
何时应该使用自监督去噪？#
那么，自监督去噪有什么特别之处？当干净的真实图像根本不存在或难以采集时，它就能发挥优势。
这种情况常见于弱光摄影、高 ISO 成像、医学和科学成像，或任何噪声无法避免、难以收集完美参考数据的环境。模型无需干净样本，而是直接从你已有的噪声图像中学习，因此能够适应你的摄像头或传感器特有的噪声模式。
当你想提升下游计算机视觉任务的性能，但数据集中充满了质量不一或有噪声的图像时，自监督去噪也是不错的选择。通过恢复更清晰的边缘、纹理和结构，这些方法能帮助 YOLO 等模型更可靠地检测、分割和理解场景。简而言之，如果你处理的是含噪数据，而且没有干净的训练图像可用，自监督去噪通常是最实用、最有效的解决方案。
推动自监督去噪的核心技术#
正如我们之前所见，自监督去噪是一种基于深度学习的 AI 方法，模型可以直接从噪声图像中学习，无需依赖干净标签。它基于自监督学习的原理，模型从数据本身生成训练信号。
换句话说，模型可以将噪声图像既用作输入，也用作学习信号来源，从而自我学习。通过比较同一图像的不同损坏版本，或预测被遮挡的像素，模型能够学会哪些模式代表真实结构，哪些只是噪声。经过反复优化和模式识别，网络会逐步提升区分有意义图像内容与随机变化的能力。
图 2。原始图像和去噪后的图像。（来源）
特定的学习策略让这一过程成为可能，它们会引导模型将稳定的图像结构与随机噪声分离。接下来，我们进一步了解能简化这一过程的核心技术和算法，以及每种方法如何帮助模型重建更干净、更可靠的图像。
成对图像去噪方法#
许多早期的自监督去噪方法通过比较同一图像的两个噪声版本来实现去噪。每次拍摄或损坏图像时，噪声都会随机变化，但真实结构保持不变，因此这些差异可以作为模型的学习信号。
这类方法通常称为成对图像去噪方法，因为训练时需要使用或生成成对的噪声图像。例如，Noise2Noise 方法（由 Jaakko Lehtinen 及其团队提出）使用同一场景的两张独立含噪图像来训练模型。由于两个版本的噪声模式不同，模型会学习识别代表底层真实图像的共同细节。
图 3。Noise2Noise 的工作原理（来源）
随着训练的进行，网络会学会抑制随机噪声并保留真实结构，即使它从未看到过干净的参考图像。设想一个简单的场景：你在夜间对一条弱光街道拍摄两张照片。
每张图像都包含相同的建筑、灯光和阴影，但颗粒状噪声出现在不同位置。在训练期间比较这两张噪声照片，自监督模型就能学会区分稳定的视觉模式和由噪声引起的模式，最终提升重建更干净图像的能力。
基于盲点的自监督去噪方法#
成对方法依赖于比较同一图像的两个不同损坏版本，而盲点方法采用另一种思路。它们将选定像素隐藏起来，让网络看不到这些像素受噪声干扰后的数值，从而使模型能够从单张噪声图像中学习。
随后，模型必须仅根据周围的上下文预测被隐藏的像素。其核心思想是：噪声具有随机性，但图像的底层结构不是随机的。
通过阻止模型照搬像素中的噪声值，盲点方法促使模型根据附近的边缘、纹理或颜色渐变等稳定图像模式推断该像素应有的内容。Alexander Krull 及其团队提出的 Noise2Void，以及 Joshua Batson 和 Loïc Royer 开发的 Noise2Self 等技术，都通过遮挡单个像素或小范围邻域，并训练模型重建这些区域来实现这一原理。
更先进的方法（包括 Noise2Same 和 PN2V）通过要求模型在多个遮挡版本上作出一致预测，或显式建模噪声分布以估计不确定性，来提升鲁棒性。由于这些方法只需要单张噪声图像，因此在难以或不可能采集干净图像或成对图像的领域特别有用，例如显微成像、天文学、生物医学成像或弱光摄影。
Transformer 支持的去噪方法#
大多数成对式和盲点式自监督去噪方法都依赖卷积神经网络（CNN）或去噪网络。CNN 很适合这些方法，因为它们专注于局部模式，也就是边缘、纹理和细节。
U-Net 等架构应用广泛，因为它们能结合细粒度特征与多尺度信息。不过，CNNs 主要在有限的邻域范围内运算，因此可能无法捕捉跨越图像较大区域的重要关系。
为解决这一局限，人们提出了由 Transformer 支持的先进去噪方法。这些方法不再只关注邻近像素，而是利用注意力机制来理解图像不同部分之间的关系。
一些模型采用完整的全局注意力，另一些则使用基于窗口或分层的注意力来减少计算量，但总体而言，它们的设计目标是捕捉 CNNs 单独难以捕捉的长距离结构。这种更全面的视角有助于模型还原重复纹理、平滑表面或需要利用整幅图像信息的大型物体。
其他图像去噪方法#
除了自监督技术，还有其他多种方法可以清理含噪图像。双边滤波、小波去噪和非局部均值等传统方法会使用简单的数学规则，在平滑噪声的同时尽量保留重要细节。
此外，还有深度学习方法，例如通过干净与含噪图像对进行学习的监督模型，以及能够生成更锐利、更逼真结果的生成对抗网络（GANs）。不过，这些方法通常需要质量更好的图像进行训练。
逐步了解自监督图像去噪的工作原理#
我们刚才介绍了几种不同的技术，你可能会想，既然它们采用各自的架构，工作方式是否也完全不同。不过，它们都遵循类似的流程，从数据准备开始，到模型评估结束。
接下来，我们将逐步了解自监督图像去噪的整体流程。
步骤 1：预处理和归一化#
在模型开始从噪声图像中学习之前，第一步是确保所有图像看起来一致。真实照片之间可能存在很大差异。
有些图像可能过亮，有些过暗，还有些图像的颜色可能略有偏差。如果直接将这些差异输入模型，模型就更难专注于学习噪声的特征。
为此，每张图像都要经过归一化和基本预处理。这可能包括将像素值缩放到标准范围、校正亮度变化，或裁剪和调整尺寸。关键是让模型接收一致的数据，作为稳定且可比较的输入。
步骤 2：创建自监督训练信号#
图像完成归一化后，下一步是创建训练信号，让模型无需看到干净图像也能学习。自监督去噪方法会确保模型无法简单地照搬输入的噪声像素值。
相反，这些方法会创建特定条件，让模型依赖图像中具有稳定结构的周围上下文，而不是不可预测的噪声。不同方法的实现方式略有差异，但核心思想相同。
有些方法会暂时隐藏或遮挡部分像素，让模型根据邻近像素推断这些像素的内容；另一些方法则会生成同一噪声图像的另一个独立损坏版本，使输入和目标包含相互独立的噪声。在这两种情况下，目标图像都包含有意义的结构信息，同时阻止网络获取它要预测的像素原始噪声值。
由于噪声会随机变化，而图像底层内容保持一致，这种设置自然会促使模型学习真实结构的特征，并忽略不同版本之间变化的噪声。
步骤 3：学习去噪以恢复图像结构#
建立训练信号后，模型便可以通过训练开始学习如何将有意义的图像结构与噪声分离。每次预测被遮挡或重新损坏的像素时，模型都必须依赖周围上下文，而不是该位置原本的噪声值。
经过多次迭代或多个训练周期后，网络会学会识别图像中保持稳定的模式，例如边缘、纹理和平滑表面。它也会学会忽略噪声特有的随机波动。
例如，想象一张弱光照片，其中的表面看起来颗粒感很强。虽然噪声因像素而异，但底层表面仍然是平滑的。通过反复推断这类区域中的隐藏像素，模型会逐渐更擅长识别噪声之下的稳定模式，并更清晰地将其重建出来。
在模型训练过程中，网络会学习图像结构的内部表示。即使输入受到严重破坏，这也能让模型恢复连贯的细节。
步骤 4：验证和降噪效果#
模型学会预测被隐藏或重新损坏的像素后，最后一步是评估模型处理完整图像的效果。在测试期间，模型接收一张完整的噪声图像，并根据所学的图像结构生成完整的去噪结果。为了衡量这一过程的效果，会将输出与干净的参考图像或标准基准数据集进行比较。
两种常用指标是峰值信噪比（PSNR），用于衡量重建结果与干净真实图像的接近程度；以及结构相似性指数（SSIM），用于评估边缘和纹理等重要特征的保留情况。通常，分数越高，表示去噪结果越准确、视觉效果越可靠。
用于训练和基准测试的图像数据集#
发表在 IEEE 期刊、CVPR、ICCV 和 ECCV 等 CVF 会议以及 arXiv 上的自监督去噪研究，通常会结合合成数据集和真实数据集，在受控和实际条件下评估深度学习方法的模型性能。一方面，合成数据集以干净图像为起点并添加人工噪声，因此可以轻松使用 PSNR 和 SSIM 等指标比较不同方法。
以下是一些常用于添加合成噪声进行基准测试的热门数据集：
另一方面，真实世界噪声数据集包含在弱光、高 ISO 或其他严苛条件下由相机传感器直接拍摄的图像。这些数据集用于测试模型能否处理难以轻松模拟的复杂非高斯噪声。
以下是一些热门的真实世界噪声数据集：
图 4. DND 数据集示例。(来源)
训练自监督去噪模型时需要考虑的因素#
如果你打算训练基于深度学习的自监督去噪模型，以下是一些需要考虑的因素和限制：
- 匹配噪声分布：用于训练的噪声图像应反映模型在实际使用中会遇到的噪声；噪声不匹配会导致泛化能力较差。
- 确保训练数据多样化：变化有限可能导致模型在复杂纹理上过拟合或过度平滑。
- 注意噪声类型的限制：自监督方法更难处理结构化、相关或非随机噪声。
- 跨设备或传感器进行测试：不同相机或成像系统的去噪效果可能差异很大。
要点#
自监督去噪为 AI 爱好者提供了一种实用方法，只用我们已有的噪声数据就能清理图像。通过学习识别噪声下的真实结构，这些方法可以恢复重要的视觉细节。随着去噪技术不断进步，它很可能让各种计算机视觉任务在日常场景中变得更加可靠。
加入我们不断壮大的社区！访问我们的 GitHub 代码仓库，深入了解 AI。如果你想构建计算机视觉解决方案，请查看我们的许可选项。了解零售业中的计算机视觉的优势，看看制造业中的 AI如何发挥作用！
作者
评论
提出问题、分享你的结果，或帮助其他人。
