使用自监督学习为图像降噪

图像是日常生活的一部分，从我们拍摄的照片到公共场所摄像头录制的视频，无处不在。图像包含有价值的信息，而现代技术让分析和解读这些数据成为可能。

尤其是计算机视觉，作为人工智能（AI）的一个分支，它能让机器处理视觉信息并理解所看到的内容，就像人类一样。然而，在实际应用中，图像往往远非完美。

雨水、灰尘、光线不足或传感器局限性造成的图像噪声会掩盖重要细节，让视觉 AI 模型更难准确检测物体或解读场景。图像去噪有助于减少这些噪声，让视觉 AI 模型更清晰地看到细节并做出更准确的预测。

图 1. 图像去噪示例。（来源）

传统上，图像去噪依赖监督学习：使用成对的噪声图像和干净图像训练模型，使其学会去除噪声。然而，收集完全干净的参考图像并不总是可行。

为应对这一挑战，研究人员开发了自监督图像去噪模型。这类模型旨在直接从数据中学习，通过生成自己的学习信号来去除噪声，同时保留重要细节，而无需干净的参考图像。

在本文中，我们将深入了解自监督图像去噪器、它们的工作原理、背后的关键技术以及实际应用。

什么是自监督图像去噪？#

噪声图像会让视觉 AI 模型难以解读图片内容。例如，在弱光条件下拍摄的照片可能显得颗粒感很强或模糊不清，导致模型准确识别物体所需的细微特征被遮挡。

在基于监督学习的去噪中，模型通过成对的图像进行训练，一张有噪声，一张干净，以此学会去除不需要的噪声。虽然这种方法效果不错，但在现实场景中，收集完全干净的参考数据往往既耗时又困难。

因此，研究人员转向了自监督图像去噪。自监督图像去噪建立在自监督学习的概念之上，即模型通过从数据中生成自己的学习信号来进行自我学习。

由于这种方法不依赖大型标注数据集，自监督去噪速度更快、可扩展性更强，也更容易应用于弱光摄影、医学影像和卫星图像分析等领域；在这些领域中，干净的参考图像往往难以获取。

这种方法不依赖干净的参考图像，而是直接在含噪数据上训练，通过预测被遮挡的像素或重建缺失部分来学习。在这个过程中，模型学会区分有意义的图像细节和随机噪声，从而生成更清晰、更准确的结果。

虽然自监督学习看起来可能与无监督学习相似，但它实际上是无监督学习的一种特殊情况。关键区别在于，自监督学习会从数据中生成自己的标签或训练信号，以学习特定任务。相比之下，无监督学习侧重于在没有明确任务或预设目标的情况下，发现数据中的隐藏模式或结构。

自监督去噪中的学习策略#

自监督去噪器可以通过多种方式学习。有些会填补被遮挡或缺失的像素，另一些则会比较同一图像的多个噪声版本，以找出一致的细节。

例如，一种名为盲点学习的常用方法，会训练去噪模型忽略正在重建的像素，转而依赖周围的上下文。随着时间推移，模型能够重建高质量图像，同时保留重要的纹理、边缘和颜色。

自监督学习如何去除噪声#

接下来，我们将探讨自监督学习去除噪声的过程。

自监督去噪流程通常从向去噪模型输入含噪图像开始。模型会分析附近的像素，估计每个模糊或被遮挡的像素应呈现的样子，并逐步学会区分噪声和真实视觉细节。

试想一张昏暗、布满颗粒的天空图像。模型会查看附近的星星和周围的图案，预测每个含噪区域在没有噪声时应该是什么样子。通过在整张图像中重复这一过程，模型学会将随机噪声与有意义的特征区分开来，生成更清晰、更准确的结果。

换句话说，模型会根据上下文预测图像的更干净版本，而从始至终都不需要一张完全干净的参考图像。这个过程可以通过不同类型的模型来实现，每种模型在处理噪声时都有独特优势。

用于自监督图像降噪的模型类型#

以下简要介绍自监督图像去噪中常用的模型类型：

• 卷积神经网络 (CNNs)： CNNs 是一种深度学习模型，专门用于识别图像小区域中的模式。它们使用滤波器扫描图像，以检测边缘、形状和纹理。在自监督去噪中，CNNs 通常会采用盲点技术：将目标像素从输入中排除，让模型仅根据周围像素预测该像素的值。这能帮助模型避免复制噪声，转而推断出更干净的细节。
• 自编码器：自编码器是一种学习压缩和重构数据的神经网络。它们先将图像缩减为更小的表示形式（编码），再将其重建（解码）。在此过程中，它们学会提取形状和纹理等重要视觉特征，同时滤除随机噪声和无关细节。
• 基于 Transformer 的模型： Transformer 最初是为自然语言处理开发的模型，如今已广泛应用于视觉任务。它们会一次性处理整张图像，并学习不同区域之间的关系。这种全局视角让模型即使面对复杂或高分辨率图像，也能保留精细细节和结构一致性。

图 2. 用于自监督图像去噪的 CNN 架构示例。(来源)

使用不同光照条件和 ISO 设置下拍摄的图像训练这些模型，有助于它们在各种真实场景中稳定工作。在数码相机中，ISO 设置通过放大接收到的信号，控制相机提高图像亮度的程度。

较高的 ISO 能让暗处拍摄的照片更明亮，但也会增加噪声并减少细节。通过学习不同 ISO 等级下拍摄的图像，模型能更好地区分真实细节与噪声，从而生成更清晰、更准确的结果。

去噪器如何学会区分噪声和真实内容？#

去噪器通过不同的训练技术学会区分噪声与真实图像细节，而这些训练技术与用于去噪的模型类型彼此独立。CNN、自动编码器和 Transformer 等模型类型描述了网络的结构，以及网络处理视觉信息的方式。

另一方面，训练技术决定模型如何学习。有些方法采用基于上下文的预测，让模型利用附近区域的信息填补缺失或被遮挡的像素。

另一些方法采用基于重建的学习，让模型将图像压缩成更简单的形式，再将其重建出来；这有助于模型识别边缘和纹理等有意义的结构，同时滤除随机噪声。

模型类型和训练技术共同决定去噪器清理图像的效果。将合适的架构与合适的学习方法结合起来，自监督去噪器即使没有干净的参考数据，也能适应多种噪声并生成更清晰、更准确的图像。

自监督 AI 图像去噪的关键技术#

以下是一些应用广泛、可实现有效自监督图像去噪的训练技术：

• Noise2Noise：这种方法使用同一张图像的两个含噪版本训练模型。由于每个版本中的噪声都是随机的，模型会学着关注代表真实图像的稳定细节，并忽略噪声。当同一场景有多张含噪图像可用时，例如连拍摄影或医学和科学成像，这种方法效果最佳。
• Noise2Void 或 Noise2Self：这些技术通过遮挡（屏蔽）一个像素，并要求模型根据周围像素预测其值，使用单张含噪图像进行训练。这样可以防止模型直接复制含噪数据，并帮助模型学习图像的自然结构。当只有一张含噪图像可用时，例如显微成像、天文学或弱光摄影，这些技术尤其有用。
• 盲点网络：这类网络经过专门设计，使模型看不到正在重建的像素。模型会依靠周围区域的信息来估计该像素应有的样子。这能让去噪更加准确、减少偏差；在逐像素去噪任务中，盲点网络通常会与 Noise2Void 或 Noise2Self 方法结合使用。
• 掩码自编码器 (MAE)：这种方法会隐藏图像的部分内容，并让模型学习重建缺失区域。通过这一过程，模型既能学习细节，也能掌握整体结构，从而帮助区分真实内容和噪声。掩码自编码器尤其适用于高分辨率或复杂图像，因为理解更广泛的上下文有助于提升复原效果。

图像去噪系统的评估#

图像去噪需要在两个目标之间谨慎权衡：减少噪声，同时保留精细细节。去噪过度会让图像显得柔和或模糊，而去噪不足则会留下不需要的颗粒或伪影。

为了了解模型在这两方面的平衡效果，研究人员会使用评估指标，同时衡量图像清晰度和细节保留情况。这些指标可以体现模型清理图像的效果，以及模型是否保留了重要的视觉信息。

以下是一些常见的评估指标，可用于衡量图像质量和去噪效果：

• 均方误差（MSE）：该指标衡量原始图像与去噪图像之间平方差的平均值，反映输出在像素级别上与原始图像的接近程度。MSE 值越低，误差越小，结果也越准确。
• 峰值信噪比（PSNR）：该指标以分贝为单位，比较原始图像信号与剩余噪声的强度。它用于评估去噪后保留了多少原始细节。PSNR 值越高，图像就越清晰、质量越高。
• 结构相似性指数（SSIM）：SSIM 通过评估结构、亮度和对比度，衡量去噪图像与原始图像之间的相似度。它关注人类如何观看图像，而不只是原始数值。SSIM 分数越高，图像看起来就越自然，也越接近原始图像。
• 感知指标：这些指标使用深度学习模型来判断图像看起来是否真实、自然。它们不比较单个像素，而是关注整体外观、纹理和视觉相似度。在大多数情况下，分数越低，图像看起来就越接近原始图像，也越符合人类的视觉偏好。

自监督去噪的应用#

现在我们已经更清楚地了解了什么是去噪，接下来看看自监督图像去噪如何应用于真实场景。

在天文摄影中使用自监督去噪#

拍摄清晰的恒星和星系照片并不容易。夜空很暗，因此相机往往需要长时间曝光，这可能会引入不需要的噪声。噪声会模糊精细的宇宙细节，也会让微弱信号更难被检测到。

传统去噪工具可以帮助减少噪声，但往往也会一并去除重要细节。自监督去噪提供了一种更智能的替代方案。AI 模型直接从含噪图像中学习，能够识别代表真实特征的模式，并将其与随机噪声区分开来。

这样可以让恒星、星系和太阳等天体的图像清晰得多，显现原本可能被忽略的微弱细节。它还能增强细微的天文特征，提升图像清晰度，让数据更适用于科学研究。

图 3. 图像去噪可以增强天文摄影图像。(来源)

用于医学成像的自监督去噪#

MRI、CT 和显微图像等医学扫描图像常会受到噪声影响，使细节更难看清。当医生需要发现疾病的早期迹象或追踪一段时间内的变化时，这可能会造成问题。

图像噪声可能来自患者移动、信号强度低，或辐射使用量受到限制。为了让医学扫描图像更清晰，研究人员已经探索了 Noise2Self 等自监督去噪方法及其他类似方法。

在一项研究中，这类模型直接使用含噪的脑部 MRI 图像进行训练，自行学习噪声模式并去除噪声，无需使用完全清晰的样本。处理后的图像纹理更清晰、对比度更好，因此更容易识别精细结构。此类 AI 去噪器可以简化诊断成像工作流程并加快分析速度。

图 4. 在脑部 MRI 扫描中使用不同的自监督去噪技术。(来源)

通过自监督去噪增强视觉系统#

去噪能对广泛的计算机视觉应用产生重大影响。通过去除不需要的噪声和失真，去噪可以为视觉 AI 模型提供更干净、更一致的输入数据。

更清晰的图像有助于提升计算机视觉任务的表现，例如目标检测、实例分割和图像识别。以下是一些应用示例，其中 Vision AI 模型（如 Ultralytics YOLO11 和 Ultralytics YOLO26）可以从去噪中获益：

• 工业检测：去噪有助于更准确地检测制造环境中的表面缺陷或异常，从而改进质量控制。
• 自动驾驶与导航：在弱光、雨天或雾天等恶劣条件下，去噪可增强目标和障碍物检测能力，提升整体安全性和可靠性。
• 监控与安防：在弱光或高压缩视频流中，去噪可以改善图像质量，更好地识别和追踪物体或人员。
• 水下成像：去噪可以减少散射和光线失真，提升浑浊水下环境中的可见度和目标识别能力。

自监督去噪的优缺点#

以下是将自监督去噪用于成像系统的一些主要优势：

• 噪声适应性：自监督去噪方法可以直接从含噪数据中学习，无需成对的干净参考图像。因此，这些方法能高度适应各种真实场景中的噪声强度和类型，例如传感器噪声、运动模糊或环境干扰。
• 细节保留：设计得当时，这些模型可以保留对准确解读图像至关重要的精细纹理和边缘。盲点网络和基于掩码的学习等方法有助于在减少噪声的同时保留结构信息。
• 减少预处理：模型只需利用现有数据，就能学习将含噪输入映射为干净的表示，从而减少对手动滤波、手工设计去噪算法或精心整理的训练数据集的需求。

尽管自监督去噪有诸多优势，但也有一些局限。以下是需要考虑的几个因素：

• 计算需求：用于自监督去噪的深度神经网络架构，尤其是基于 Transformer 的模型，相比传统滤波技术可能需要大量计算能力和内存资源。
• 模型设计复杂度：要获得最佳效果，需要仔细选择模型设置，例如掩码策略和损失函数；这些设置可能因噪声类型而异。
• 评估难点：常见的图像质量指标并不总能反映去噪后图像看起来是否自然、逼真，因此通常还需要进行视觉检查或针对具体任务的检查。

要点#

自监督去噪有助于 AI 模型直接从含噪图像中学习，在保留精细细节的同时生成更清晰的结果。它能有效应对多种具有挑战性的场景，例如弱光、高 ISO 和细节丰富的图像。随着 AI 不断发展，这类技术很可能在各种计算机视觉应用中发挥重要作用。

加入我们的社区，并探索我们的 GitHub 代码仓库，进一步了解 AI。如果你想构建自己的 Vision AI 项目，可以查看我们的许可选项。访问我们的解决方案页面，进一步了解医疗保健中的 AI和零售领域的 Vision AI等应用。