利用自我监督学习对图像进行去噪处理

图像是我们日常生活的一部分，从我们拍摄的照片到公共场所摄像头录制的视频。它们包含着深刻的信息，而尖端技术使分析和解读这些数据成为可能。 

其中，计算机视觉作为人工智能（AI）的一个分支，能让机器像人类一样处理视觉信息并理解它们所看到的东西。然而，在现实世界的应用中，图像往往远非完美。 

雨水、灰尘、弱光或传感器限制造成的图像噪声会掩盖重要细节，使视觉人工智能模型更难准确检测物体或解释场景。图像去噪有助于减少这种噪点，使视觉人工智能模型能够更清晰地看到细节并做出更好的预测。

​

​

传统上，图像去噪依赖于监督学习，即使用成对的噪声图像和干净图像对模型进行训练，以学习如何去除噪声。然而，收集完全干净的参考图像并不总是切实可行的。

为了应对这一挑战，研究人员开发了自监督图像去噪器。他们的目标是训练人工智能模型直接从数据中学习，创建自己的学习信号，以去除噪声并保留重要细节，而无需干净的参考图像。

在本文中，我们将详细介绍自监督图像去噪器、其工作原理、背后的关键技术以及在现实世界中的应用。让我们开始吧！

什么是自监督图像去噪？

嘈杂的图像会让视觉人工智能模型难以解读照片中的内容。例如，在弱光条件下拍摄的照片可能会出现颗粒或模糊，从而隐藏了有助于模型准确识别物体的细微特征。

在基于监督学习的去噪方法中，模型是通过一对图像（一张有噪声，一张无噪声）来训练的，以学习如何去除不需要的噪声。虽然这种方法效果很好，但在现实世界中，收集完全干净的参考数据往往既耗时又困难。

这就是研究人员转向自监督图像去噪的原因。自监督图像去噪建立在自监督学习的概念之上，即模型通过从数据中创建自己的学习信号来进行自学。  

由于这种方法不依赖于大型标注数据集，因此自监督去噪速度更快、更具可扩展性，而且更容易应用于低照度摄影、医疗成像和卫星图像分析等领域，因为在这些领域通常无法获得干净的参考图像。

这种方法不依赖干净的参考图像，而是通过预测被遮挡的像素或重建缺失部分，直接对噪声数据进行训练。通过这一过程，模型学会了如何区分有意义的图像细节和随机噪音，从而获得更清晰、更准确的输出结果。 

自监督学习看似与无监督学习相似，但实际上是无监督学习的一种特例。主要区别在于，在自监督学习中，模型会从数据中创建自己的标签或训练信号，以学习特定的任务。相比之下，无监督学习侧重于寻找数据中隐藏的模式或结构，而没有任何明确的任务或预定义的目标。

自我监督去噪的学习策略

关于自我监督去噪，有几种学习方式。一些自我监督去噪模型会填充遮挡或缺失的像素，而另一些则会比较同一图像的多个噪声版本，以找到一致的细节。 

例如，一种被称为盲点学习（blind-spot learning）的流行方法，主要是训练去噪模型忽略正在重建的像素，转而依赖周围的环境。随着时间的推移，模型会重建高质量的图像，同时保留基本的纹理、边缘和颜色。

自我监督学习如何消除噪音

接下来，我们将探讨自我监督学习如何消除噪音的过程。 

自我监督去噪过程通常是从将噪声图像输入去噪模型开始的。该模型会分析附近的像素，以估计每个不清晰或被遮挡的像素应该是什么样子，从而逐渐学会区分噪声和真实的视觉细节。

考虑一张暗淡、颗粒状的天空图像。该模型通过观察附近的恒星和周围的图案，来预测没有噪声的每个噪声斑块应该是什么样子。通过在整个图像中重复这一过程，它学会了从有意义的特征中分离出随机噪音，从而得到更清晰、更准确的结果。

换句话说，模型会根据上下文预测出更干净的图像版本，而不需要完全干净的参考图像。这一过程可以通过不同类型的模型来实现，每种模型在处理噪声方面都有独特的优势。 

用于自我监督图像降噪的模型类型

下面简要介绍一下常用于自监督图像去噪的模型类型：

• 卷积神经网络 (CNN）： 卷积神经网络（CNN）是一种深度学习模型，旨在识别图像小区域中的模式。它们使用滤波器扫描图像，检测边缘、形状和纹理。在自我监督去噪中，它们通常使用盲点技术，即目标像素不包括在输入中，因此模型只能根据周围像素预测其值。这有助于模型避免复制噪声，从而推断出更清晰的细节。
• 自动编码器自动编码器是一种学习压缩和重建数据的神经网络。它们首先将图像压缩成较小的表示形式（编码），然后重建图像（解码）。在此过程中，它们学会捕捉重要的视觉特征，如形状和纹理，同时过滤掉随机噪音和无关细节。
• 基于变换器的模型：变换器模型最初是为自然语言处理而开发的，但现在已广泛应用于视觉任务。它们一次性处理整个图像，了解不同区域之间的关系。这种全局视角使它们即使在复杂或高分辨率的图像中，也能保持精细的细节和结构的一致性。

​

使用在不同光线和 ISO 设置下拍摄的图像来训练这些模型，有助于它们在许多实际情况下良好工作。在数码相机中，ISO 设置通过放大接收到的信号来控制相机使图像变亮的程度。 

ISO 越高，照片在暗处越亮，但同时也会增加噪点和减少细节。通过学习不同 ISO 水平下拍摄的图像，模型可以更好地分辨真实细节和噪点，从而获得更清晰、更准确的结果。

去噪器如何识别噪音和真实噪音？

去噪器通过不同的训练技术来辨别噪声和真实图像细节，这些技术与用于去噪的模型类型是分开的。CNN、自动编码器和变换器等模型类型描述了网络的结构及其处理视觉信息的方式。

另一方面，训练技术决定了模型的学习方式。有些方法使用基于上下文的预测，即模型通过使用附近区域的信息来填补缺失或遮挡的像素。 

其他学习方法则使用基于重构的学习方法，即模型将图像压缩成更简单的形式，然后重建图像，帮助识别边缘和纹理等有意义的结构，同时过滤掉随机噪音。

模型类型和训练技术共同决定了去噪器净化图像的效率。通过将正确的架构与正确的学习方法相结合，自监督去噪器可以适应多种类型的噪声，即使没有干净的参考数据，也能生成更清晰、更准确的图像。

自监督人工智能图像去噪的关键技术

以下是一些最广泛使用的训练技术，它们可以实现有效的自监督图像去噪：

• 噪声2噪声这种方法使用同一图像的两个噪声版本来训练模型。由于每个版本中的噪声都是随机的，因此模型会学习将注意力集中在代表真实图像的一致细节上，而忽略噪声。这种方法在同一场景有多个噪声捕获时效果最佳，例如在连拍或医学和科学成像中。
• Noise2Void 或 Noise2Self： 这些技术通过隐藏（遮挡）像素，要求模型根据周围像素预测其值，从而在单个噪声图像上进行训练。这可以防止模型简单复制噪声数据，并帮助它学习图像的自然结构。当只有一张噪声图像时，这种方法尤其有用，例如在显微镜、天文学或弱光摄影中。
• 盲点网络：它们经过特殊设计，因此模型无法看到正在重建的像素。相反，它依靠周围区域的信息来估计该像素应该是什么样子。这使得去噪更加准确和无偏，在像素去噪任务中，它们通常与 Noise2Void 或 Noise2Self 方法相结合。
• 屏蔽自编码器（MAE）：在这种方法中，图像的部分内容被隐藏起来，模型通过学习来重建缺失的区域。通过这种方法，模型可以学习到精细细节和整体结构，从而帮助它区分真实内容和噪声。屏蔽自动编码器对于高分辨率或复杂的图像尤其有效，因为在这种情况下，了解更广泛的背景可以改善修复效果。

评估图像去噪系统

图像去噪是在两个目标之间的谨慎平衡：减少噪点和保持细节完整。去噪过多会使图像看起来柔和或模糊，而去噪过少则会留下不必要的颗粒或人工痕迹。

为了了解一个模型在实现这种平衡方面做得如何，研究人员使用了同时测量图像清晰度和细节保留度的评估指标。这些指标显示了一个模型在不丢失重要视觉信息的情况下对图像的清理程度。 

以下是有助于衡量图像质量和去噪性能的常用评估指标：

• 平均平方误差 (MSE)：它测量原始图像和去噪图像之间的平均平方差。它突出了输出图像在像素层面上与原始图像的接近程度。较低的 MSE 值意味着较少的误差和更精确的结果。
  
• 峰值信噪比（PSNR）：该指标比较原始图像信号与剩余噪声的强度，单位为分贝。它用于查看去噪后保留了多少原始细节。PSNR 值越高，表示图像越清晰、质量越高。
  
• 结构相似性指数测量（SSIM）：SSIM 通过评估结构、亮度和对比度来评价去噪图像与原始图像之间的相似性。它关注的是人类如何看待图像，而不仅仅是原始数字。SSIM 分数越高，说明图像看起来越自然，越接近原始图像。
  
• 感知度量：这些指标使用深度学习模型来判断图像的真实和自然程度。它们不比较单个像素，而是关注整体外观、纹理和视觉相似性。在大多数情况下，较低的分数意味着图像看起来更接近原图，在视觉上更讨人喜欢。

自监督去噪的应用

既然我们已经对去噪有了更深入的了解，那就让我们来探讨一下在现实世界中如何应用自监督图像去噪。

在天体摄影中使用自监督去噪技术

拍摄清晰的恒星和星系照片并非易事。夜空是黑暗的，因此相机通常需要较长的曝光时间，这会带来不必要的噪点。这些噪音会模糊宇宙的细节，使微弱的信号更难被探测到

传统的去噪工具可以帮助减少噪音，但往往会同时去除重要的细节。自监督去噪提供了一种更智能的替代方案。通过直接从噪声图像中学习，人工智能模型可以识别代表真实特征的模式，并将它们与随机噪声区分开来。

这样，恒星、银河系和太阳等天体的图像就会清晰得多，揭示出原本可能被忽视的微弱细节。它还能增强微妙的天文特征，提高图像的清晰度，使数据更有助于科学研究。

​

​

医学成像的自监督去噪

核磁共振成像、CT 和显微镜图像等医学扫描常常会产生噪音，使微小的细节变得难以辨认。当医生需要发现疾病的早期症状或跟踪随时间发生的变化时，这就会成为一个问题。 

图像噪声可能来自病人的移动、信号强度低或辐射量的限制。为了让医学扫描更清晰，研究人员探索了自监督去噪方法，如 Noise2Self 和其他类似方法。 

这些模型直接在嘈杂的大脑核磁共振成像图像上进行训练，自行学习噪音模式并清除噪音，而不需要完全清晰的示例。处理后的图像显示出更清晰的纹理和更好的对比度，使精细结构更容易识别。这种人工智能驱动的去噪器简化了诊断成像的工作流程，提高了实时分析效率。

​

​

利用自监督去噪增强视觉系统

在大多数情况下，去噪会对计算机视觉应用产生重大影响。通过去除不需要的噪音和失真，它可以生成更干净、更一致的输入数据，供视觉人工智能模型处理。

更清晰的图像可提高计算机视觉任务的性能，如物体检测、实例分割和图像识别。以下是视觉人工智能模型（如Ultralytics YOLO11和Ultralytics YOLO26）从去噪中受益的一些应用实例：

• 工业检测：去噪技术能更准确地检测生产环境中的表面缺陷或异常，从而改进质量控制。
• 自主驾驶和导航：它增强了在光线不足、雨雾等恶劣条件下的物体和障碍物探测能力，提高了整体安全性和可靠性。
• 监控和安全：去噪可提高低照度或高压缩视频馈送的图像质量，从而更好地识别和跟踪物体或人员。
• 水下成像:去噪可减少散射和光失真，提高水下浑浊条件下的能见度和物体识别度。

自监督去噪的利与弊

以下是在成像系统中使用自监督去噪技术的一些主要优势：

• 噪声适应性：自监督去噪方法可以直接从噪声数据中学习，而无需配对的干净参照物。这使它们能够高度适应现实世界中的各种噪声水平和类型，如传感器噪声、运动模糊或环境干扰。
• 保留细节： 如果设计得当，这些模型可以保留对准确解读图像至关重要的精细纹理和边缘。盲点网络和基于遮挡的学习等方法有助于在减少噪音的同时保留结构信息。
• 预处理更少：通过学习如何仅使用现有数据将噪声输入映射到干净的表征，该模型最大程度地减少了对人工过滤、手工制作的去噪算法或训练数据集的需求。

尽管自监督去噪有很多优点，但它也有一定的局限性。以下是几个需要考虑的因素：

• 计算要求：与传统滤波技术相比，用于自监督去噪的深度神经架构，尤其是基于变压器的模型，需要大量的计算能力和内存资源。
• 模型设计复杂：要获得最佳结果，需要仔细选择模型设置，如屏蔽策略和损失函数，不同类型的噪声会有不同的设置。
• 评估挑战：普通的图像质量指标并不总是与去噪图像的自然或逼真程度相匹配，因此通常需要进行视觉或特定任务检查。

主要要点

自监督去噪技术可帮助人工智能模型直接从嘈杂的图像中学习，生成更清晰的结果，同时保留精细的细节。它能在各种具有挑战性的场景中有效发挥作用，如低光、高 ISO 和细节图像。随着人工智能的不断发展，这种技术很可能会在各种计算机视觉应用中发挥重要作用。 

加入我们的社区，探索我们的GitHub 存储库，了解有关人工智能的更多信息。如果您想建立自己的视觉人工智能项目，请查看我们的 许可选项。访问我们的解决方案页面，探索更多有关人工智能在医疗保健和零售业中的应用。