Sử dụng học tự giám sát để khử nhiễu hình ảnh

Hình ảnh là một phần trong cuộc sống hàng ngày của chúng ta, từ những bức ảnh chúng ta chụp cho đến video được ghi lại bởi camera ở nơi công cộng. Chúng chứa đựng những thông tin sâu sắc và công nghệ tiên tiến giúp chúng ta có thể phân tích và diễn giải dữ liệu này.

Cụ thể, computer vision, một nhánh của trí tuệ nhân tạo (AI), cho phép máy móc xử lý thông tin thị giác và hiểu những gì chúng nhìn thấy, giống như cách con người thực hiện. Tuy nhiên, trong các ứng dụng thực tế, hình ảnh thường không hoàn hảo.

Nhiễu hình ảnh gây ra bởi mưa, bụi, ánh sáng yếu hoặc hạn chế của cảm biến có thể che khuất các chi tiết quan trọng, gây khó khăn cho Vision AI models trong việc phát hiện đối tượng hoặc diễn giải cảnh quay một cách chính xác. Khử nhiễu hình ảnh giúp giảm bớt lượng nhiễu này, giúp các Vision AI models nhìn thấy chi tiết rõ ràng hơn và đưa ra dự đoán tốt hơn.

Hình 1. Một ví dụ về khử nhiễu hình ảnh. (Source)

Theo truyền thống, khử nhiễu hình ảnh dựa vào học có giám sát, trong đó các model được huấn luyện bằng các cặp hình ảnh nhiễu và hình ảnh sạch để học cách loại bỏ nhiễu. Tuy nhiên, việc thu thập các hình ảnh tham chiếu hoàn toàn sạch không phải lúc nào cũng khả thi.

Để giải quyết thách thức này, các nhà nghiên cứu đã phát triển các bộ khử nhiễu hình ảnh self-supervised. Mục tiêu của chúng là huấn luyện các model AI học trực tiếp từ dữ liệu, tự tạo ra các tín hiệu học tập để loại bỏ nhiễu và giữ lại các chi tiết quan trọng mà không cần hình ảnh tham chiếu sạch.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về các bộ khử nhiễu hình ảnh tự giám sát, cách chúng hoạt động, các kỹ thuật chính đằng sau chúng và các ứng dụng trong thế giới thực. Hãy bắt đầu nào!

Link to this sectionKhử nhiễu hình ảnh tự giám sát là gì?#

Hình ảnh bị nhiễu có thể khiến các Vision AI models gặp khó khăn trong việc diễn giải những gì có trong bức ảnh. Chẳng hạn, một bức ảnh chụp trong điều kiện ánh sáng yếu có thể xuất hiện hạt hoặc mờ, che giấu các đặc điểm tinh tế giúp model nhận diện đối tượng chính xác.

Trong khử nhiễu dựa trên supervised learning, các model được huấn luyện bằng các cặp hình ảnh, một nhiễu và một sạch, để học cách loại bỏ nhiễu không mong muốn. Mặc dù phương pháp này hoạt động hiệu quả, việc thu thập dữ liệu tham chiếu sạch thường tốn thời gian và khó khăn trong các kịch bản thực tế.

Đó là lý do tại sao các nhà nghiên cứu chuyển sang khử nhiễu hình ảnh tự giám sát. Khử nhiễu hình ảnh tự giám sát dựa trên khái niệm học tự giám sát, nơi các model tự dạy chính mình bằng cách tạo ra các tín hiệu học tập từ chính dữ liệu đó.

Vì phương pháp này không phụ thuộc vào các tập dữ liệu lớn đã được dán nhãn, khử nhiễu tự giám sát nhanh hơn, dễ mở rộng hơn và dễ áp dụng hơn trong các lĩnh vực như nhiếp ảnh ánh sáng yếu, hình ảnh y tế và phân tích ảnh vệ tinh, nơi hình ảnh tham chiếu sạch thường không khả dụng.

Thay vì dựa vào hình ảnh tham chiếu sạch, phương pháp này huấn luyện trực tiếp trên dữ liệu nhiễu bằng cách dự đoán các pixel bị che hoặc tái tạo các phần bị thiếu. Thông qua quá trình này, model học cách phân biệt giữa các chi tiết hình ảnh có ý nghĩa và nhiễu ngẫu nhiên, dẫn đến kết quả rõ ràng và chính xác hơn.

Mặc dù có vẻ giống với unsupervised learning, học tự giám sát thực chất là một trường hợp đặc biệt của nó. Điểm khác biệt chính là trong học tự giám sát, model tạo ra các nhãn hoặc tín hiệu huấn luyện của riêng mình từ dữ liệu để thực hiện một tác vụ cụ thể. Ngược lại, học không giám sát tập trung vào việc tìm kiếm các mẫu hoặc cấu trúc ẩn trong dữ liệu mà không có bất kỳ tác vụ rõ ràng hoặc mục tiêu xác định trước nào.

Link to this sectionCác chiến lược học tập trong khử nhiễu tự giám sát#

Đối với khử nhiễu tự giám sát, có nhiều cách để quá trình học diễn ra. Một số model khử nhiễu tự giám sát lấp đầy các pixel bị che hoặc thiếu, trong khi những model khác so sánh nhiều phiên bản nhiễu của cùng một hình ảnh để tìm ra các chi tiết nhất quán.

Ví dụ, một phương pháp phổ biến được gọi là học điểm mù (blind-spot learning) tập trung vào việc huấn luyện model khử nhiễu bỏ qua pixel mà nó đang tái tạo và dựa vào bối cảnh xung quanh thay thế. Theo thời gian, model xây dựng lại các hình ảnh chất lượng cao trong khi vẫn bảo toàn được các kết cấu, cạnh và màu sắc thiết yếu.

Link to this sectionHọc tự giám sát loại bỏ nhiễu như thế nào#

Tiếp theo, chúng ta sẽ khám phá quy trình đằng sau cách học tự giám sát loại bỏ nhiễu.

Quá trình khử nhiễu tự giám sát thường bắt đầu bằng cách nạp các hình ảnh nhiễu vào model khử nhiễu. Model phân tích các pixel lân cận để ước tính xem mỗi pixel không rõ ràng hoặc bị che trông như thế nào, dần dần học cách phân biệt giữa nhiễu và các chi tiết thị giác thực sự.

Hãy xem xét một hình ảnh bầu trời tối đầy hạt. Model nhìn vào các ngôi sao gần đó và các mẫu xung quanh để dự đoán xem mỗi vùng nhiễu trông như thế nào khi không có nhiễu. Bằng cách lặp lại quá trình này trên toàn bộ hình ảnh, model học cách tách nhiễu ngẫu nhiên khỏi các đặc điểm có ý nghĩa, tạo ra kết quả rõ ràng và chính xác hơn.

Nói cách khác, model dự đoán một phiên bản sạch hơn của hình ảnh dựa trên bối cảnh mà không cần tham chiếu hoàn toàn sạch. Quá trình này có thể được thực hiện bằng cách sử dụng các loại model khác nhau, mỗi loại có thế mạnh riêng trong việc xử lý nhiễu.

Link to this sectionCác loại model được sử dụng để giảm nhiễu hình ảnh tự giám sát#

Dưới đây là cái nhìn nhanh về các loại model thường được sử dụng cho khử nhiễu hình ảnh tự giám sát:

• Convolutional Neural Networks (CNNs): CNNs là các model deep learning được thiết kế để nhận dạng các mẫu trong những vùng nhỏ của hình ảnh. Chúng quét hình ảnh bằng các bộ lọc để phát hiện cạnh, hình dạng và kết cấu. Trong khử nhiễu tự giám sát, chúng thường sử dụng các kỹ thuật điểm mù, nơi pixel mục tiêu bị loại khỏi đầu vào để model dự đoán giá trị của nó chỉ dựa trên các pixel xung quanh. Điều này giúp model tránh việc sao chép nhiễu và thay vào đó suy luận ra các chi tiết sạch hơn.
• Autoencoders: Autoencoders là các mạng thần kinh học cách nén và tái tạo dữ liệu. Trước tiên, chúng giảm hình ảnh thành một biểu diễn nhỏ hơn (mã hóa) và sau đó xây dựng lại nó (giải mã). Trong quá trình này, chúng học cách nắm bắt các đặc điểm thị giác quan trọng như hình dạng và kết cấu trong khi lọc bỏ nhiễu ngẫu nhiên và các chi tiết không liên quan.
• Transformer-based models: Transformers là các model ban đầu được phát triển cho xử lý ngôn ngữ tự nhiên nhưng hiện được sử dụng rộng rãi cho các tác vụ thị giác. Chúng xử lý toàn bộ hình ảnh cùng một lúc, học cách các vùng khác nhau liên quan đến nhau. Góc nhìn toàn cầu này cho phép chúng bảo toàn các chi tiết tinh tế và tính nhất quán về cấu trúc, ngay cả trong các hình ảnh phức tạp hoặc có độ phân giải cao.

Hình 2. Cái nhìn về kiến trúc dựa trên CNN được sử dụng để khử nhiễu hình ảnh tự giám sát. (Source)

Việc huấn luyện các model này với hình ảnh chụp trong các điều kiện ánh sáng và thiết lập ISO khác nhau giúp chúng hoạt động tốt trong nhiều tình huống thực tế. Trong máy ảnh kỹ thuật số, các thiết lập ISO kiểm soát mức độ camera làm sáng hình ảnh bằng cách khuếch đại tín hiệu nhận được.

ISO cao hơn làm ảnh sáng hơn ở những nơi tối nhưng cũng làm tăng nhiễu và giảm chi tiết. Bằng cách học từ hình ảnh chụp ở các mức ISO khác nhau, các model trở nên giỏi hơn trong việc phân biệt chi tiết thực với nhiễu, dẫn đến kết quả rõ ràng và chính xác hơn.

Link to this sectionBộ khử nhiễu học cách phân biệt cái nào là nhiễu và cái nào là thật như thế nào?#

Các bộ khử nhiễu học cách phân biệt nhiễu và chi tiết hình ảnh thực qua các kỹ thuật huấn luyện khác nhau, tách biệt với các loại model được sử dụng để khử nhiễu. Các loại model như CNNs, autoencoders và Transformers mô tả cấu trúc của mạng và cách nó xử lý thông tin thị giác.

Ngược lại, các kỹ thuật huấn luyện xác định cách model học tập. Một số phương pháp sử dụng dự đoán dựa trên bối cảnh, trong đó model lấp đầy các pixel bị thiếu hoặc bị che bằng cách sử dụng thông tin từ các vùng lân cận.

Những phương pháp khác sử dụng học tập dựa trên tái tạo, trong đó model nén hình ảnh thành dạng đơn giản hơn rồi xây dựng lại, giúp nó nhận diện các cấu trúc có ý nghĩa như cạnh và kết cấu trong khi lọc bỏ nhiễu ngẫu nhiên.

Cùng với nhau, loại model và kỹ thuật huấn luyện xác định hiệu quả của một bộ khử nhiễu. Bằng cách kết hợp kiến trúc phù hợp với cách tiếp cận học tập đúng đắn, các bộ khử nhiễu tự giám sát có thể thích nghi với nhiều loại nhiễu và tạo ra các hình ảnh rõ ràng, chính xác hơn ngay cả khi không có dữ liệu tham chiếu sạch.

Link to this sectionCác kỹ thuật chính trong khử nhiễu hình ảnh AI tự giám sát#

Dưới đây là một số kỹ thuật huấn luyện được sử dụng rộng rãi nhất cho phép khử nhiễu hình ảnh tự giám sát hiệu quả:

• Noise2Noise: Phương pháp này huấn luyện một model bằng cách sử dụng hai phiên bản nhiễu của cùng một hình ảnh. Vì nhiễu trong mỗi phiên bản là ngẫu nhiên, model học cách tập trung vào các chi tiết nhất quán đại diện cho hình ảnh thực và bỏ qua nhiễu. Nó hoạt động tốt nhất khi có nhiều bản chụp nhiễu của cùng một cảnh, chẳng hạn như trong nhiếp ảnh chụp liên tục hoặc hình ảnh y tế và khoa học.
• Noise2Void hoặc Noise2Self: Các kỹ thuật này huấn luyện trên một hình ảnh nhiễu duy nhất bằng cách ẩn (che) một pixel và yêu cầu model dự đoán giá trị của nó dựa trên các pixel xung quanh. Điều này ngăn model sao chép dữ liệu nhiễu đơn thuần và giúp nó học cấu trúc tự nhiên của hình ảnh. Chúng đặc biệt hữu ích khi chỉ có một hình ảnh nhiễu, chẳng hạn như trong hiển vi, thiên văn hoặc nhiếp ảnh ánh sáng yếu.
• Blind-spot networks: Chúng được thiết kế đặc biệt để model không thể nhìn thấy pixel mà nó đang tái tạo. Thay vào đó, nó dựa vào thông tin từ khu vực xung quanh để ước tính xem pixel đó trông như thế nào. Điều này giúp việc loại bỏ nhiễu chính xác và không thiên vị hơn, và chúng thường được kết hợp với các phương pháp Noise2Void hoặc Noise2Self trong các tác vụ khử nhiễu theo từng pixel.
• Masked Autoencoders (MAE): Trong phương pháp này, các phần của hình ảnh bị ẩn đi và model học cách tái tạo các khu vực bị thiếu. Bằng cách này, nó học được cả chi tiết tinh tế và cấu trúc tổng thể, giúp nó phân biệt nội dung thực với nhiễu. Masked autoencoders đặc biệt hiệu quả đối với hình ảnh độ phân giải cao hoặc phức tạp, nơi việc hiểu bối cảnh rộng hơn giúp cải thiện quá trình khôi phục.

Link to this sectionĐánh giá các hệ thống khử nhiễu hình ảnh#

Khử nhiễu hình ảnh là sự cân bằng cẩn thận giữa hai mục tiêu: giảm nhiễu và giữ nguyên các chi tiết tinh tế. Khử nhiễu quá mức có thể làm hình ảnh trông mềm hoặc mờ, trong khi quá ít có thể để lại hạt hoặc các tạo tác không mong muốn.

Để hiểu mức độ cân bằng của model, các nhà nghiên cứu sử dụng các chỉ số đánh giá đo lường cả độ rõ nét của hình ảnh và khả năng bảo toàn chi tiết. Các chỉ số này cho thấy model làm sạch hình ảnh hiệu quả như thế nào mà không làm mất đi thông tin thị giác quan trọng.

Dưới đây là các chỉ số đánh giá phổ biến giúp đo lường chất lượng hình ảnh và hiệu suất khử nhiễu:

• Mean Squared Error (MSE): Chỉ số này đo lường sai số bình phương trung bình giữa hình ảnh gốc và hình ảnh đã khử nhiễu. Nó làm nổi bật mức độ gần gũi của đầu ra so với bản gốc ở cấp độ pixel. Giá trị MSE thấp hơn nghĩa là ít sai sót hơn và kết quả chính xác hơn.
• Peak Signal-to-Noise Ratio (PSNR): Chỉ số này so sánh cường độ tín hiệu hình ảnh gốc với nhiễu còn lại, được biểu thị bằng decibel. Nó được sử dụng để xem bao nhiêu chi tiết gốc đã được giữ lại sau khi khử nhiễu. Giá trị PSNR cao hơn nghĩa là hình ảnh rõ ràng và chất lượng cao hơn.
• Structural Similarity Index Measure (SSIM): SSIM đánh giá cấu trúc, độ sáng và độ tương phản để đánh giá sự tương đồng giữa hình ảnh đã khử nhiễu và bản gốc. Nó tập trung vào cách con người nhìn nhận hình ảnh chứ không chỉ các con số thô. Điểm SSIM cao hơn nghĩa là hình ảnh trông tự nhiên và trung thực hơn với bản gốc.
• Perceptual metrics: Các chỉ số này sử dụng các model deep learning để đánh giá mức độ chân thực và tự nhiên của hình ảnh. Thay vì so sánh từng pixel, chúng tập trung vào diện mạo tổng thể, kết cấu và sự tương đồng về thị giác. Trong hầu hết các trường hợp, điểm số thấp hơn nghĩa là hình ảnh trông gần giống với bản gốc hơn và dễ chịu hơn đối với con người.

Link to this sectionCác ứng dụng của khử nhiễu tự giám sát#

Bây giờ chúng ta đã hiểu rõ hơn về khử nhiễu là gì, hãy khám phá cách khử nhiễu hình ảnh tự giám sát được áp dụng trong các kịch bản thực tế.

Link to this sectionSử dụng khử nhiễu tự giám sát trong nhiếp ảnh thiên văn#

Việc chụp ảnh rõ nét các ngôi sao và thiên hà không hề dễ dàng. Bầu trời đêm tối, nên máy ảnh thường cần thời gian phơi sáng lâu, điều này có thể dẫn đến nhiễu không mong muốn. Nhiễu này có thể làm mờ các chi tiết vũ trụ tinh tế và gây khó khăn cho việc phát hiện các tín hiệu mờ nhạt.

Các công cụ khử nhiễu truyền thống có thể giúp giảm nhiễu, nhưng chúng thường loại bỏ cả các chi tiết quan trọng. Khử nhiễu tự giám sát mang đến giải pháp thay thế thông minh hơn. Bằng cách học trực tiếp từ các hình ảnh nhiễu, model AI có thể nhận ra các mẫu đại diện cho các đặc điểm thực và tách chúng ra khỏi nhiễu ngẫu nhiên.

Kết quả là những hình ảnh rõ nét hơn nhiều về các vật thể thiên văn như sao, thiên hà và Mặt Trời, làm lộ ra những chi tiết mờ nhạt mà nếu không thì sẽ không được chú ý. Nó cũng có thể nâng cao các đặc điểm thiên văn tinh tế, cải thiện độ rõ nét của hình ảnh và làm cho dữ liệu hữu ích hơn cho nghiên cứu khoa học.

Hình 3. Khử nhiễu hình ảnh có thể tăng cường hình ảnh nhiếp ảnh thiên văn. (Source)

Link to this sectionKhử nhiễu tự giám sát cho hình ảnh y tế#

Các bản quét y tế như MRI, CT và hình ảnh hiển vi thường bị nhiễu, làm cho các chi tiết nhỏ trở nên khó nhìn hơn. Điều này có thể gây ra vấn đề khi bác sĩ cần phát hiện các dấu hiệu bệnh sớm hoặc theo dõi những thay đổi theo thời gian.

Nhiễu hình ảnh có thể đến từ sự chuyển động của bệnh nhân, cường độ tín hiệu thấp hoặc giới hạn về liều lượng bức xạ có thể sử dụng. Để làm cho các bản quét y tế rõ ràng hơn, các nhà nghiên cứu đã khám phá các phương pháp khử nhiễu tự giám sát như Noise2Self và các phương pháp tương tự khác.

Các model này được huấn luyện trực tiếp trên các hình ảnh MRI não nhiễu, tự học các mẫu nhiễu và làm sạch chúng mà không cần các ví dụ hoàn toàn rõ ràng. Các hình ảnh đã xử lý cho thấy kết cấu sắc nét hơn và độ tương phản tốt hơn, giúp xác định các cấu trúc tinh vi dễ dàng hơn. Các bộ khử nhiễu hỗ trợ bởi AI này giúp hợp lý hóa quy trình làm việc trong hình ảnh chẩn đoán và cải thiện hiệu quả phân tích thời gian thực.

Hình 4. Sử dụng các kỹ thuật khử nhiễu tự giám sát khác nhau trên các bản quét MRI não. (Source)

Link to this sectionTăng cường các hệ thống thị giác với khử nhiễu tự giám sát#

Trong hầu hết các trường hợp, khử nhiễu có tác động đáng kể trên nhiều ứng dụng computer vision. Bằng cách loại bỏ nhiễu và biến dạng không mong muốn, nó tạo ra dữ liệu đầu vào sạch hơn và nhất quán hơn để các Vision AI models xử lý.

Hình ảnh rõ ràng hơn dẫn đến hiệu suất cải thiện trong computer vision tasks như phát hiện đối tượng, phân đoạn cá thể và nhận dạng hình ảnh. Dưới đây là một số ví dụ về các ứng dụng mà các Vision AI models, chẳng hạn như Ultralytics YOLO11 và Ultralytics YOLO26, có thể hưởng lợi từ việc khử nhiễu:

• Kiểm tra công nghiệp: Khử nhiễu thúc đẩy việc phát hiện chính xác hơn các lỗi bề mặt hoặc bất thường trong môi trường sản xuất, dẫn đến cải thiện kiểm soát chất lượng.
• Lái xe tự hành và định vị: Nó nâng cao khả năng phát hiện đối tượng và vật cản trong các điều kiện thách thức như ánh sáng yếu, mưa hoặc sương mù, cải thiện độ an toàn và tin cậy tổng thể.
• Giám sát và an ninh: Khử nhiễu cải thiện chất lượng hình ảnh trong các luồng video có ánh sáng yếu hoặc nén cao, cho phép nhận diện và theo dõi đối tượng hoặc người tốt hơn.
• Underwater imaging: Khử nhiễu làm giảm hiện tượng tán xạ và biến dạng ánh sáng, tăng cường khả năng hiển thị và nhận dạng đối tượng trong điều kiện nước đục.

Link to this sectionƯu và nhược điểm của khử nhiễu tự giám sát#

Dưới đây là một số lợi ích chính của việc sử dụng khử nhiễu tự giám sát trong các hệ thống hình ảnh:

• Khả năng thích ứng với nhiễu: Các phương pháp khử nhiễu tự giám sát có thể học trực tiếp từ dữ liệu nhiễu mà không yêu cầu các tham chiếu sạch đi kèm. Điều này làm cho chúng có khả năng thích ứng cao với nhiều mức độ và loại nhiễu trong thế giới thực, chẳng hạn như nhiễu cảm biến, nhòe chuyển động hoặc nhiễu môi trường.
• Bảo toàn chi tiết: Khi được thiết kế tốt, các model này bảo toàn các kết cấu và cạnh tinh tế cần thiết cho việc diễn giải hình ảnh chính xác. Các cách tiếp cận như mạng điểm mù và học tập dựa trên che phủ giúp duy trì thông tin cấu trúc trong khi giảm nhiễu.
• Giảm tiền xử lý: Bằng cách học cách ánh xạ các đầu vào nhiễu sang các biểu diễn sạch chỉ sử dụng dữ liệu có sẵn, model giảm thiểu nhu cầu lọc thủ công, các thuật toán khử nhiễu thủ công hoặc các tập dữ liệu huấn luyện đã qua tuyển chọn.

Mặc dù có những lợi ích, khử nhiễu tự giám sát cũng đi kèm với những hạn chế nhất định. Dưới đây là một vài yếu tố cần xem xét:

• Yêu cầu tính toán: Các kiến trúc mạng thần kinh sâu được sử dụng cho khử nhiễu tự giám sát, đặc biệt là các model dựa trên Transformer, có thể yêu cầu computational power và tài nguyên bộ nhớ đáng kể so với các kỹ thuật lọc truyền thống.
• Độ phức tạp của thiết kế model: Đạt được kết quả tối ưu đòi hỏi việc lựa chọn cẩn thận các thiết lập model, chẳng hạn như chiến lược che phủ và hàm mất mát, có thể thay đổi theo các loại nhiễu khác nhau.
• Thách thức đánh giá: Các chỉ số chất lượng hình ảnh phổ biến không phải lúc nào cũng khớp với mức độ tự nhiên hoặc chân thực của hình ảnh đã khử nhiễu, vì vậy các kiểm tra trực quan hoặc kiểm tra theo tác vụ thường là cần thiết.

Link to this sectionCác điểm chính cần lưu ý#

Khử nhiễu tự giám sát giúp các model AI học trực tiếp từ hình ảnh nhiễu, tạo ra kết quả rõ ràng hơn trong khi vẫn bảo toàn được các chi tiết tinh tế. Nó hoạt động hiệu quả trên nhiều kịch bản đầy thách thức, chẳng hạn như ánh sáng yếu, ISO cao và hình ảnh chi tiết. Khi AI tiếp tục phát triển, các kỹ thuật như vậy có khả năng sẽ đóng một vai trò thiết yếu trong nhiều ứng dụng computer vision khác nhau.

Tham gia our community và khám phá GitHub repository của chúng tôi để tìm hiểu thêm về AI. Nếu bạn đang tìm cách xây dựng dự án Vision AI của riêng mình, hãy xem các licensing options của chúng tôi. Tìm hiểu thêm về các ứng dụng như AI in healthcare và Vision AI in retail bằng cách truy cập các trang giải pháp của chúng tôi.