Sử dụng self-supervised learning để khử nhiễu hình ảnh

Hình ảnh là một phần trong cuộc sống hằng ngày của chúng ta, từ những bức ảnh chúng ta chụp đến các video được camera ở nơi công cộng ghi lại. Chúng chứa nhiều thông tin giá trị, và công nghệ tiên tiến giúp phân tích, diễn giải dữ liệu này.

Cụ thể, thị giác máy tính, một nhánh của trí tuệ nhân tạo (AI), cho phép máy xử lý thông tin trực quan và hiểu những gì chúng nhìn thấy, tương tự con người. Tuy nhiên, trong các ứng dụng thực tế, hình ảnh thường không hoàn hảo.

Nhiễu hình ảnh do mưa, bụi, ánh sáng yếu hoặc giới hạn của cảm biến có thể che khuất các chi tiết quan trọng, khiến model Vision AI khó phát hiện đối tượng hoặc diễn giải cảnh một cách chính xác hơn. Khử nhiễu hình ảnh giúp giảm nhiễu, cho phép model Vision AI nhìn rõ chi tiết hơn và đưa ra dự đoán tốt hơn.

Hình 1. Ví dụ về khử nhiễu hình ảnh. (Nguồn)

Theo phương pháp truyền thống, khử nhiễu hình ảnh dựa vào học có giám sát, trong đó các model được huấn luyện bằng các cặp hình ảnh nhiễu và sạch để học cách loại bỏ nhiễu. Tuy nhiên, việc thu thập các hình ảnh tham chiếu hoàn toàn sạch không phải lúc nào cũng khả thi.

Để giải quyết thách thức này, các nhà nghiên cứu đã phát triển các bộ khử nhiễu hình ảnh tự giám sát. Mục tiêu là huấn luyện các model AI học trực tiếp từ dữ liệu, tự tạo tín hiệu học để loại bỏ nhiễu và giữ lại các chi tiết quan trọng mà không cần hình ảnh tham chiếu sạch.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về các bộ khử nhiễu hình ảnh tự giám sát, cách chúng hoạt động, những kỹ thuật cốt lõi phía sau và các ứng dụng trong thực tế. Hãy bắt đầu!

Khử nhiễu hình ảnh tự giám sát là gì?#

Hình ảnh nhiễu có thể khiến các model Vision AI khó diễn giải nội dung trong ảnh. Chẳng hạn, ảnh chụp trong điều kiện thiếu sáng có thể bị hạt hoặc mờ, che khuất những đặc điểm tinh tế giúp model xác định đối tượng chính xác.

Trong khử nhiễu dựa trên học có giám sát, các model được huấn luyện bằng các cặp hình ảnh, gồm một ảnh nhiễu và một ảnh sạch, để học cách loại bỏ nhiễu không mong muốn. Mặc dù phương pháp này hoạt động hiệu quả, việc thu thập dữ liệu tham chiếu hoàn toàn sạch thường tốn thời gian và khó thực hiện trong các tình huống thực tế.

Đó là lý do các nhà nghiên cứu chuyển sang khử nhiễu hình ảnh tự giám sát. Khử nhiễu hình ảnh tự giám sát dựa trên khái niệm học tự giám sát, trong đó các model tự học bằng cách tạo tín hiệu học riêng từ dữ liệu.

Vì không phụ thuộc vào các bộ dữ liệu lớn được gán nhãn, khử nhiễu tự giám sát nhanh hơn, dễ mở rộng hơn và dễ áp dụng hơn trong các lĩnh vực như chụp ảnh thiếu sáng, chẩn đoán hình ảnh y khoa và phân tích ảnh vệ tinh, nơi hình ảnh tham chiếu sạch thường không có sẵn.

Thay vì dựa vào hình ảnh tham chiếu sạch, phương pháp này huấn luyện trực tiếp trên dữ liệu nhiễu bằng cách dự đoán các pixel bị che hoặc tái tạo những phần bị thiếu. Qua quá trình này, model học cách phân biệt chi tiết hình ảnh có ý nghĩa với nhiễu ngẫu nhiên, tạo ra đầu ra rõ ràng và chính xác hơn.

Mặc dù có vẻ tương tự học không giám sát, học tự giám sát thực ra là một trường hợp đặc biệt của phương pháp này. Điểm khác biệt cốt lõi là trong học tự giám sát, model tự tạo nhãn hoặc tín hiệu huấn luyện từ dữ liệu để học một tác vụ cụ thể. Ngược lại, học không giám sát tập trung tìm các mẫu hoặc cấu trúc ẩn trong dữ liệu mà không có tác vụ rõ ràng hay mục tiêu được định trước.

Các chiến lược học trong khử nhiễu tự giám sát#

Đối với khử nhiễu tự giám sát, có nhiều cách để quá trình học diễn ra. Một số model khử nhiễu tự giám sát điền vào các pixel bị che hoặc bị thiếu, trong khi những model khác so sánh nhiều phiên bản nhiễu của cùng một hình ảnh để tìm ra các chi tiết nhất quán.

Ví dụ, một phương pháp phổ biến có tên là học điểm mù tập trung huấn luyện model khử nhiễu bỏ qua pixel đang được tái tạo và thay vào đó dựa vào ngữ cảnh xung quanh. Theo thời gian, model tái tạo các hình ảnh chất lượng cao đồng thời bảo toàn kết cấu, cạnh và màu sắc thiết yếu.

Học tự giám sát hoạt động như thế nào để loại bỏ nhiễu#

Tiếp theo, chúng ta sẽ khám phá quy trình giúp học tự giám sát loại bỏ nhiễu.

Quy trình khử nhiễu tự giám sát thường bắt đầu bằng việc đưa các hình ảnh nhiễu vào model khử nhiễu. Model phân tích các pixel lân cận để ước tính mỗi pixel không rõ hoặc bị che nên trông như thế nào, từ đó dần học cách phân biệt nhiễu với chi tiết hình ảnh thực.

Hãy xét một hình ảnh bầu trời tối, có nhiều hạt. Model quan sát các ngôi sao lân cận và các mẫu xung quanh để dự đoán mỗi vùng nhiễu sẽ trông như thế nào nếu không có nhiễu. Bằng cách lặp lại quy trình này trên toàn bộ hình ảnh, model học cách tách nhiễu ngẫu nhiên khỏi các đặc trưng có ý nghĩa, tạo ra kết quả rõ ràng và chính xác hơn.

Nói cách khác, model dự đoán một phiên bản sạch hơn của hình ảnh dựa trên ngữ cảnh mà không bao giờ cần ảnh tham chiếu hoàn toàn sạch. Quy trình này có thể được triển khai bằng nhiều loại model khác nhau, mỗi loại có thế mạnh riêng trong việc xử lý nhiễu.

Các loại model được sử dụng để giảm nhiễu hình ảnh tự giám sát#

Dưới đây là tổng quan nhanh về các loại model thường được dùng để khử nhiễu hình ảnh tự giám sát:

• Mạng nơ-ron tích chập (CNNs): CNNs là các model học sâu được thiết kế để nhận dạng mẫu trong những vùng nhỏ của hình ảnh. Chúng quét hình ảnh bằng các bộ lọc để phát hiện cạnh, hình dạng và kết cấu. Trong khử nhiễu tự giám sát, chúng thường sử dụng kỹ thuật điểm mù, trong đó pixel mục tiêu bị loại khỏi đầu vào để model dự đoán giá trị của nó chỉ dựa trên các pixel xung quanh. Điều này giúp model tránh sao chép nhiễu mà thay vào đó suy luận các chi tiết sạch hơn.
• Autoencoder: Autoencoder là các mạng nơ-ron học cách nén và tái tạo dữ liệu. Trước tiên, chúng giảm hình ảnh thành một biểu diễn nhỏ hơn (mã hóa), sau đó tái dựng hình ảnh (giải mã). Trong quá trình này, chúng học cách nắm bắt các đặc trưng trực quan quan trọng như hình dạng và kết cấu, đồng thời lọc bỏ nhiễu ngẫu nhiên và các chi tiết không liên quan.
• Các model dựa trên Transformer: Transformer là các model ban đầu được phát triển cho xử lý ngôn ngữ tự nhiên nhưng hiện được sử dụng rộng rãi cho các tác vụ thị giác. Chúng xử lý toàn bộ hình ảnh cùng lúc và học cách các vùng khác nhau liên hệ với nhau. Góc nhìn toàn cục này giúp bảo toàn các chi tiết tinh tế và tính nhất quán về cấu trúc, ngay cả trong hình ảnh phức tạp hoặc độ phân giải cao.

Hình 2. Tổng quan về một kiến trúc dựa trên CNN được sử dụng để khử nhiễu hình ảnh tự giám sát. (Nguồn)

Huấn luyện các model này bằng hình ảnh được chụp trong những điều kiện ánh sáng và cài đặt ISO khác nhau giúp chúng hoạt động tốt trong nhiều tình huống thực tế. Trong camera kỹ thuật số, cài đặt ISO kiểm soát mức độ camera làm sáng hình ảnh bằng cách khuếch đại tín hiệu nhận được.

ISO cao hơn giúp ảnh sáng hơn trong môi trường tối nhưng cũng làm tăng nhiễu và giảm chi tiết. Bằng cách học từ các hình ảnh được chụp ở nhiều mức ISO khác nhau, các model phân biệt chi tiết thực với nhiễu tốt hơn, tạo ra kết quả rõ ràng và chính xác hơn.

Bộ khử nhiễu học đâu là nhiễu và đâu là nội dung thực như thế nào?#

Các bộ khử nhiễu học cách phân biệt nhiễu với chi tiết hình ảnh thực thông qua nhiều kỹ thuật huấn luyện khác nhau, tách biệt với các loại model được sử dụng để khử nhiễu. Các loại model như CNN, autoencoder và Transformer mô tả cấu trúc của mạng cũng như cách mạng xử lý thông tin trực quan.

Mặt khác, kỹ thuật huấn luyện xác định cách model học. Một số phương pháp sử dụng dự đoán dựa trên ngữ cảnh, trong đó model điền các pixel bị thiếu hoặc bị che bằng thông tin từ những vùng lân cận.

Các phương pháp khác sử dụng học dựa trên tái tạo, trong đó model nén hình ảnh thành dạng đơn giản hơn rồi tái dựng hình ảnh, giúp nhận diện các cấu trúc có ý nghĩa như cạnh và kết cấu đồng thời lọc bỏ nhiễu ngẫu nhiên.

Loại model và kỹ thuật huấn luyện cùng nhau quyết định mức độ hiệu quả của bộ khử nhiễu trong việc làm sạch hình ảnh. Bằng cách kết hợp kiến trúc phù hợp với phương pháp học phù hợp, các bộ khử nhiễu tự giám sát có thể thích ứng với nhiều loại nhiễu và tạo ra hình ảnh rõ ràng, chính xác hơn ngay cả khi không có dữ liệu tham chiếu sạch.

Các kỹ thuật cốt lõi trong khử nhiễu hình ảnh AI tự giám sát#

Dưới đây là một số kỹ thuật huấn luyện được sử dụng rộng rãi nhất để thực hiện khử nhiễu hình ảnh tự giám sát hiệu quả:

• Noise2Noise: Phương pháp này huấn luyện model bằng hai phiên bản nhiễu của cùng một hình ảnh. Vì nhiễu trong mỗi phiên bản là ngẫu nhiên, model học cách tập trung vào các chi tiết nhất quán thể hiện hình ảnh thực và bỏ qua nhiễu. Phương pháp hoạt động tốt nhất khi có nhiều ảnh nhiễu của cùng một cảnh, chẳng hạn trong chụp liên tiếp hoặc chẩn đoán hình ảnh y khoa và khoa học.
• Noise2Void hoặc Noise2Self: Các kỹ thuật này huấn luyện trên một hình ảnh nhiễu duy nhất bằng cách ẩn (che) một pixel và yêu cầu model dự đoán giá trị của pixel đó dựa trên các pixel xung quanh. Điều này ngăn model đơn giản sao chép dữ liệu nhiễu và giúp model học cấu trúc tự nhiên của hình ảnh. Chúng đặc biệt hữu ích khi chỉ có một hình ảnh nhiễu, chẳng hạn trong kính hiển vi, thiên văn học hoặc chụp ảnh thiếu sáng.
• Mạng điểm mù: Các mạng này được thiết kế đặc biệt để model không thể nhìn thấy pixel đang được tái tạo. Thay vào đó, model dựa vào thông tin từ vùng xung quanh để ước tính pixel đó nên trông như thế nào. Điều này giúp việc loại bỏ nhiễu chính xác và không thiên lệch hơn, đồng thời các mạng này thường được kết hợp với phương pháp Noise2Void hoặc Noise2Self trong các tác vụ khử nhiễu theo từng pixel.
• Autoencoder bị che (MAE): Trong phương pháp này, một số phần của hình ảnh bị ẩn và model học cách tái tạo các vùng bị thiếu. Qua đó, model học cả các chi tiết tinh tế lẫn cấu trúc tổng thể, giúp phân biệt nội dung thực với nhiễu. Autoencoder bị che đặc biệt hiệu quả với hình ảnh độ phân giải cao hoặc phức tạp, trong đó việc hiểu ngữ cảnh rộng hơn giúp cải thiện khả năng phục hồi.

Đánh giá hệ thống khử nhiễu hình ảnh#

Khử nhiễu hình ảnh là sự cân bằng cẩn trọng giữa hai mục tiêu: giảm nhiễu và giữ nguyên các chi tiết tinh tế. Khử nhiễu quá mức có thể khiến hình ảnh trông mềm hoặc mờ, trong khi khử nhiễu chưa đủ có thể để lại hạt hoặc nhiễu giả không mong muốn.

Để đánh giá mức độ cân bằng này của model, các nhà nghiên cứu sử dụng những metric đánh giá đo lường cả độ rõ nét của hình ảnh và khả năng bảo toàn chi tiết. Các metric này cho biết model làm sạch hình ảnh tốt đến đâu mà không làm mất thông tin trực quan quan trọng.

Dưới đây là các metric đánh giá phổ biến giúp đo chất lượng hình ảnh và hiệu năng khử nhiễu:

• Sai số bình phương trung bình (MSE): Metric này đo chênh lệch bình phương trung bình giữa hình ảnh gốc và hình ảnh đã khử nhiễu. Nó cho biết đầu ra gần với hình ảnh gốc đến đâu ở cấp độ pixel. Giá trị MSE thấp hơn thể hiện ít lỗi hơn và kết quả chính xác hơn.
• Tỷ số tín hiệu trên nhiễu đỉnh (PSNR): Metric này so sánh cường độ tín hiệu của hình ảnh gốc với lượng nhiễu còn lại, được biểu thị bằng decibel. Nó được dùng để đánh giá mức độ chi tiết ban đầu được giữ lại sau khi khử nhiễu. Giá trị PSNR cao hơn cho thấy hình ảnh rõ ràng và chất lượng cao hơn.
• Chỉ số đánh giá độ tương đồng cấu trúc (SSIM): SSIM đánh giá cấu trúc, độ sáng và độ tương phản để đo mức độ tương đồng giữa hình ảnh đã khử nhiễu và hình ảnh gốc. Metric này tập trung vào cách con người nhìn nhận hình ảnh, không chỉ vào các con số thô. Điểm SSIM cao hơn cho thấy hình ảnh tự nhiên hơn và trung thực hơn so với bản gốc.
• Metric cảm nhận: Các metric này sử dụng model học sâu để đánh giá hình ảnh trông chân thực và tự nhiên đến đâu. Thay vì so sánh từng pixel, chúng tập trung vào diện mạo tổng thể, kết cấu và độ tương đồng trực quan. Trong hầu hết trường hợp, điểm thấp hơn có nghĩa là hình ảnh gần với bản gốc hơn và dễ chịu hơn về mặt thị giác đối với con người.

Các ứng dụng của khử nhiễu tự giám sát#

Giờ đây khi đã hiểu rõ hơn khử nhiễu là gì, hãy cùng khám phá cách khử nhiễu hình ảnh tự giám sát được áp dụng trong các tình huống thực tế.

Sử dụng khử nhiễu tự giám sát trong nhiếp ảnh thiên văn#

Chụp ảnh rõ nét các ngôi sao và thiên hà không phải việc dễ dàng. Bầu trời đêm tối nên camera thường cần thời gian phơi sáng dài, điều này có thể tạo ra nhiễu không mong muốn. Nhiễu này có thể làm mờ các chi tiết vũ trụ tinh tế và khiến tín hiệu yếu khó phát hiện hơn.

Các công cụ khử nhiễu truyền thống có thể giúp giảm nhiễu, nhưng thường đồng thời loại bỏ cả những chi tiết quan trọng. Khử nhiễu tự giám sát mang đến một giải pháp thay thế thông minh hơn. Bằng cách học trực tiếp từ các hình ảnh nhiễu, model AI có thể nhận diện các mẫu đại diện cho đặc trưng thực và tách chúng khỏi nhiễu ngẫu nhiên.

Kết quả là hình ảnh các thiên thể như ngôi sao, thiên hà và Mặt Trời rõ ràng hơn nhiều, làm lộ ra những chi tiết mờ vốn có thể bị bỏ qua. Phương pháp này cũng có thể tăng cường các đặc trưng thiên văn tinh tế, cải thiện độ rõ nét của hình ảnh và giúp dữ liệu hữu ích hơn cho nghiên cứu khoa học.

Hình 3. Khử nhiễu hình ảnh có thể cải thiện ảnh nhiếp ảnh thiên văn. (Nguồn)

Khử nhiễu tự giám sát cho chẩn đoán hình ảnh y khoa#

Các ảnh chụp y khoa như MRI, CT và ảnh kính hiển vi thường thu nhiễu, khiến các chi tiết nhỏ khó quan sát hơn. Đây có thể là vấn đề khi bác sĩ cần phát hiện dấu hiệu bệnh sớm hoặc theo dõi những thay đổi theo thời gian.

Nhiễu hình ảnh có thể xuất phát từ chuyển động của bệnh nhân, cường độ tín hiệu thấp hoặc giới hạn về lượng bức xạ có thể sử dụng. Để làm rõ hơn các ảnh chụp y khoa, các nhà nghiên cứu đã tìm hiểu những phương pháp khử nhiễu tự giám sát như Noise2Self và các phương pháp tương tự khác.

Các model này được huấn luyện trực tiếp trên ảnh MRI não bị nhiễu, tự học các mẫu nhiễu và làm sạch ảnh mà không cần các ví dụ hoàn toàn rõ nét. Những hình ảnh sau xử lý cho thấy kết cấu sắc nét hơn và độ tương phản tốt hơn, giúp nhận diện các cấu trúc tinh tế dễ dàng hơn. Các bộ khử nhiễu hỗ trợ bởi AI này tinh giản quy trình chẩn đoán hình ảnh và nâng cao hiệu quả phân tích theo thời gian thực.

Hình 4. Sử dụng các kỹ thuật khử nhiễu tự giám sát khác nhau trên ảnh MRI não. (Nguồn)

Cải thiện hệ thống thị giác bằng khử nhiễu tự giám sát#

Trong hầu hết trường hợp, khử nhiễu có tác động đáng kể đến nhiều ứng dụng thị giác máy tính. Bằng cách loại bỏ nhiễu và biến dạng không mong muốn, phương pháp này tạo ra dữ liệu đầu vào sạch hơn và nhất quán hơn để các model Vision AI xử lý.

Hình ảnh rõ hơn giúp cải thiện hiệu năng trong các tác vụ thị giác máy tính như phát hiện đối tượng, phân đoạn instance và nhận dạng hình ảnh. Dưới đây là một số ứng dụng mà các model Vision AI như Ultralytics YOLO11 và Ultralytics YOLO26 có thể hưởng lợi từ khử nhiễu:

• Kiểm tra công nghiệp: Khử nhiễu giúp phát hiện chính xác hơn các khuyết tật hoặc bất thường trên bề mặt trong môi trường sản xuất, từ đó cải thiện kiểm soát chất lượng.
• Lái xe tự hành và điều hướng: Phương pháp này nâng cao khả năng phát hiện đối tượng và chướng ngại vật trong các điều kiện khó khăn như ánh sáng yếu, mưa hoặc sương mù, cải thiện độ an toàn và độ tin cậy tổng thể.
• Giám sát và an ninh: Khử nhiễu cải thiện chất lượng hình ảnh trong các luồng video thiếu sáng hoặc bị nén mạnh, cho phép nhận diện và theo dõi đối tượng hoặc con người tốt hơn.
• Chụp ảnh dưới nước: Khử nhiễu làm giảm hiện tượng tán xạ và biến dạng ánh sáng, tăng khả năng quan sát và nhận dạng đối tượng trong điều kiện nước đục.

Ưu và nhược điểm của khử nhiễu tự giám sát#

Dưới đây là một số lợi ích chính của việc sử dụng khử nhiễu tự giám sát trong các hệ thống chụp ảnh:

• Khả năng thích ứng với nhiễu: Các phương pháp khử nhiễu tự giám sát có thể học trực tiếp từ dữ liệu nhiễu mà không cần các cặp tham chiếu sạch. Điều này giúp chúng thích ứng tốt với nhiều mức độ và loại nhiễu trong thực tế, chẳng hạn nhiễu cảm biến, nhòe do chuyển động hoặc nhiễu từ môi trường.
• Bảo toàn chi tiết: Khi được thiết kế tốt, các model này giữ lại những kết cấu và cạnh tinh tế thiết yếu cho việc diễn giải hình ảnh chính xác. Các phương pháp như mạng điểm mù và học dựa trên masking giúp duy trì thông tin cấu trúc trong khi giảm nhiễu.
• Ít tiền xử lý hơn: Bằng cách học ánh xạ đầu vào nhiễu thành các biểu diễn sạch chỉ sử dụng dữ liệu hiện có, model giảm nhu cầu lọc thủ công, thuật toán khử nhiễu được thiết kế thủ công hoặc bộ dữ liệu huấn luyện được tuyển chọn.

Bên cạnh những lợi ích, khử nhiễu tự giám sát cũng có một số hạn chế. Dưới đây là vài yếu tố cần cân nhắc:

• Yêu cầu tính toán: Các kiến trúc nơ-ron sâu được sử dụng cho khử nhiễu tự giám sát, đặc biệt là các model dựa trên Transformer, có thể yêu cầu năng lực tính toán và tài nguyên bộ nhớ đáng kể hơn so với các kỹ thuật lọc truyền thống.
• Độ phức tạp trong thiết kế model: Để đạt kết quả tối ưu, cần lựa chọn cẩn thận các thiết lập của model, chẳng hạn chiến lược masking và hàm loss, vốn có thể thay đổi tùy theo từng loại nhiễu.
• Thách thức trong đánh giá: Các metric chất lượng hình ảnh phổ biến không phải lúc nào cũng phản ánh mức độ tự nhiên hoặc chân thực của hình ảnh đã khử nhiễu, vì vậy thường cần kiểm tra trực quan hoặc kiểm tra theo từng tác vụ cụ thể.

Những điểm chính#

Khử nhiễu tự giám sát giúp các model AI học trực tiếp từ hình ảnh nhiễu, tạo ra kết quả rõ ràng hơn đồng thời bảo toàn các chi tiết tinh tế. Phương pháp này hoạt động hiệu quả trong nhiều tình huống đầy thách thức như thiếu sáng, ISO cao và hình ảnh nhiều chi tiết. Khi AI tiếp tục phát triển, các kỹ thuật này có thể đóng vai trò thiết yếu trong nhiều ứng dụng thị giác máy tính.

Tham gia cộng đồng của chúng tôi và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI. Nếu bạn muốn xây dựng dự án Vision AI của riêng mình, hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về các ứng dụng như AI trong chăm sóc sức khỏe và Vision AI trong bán lẻ bằng cách truy cập các trang giải pháp của chúng tôi.