Học tự giám sát để khử nhiễu: Phân tích từng bước

Camera không phải lúc nào cũng ghi lại thế giới giống như cách chúng ta nhìn thấy. Ảnh chân dung chụp trong điều kiện thiếu sáng hoặc ảnh một chiếc xe đang chạy nhanh có thể bị nhiễu hạt, nhòe hoặc méo hình.

Cảm biến chậm, môi trường tối và chuyển động có thể tạo ra những đốm nhiễu nhỏ làm mềm đường viền và che khuất chi tiết quan trọng. Khi hình ảnh mất đi độ rõ nét, ngay cả các hệ thống AI và machine learning tiên tiến cũng có thể gặp khó khăn trong việc hiểu nội dung ảnh, vì nhiều hệ thống thông minh cần những chi tiết nhỏ đó để hoạt động hiệu quả.

Ví dụ, thị giác máy tính là một nhánh của trí tuệ nhân tạo, cho phép máy diễn giải hình ảnh và video. Để thực hiện chính xác việc này, các model AI thị giác cần dữ liệu hình ảnh rõ nét, chất lượng cao để học.

Cụ thể, các model như Ultralytics YOLO11 và Ultralytics YOLO26 (ra mắt vào tháng 1 năm 2026) hỗ trợ các tác vụ như phát hiện đối tượng, phân đoạn instance và ước lượng tư thế, đồng thời có thể được huấn luyện tùy chỉnh cho nhiều trường hợp sử dụng. Các tác vụ này dựa vào những dấu hiệu thị giác rõ ràng như cạnh, kết cấu, màu sắc và chi tiết cấu trúc tinh vi.

Khi nhiễu che khuất những đặc trưng này, model nhận được tín hiệu huấn luyện yếu hơn, khiến việc học các mẫu chính xác trở nên khó khăn hơn. Do đó, ngay cả một lượng nhiễu nhỏ cũng có thể làm giảm hiệu suất trong các ứng dụng thực tế.

Trước đây, chúng ta đã tìm hiểu cách học tự giám sát khử nhiễu hình ảnh. Trong bài viết này, chúng ta sẽ tìm hiểu sâu hơn cách các kỹ thuật khử nhiễu tự giám sát hoạt động và cách chúng giúp khôi phục thông tin hình ảnh có ý nghĩa.

Các loại nhiễu phổ biến trong ảnh thực tế#

Trước khi tìm hiểu cách áp dụng học tự giám sát để khử nhiễu ảnh, hãy cùng xem lại lý do khiến ảnh bị nhiễu ngay từ đầu.

Hình ảnh vật thể và cảnh vật trong thế giới thực hiếm khi hoàn hảo. Ánh sáng yếu, chất lượng cảm biến hạn chế và chuyển động nhanh có thể tạo ra các nhiễu loạn ngẫu nhiên ở từng pixel trên toàn ảnh. Những biến đổi ở cấp pixel này, được gọi là nhiễu, làm giảm độ rõ nét tổng thể và khiến các chi tiết quan trọng khó nhìn thấy hơn.

Khi nhiễu che khuất đường viền, kết cấu và các mẫu tinh vi, hệ thống thị giác máy tính sẽ gặp khó khăn trong việc nhận dạng đối tượng hoặc diễn giải cảnh vật chính xác. Các điều kiện khác nhau tạo ra những loại nhiễu khác nhau, mỗi loại ảnh hưởng đến hình ảnh theo cách riêng.

Hình 1. Ví dụ về cách nhiễu có thể làm tăng độ bất định trong ảnh. (Nguồn)

Dưới đây là một số loại nhiễu phổ biến nhất trong ảnh:

• Nhiễu Gaussian: Loại nhiễu này xuất hiện dưới dạng hạt ngẫu nhiên mờ, do nhiễu điện tử của cảm biến hoặc biến động nhiệt gây ra. Nhiễu tuân theo phân phối Gaussian (chuẩn), trong đó các biến thiên nhỏ của pixel làm mờ chi tiết tinh vi và giảm độ sắc nét tổng thể.
• Nhiễu Poisson: Còn gọi là nhiễu photon, loại nhiễu này xuất hiện trong điều kiện thiếu sáng hoặc khi thời gian phơi sáng ngắn. Phương sai của nhiễu tăng theo độ sáng, nhưng nhiễu thường dễ nhận thấy hơn ở các vùng tối vì số photon thu được ít hơn, dẫn đến tỷ lệ tín hiệu trên nhiễu thấp hơn.
• Nhiễu muối tiêu: Loại nhiễu này xuất hiện dưới dạng các điểm ảnh đen hoặc trắng đột ngột, sắc nét. Nhiễu thường do lỗi truyền dữ liệu, hỏng bit hoặc cảm biến camera bị lỗi, và thường làm mất hoặc sai lệch giá trị pixel.
• Nhiễu đốm: Loại nhiễu này xuất hiện dưới dạng các mẫu hạt lấm tấm và phổ biến trong ảnh y tế, radar và siêu âm. Nhiễu do giao thoa và tán xạ tín hiệu gây ra, làm giảm độ tương phản và khiến việc phát hiện đường viền khó khăn hơn.

Khi nào nên sử dụng khử nhiễu tự giám sát?#

Vậy điều gì làm cho khử nhiễu tự giám sát trở nên đặc biệt? Phương pháp này phát huy hiệu quả trong những tình huống không có ảnh sạch làm ground truth hoặc việc thu thập ảnh như vậy quá khó.

Điều này thường xảy ra trong nhiếp ảnh thiếu sáng, chụp ảnh với ISO cao, chụp ảnh y tế và khoa học, hoặc bất kỳ môi trường nào không thể tránh khỏi nhiễu và việc thu thập dữ liệu tham chiếu hoàn hảo là không thực tế. Thay vì cần các mẫu sạch, model học trực tiếp từ những ảnh nhiễu sẵn có, nhờ đó thích ứng với các mẫu nhiễu cụ thể của camera hoặc cảm biến.

Khử nhiễu tự giám sát cũng là lựa chọn phù hợp khi bạn muốn cải thiện hiệu suất của các tác vụ thị giác máy tính phía sau nhưng tập dữ liệu lại chứa nhiều ảnh không nhất quán hoặc bị nhiễu. Bằng cách khôi phục đường viền, kết cấu và cấu trúc rõ nét hơn, các phương pháp này giúp những model như YOLO phát hiện, phân đoạn và hiểu cảnh vật đáng tin cậy hơn. Tóm lại, nếu bạn đang làm việc với dữ liệu nhiễu và không có ảnh huấn luyện sạch, khử nhiễu tự giám sát thường là giải pháp thực tế và hiệu quả nhất.

Các kỹ thuật cốt lõi thúc đẩy khử nhiễu tự giám sát#

Như đã đề cập trước đây, khử nhiễu tự giám sát là phương pháp AI dựa trên deep learning, cho phép model học trực tiếp từ hình ảnh nhiễu mà không phụ thuộc vào nhãn sạch. Phương pháp này dựa trên các nguyên lý của học tự giám sát, trong đó model tự tạo tín hiệu huấn luyện từ chính dữ liệu.

Nói cách khác, model có thể tự học bằng cách dùng ảnh nhiễu vừa làm đầu vào vừa làm nguồn tạo tín hiệu học. Bằng cách so sánh các phiên bản bị nhiễu khác nhau của cùng một ảnh hoặc dự đoán các pixel bị che, model học được mẫu nào thể hiện cấu trúc thực và mẫu nào chỉ là nhiễu. Thông qua tối ưu hóa lặp và nhận dạng mẫu, mạng dần cải thiện khả năng phân biệt nội dung ảnh có ý nghĩa với các biến thiên ngẫu nhiên.

Hình 2. Ảnh gốc và ảnh đã khử nhiễu. (Nguồn)

Quá trình này khả thi nhờ các chiến lược học cụ thể, hướng dẫn model tách cấu trúc ảnh ổn định khỏi nhiễu ngẫu nhiên. Tiếp theo, hãy cùng tìm hiểu kỹ hơn về các kỹ thuật và thuật toán cốt lõi giúp tối ưu quy trình này, cũng như cách mỗi phương pháp hỗ trợ model tái tạo ảnh rõ nét và đáng tin cậy hơn.

Phương pháp khử nhiễu ảnh theo cặp#

Nhiều phương pháp học tự giám sát khử nhiễu thời kỳ đầu hoạt động bằng cách so sánh hai phiên bản nhiễu của cùng một ảnh. Vì nhiễu thay đổi ngẫu nhiên mỗi lần ảnh được chụp hoặc làm nhiễu, còn cấu trúc thực vẫn giữ nguyên, những khác biệt này có thể được dùng làm tín hiệu học cho model.

Các phương pháp này thường được gọi là phương pháp khử nhiễu ảnh theo cặp vì chúng sử dụng hoặc tạo ra các cặp ảnh nhiễu trong quá trình huấn luyện. Ví dụ, phương pháp Noise2Noise (do Jaakko Lehtinen và nhóm nghiên cứu đề xuất) huấn luyện model bằng hai ảnh độc lập có nhiễu của cùng một cảnh. Vì các mẫu nhiễu khác nhau giữa hai phiên bản, model học cách nhận diện những chi tiết nhất quán thể hiện ảnh gốc bên dưới.

Hình 3. Cách Noise2Noise hoạt động (Nguồn)

Theo thời gian, phương pháp này giúp mạng loại bỏ nhiễu ngẫu nhiên và giữ lại cấu trúc thực, dù mạng chưa bao giờ thấy ảnh tham chiếu sạch. Hãy hình dung một tình huống đơn giản: bạn chụp hai ảnh một con phố thiếu sáng vào ban đêm.

Mỗi ảnh đều có cùng các tòa nhà, ánh đèn và bóng đổ, nhưng nhiễu hạt xuất hiện ở những vị trí khác nhau. Bằng cách so sánh hai ảnh nhiễu này trong quá trình huấn luyện, model tự giám sát có thể học mẫu hình ảnh nào ổn định và mẫu nào do nhiễu gây ra, từ đó cải thiện khả năng tái tạo ảnh rõ nét hơn.

Phương pháp học tự giám sát khử nhiễu dựa trên vùng mù#

Trong khi phương pháp theo cặp dựa vào việc so sánh hai phiên bản của cùng một ảnh bị nhiễu theo cách khác nhau, phương pháp vùng mù lại tiếp cận theo hướng khác. Phương pháp này cho phép model học từ một ảnh nhiễu duy nhất bằng cách che một số pixel được chọn để mạng không nhìn thấy giá trị đã bị nhiễu của chúng.

Sau đó, model phải dự đoán các pixel bị che chỉ dựa vào ngữ cảnh xung quanh. Ý tưởng cốt lõi là nhiễu mang tính ngẫu nhiên, còn cấu trúc nền của ảnh thì không.

Bằng cách ngăn model sao chép giá trị nhiễu của một pixel, phương pháp vùng mù khuyến khích model suy luận giá trị pixel đó dựa trên các mẫu ảnh ổn định như đường viền, kết cấu hoặc chuyển sắc màu lân cận. Các kỹ thuật như Noise2Void (do Alexander Krull và nhóm nghiên cứu giới thiệu) và Noise2Self (do Joshua Batson và Loïc Royer phát triển) hiện thực hóa nguyên tắc này bằng cách che từng pixel riêng lẻ hoặc các vùng lân cận nhỏ, rồi huấn luyện model tái tạo chúng.

Các phương pháp tiên tiến hơn, bao gồm Noise2Same và PN2V, cải thiện độ bền vững bằng cách đảm bảo dự đoán nhất quán qua nhiều phiên bản được che hoặc mô hình hóa tường minh phân phối nhiễu để ước tính độ bất định. Vì các phương pháp này chỉ cần một ảnh nhiễu duy nhất, chúng đặc biệt hữu ích trong những lĩnh vực khó hoặc không thể thu thập ảnh sạch hay ảnh theo cặp, chẳng hạn như kính hiển vi, thiên văn học, chụp ảnh y sinh hoặc nhiếp ảnh thiếu sáng.

Phương pháp khử nhiễu có hỗ trợ của Transformer#

Hầu hết các phương pháp khử nhiễu tự giám sát theo cặp và điểm mù đều dựa trên mạng nơ-ron tích chập (CNN) hoặc mạng khử nhiễu. CNN là lựa chọn phù hợp cho các phương pháp này vì tập trung vào những mẫu cục bộ, cụ thể là cạnh, kết cấu và chi tiết nhỏ.

Các kiến trúc như U-Net được sử dụng rộng rãi vì chúng kết hợp đặc trưng chi tiết với thông tin đa tỷ lệ. Tuy nhiên, CNN chủ yếu hoạt động trong các vùng lân cận giới hạn, nghĩa là chúng có thể bỏ sót những mối quan hệ quan trọng trải rộng trên các vùng lớn hơn của ảnh.

Các phương pháp khử nhiễu tiên tiến được hỗ trợ bởi Transformer đã được giới thiệu để khắc phục hạn chế này. Thay vì chỉ xem xét các pixel lân cận, những phương pháp này sử dụng cơ chế attention để hiểu mối liên hệ giữa các phần khác nhau trong ảnh.

Một số model sử dụng attention toàn cục, trong khi những model khác dùng attention theo cửa sổ hoặc phân cấp để giảm khối lượng tính toán, nhưng nhìn chung, các phương pháp này được thiết kế để nắm bắt cấu trúc phạm vi xa mà chỉ riêng CNN không thể nắm bắt. Góc nhìn rộng hơn này giúp model khôi phục kết cấu lặp lại, bề mặt trơn hoặc vật thể lớn cần thông tin từ khắp ảnh.

Các phương pháp khử nhiễu ảnh khác#

Ngoài các kỹ thuật tự giám sát, còn có một số cách khác để làm sạch ảnh nhiễu. Các phương pháp truyền thống như lọc song phương, khử nhiễu bằng wavelet và trung bình phi cục bộ sử dụng các quy tắc toán học đơn giản để làm mượt nhiễu trong khi cố gắng giữ lại các chi tiết quan trọng.

Ngoài ra còn có các phương pháp deep learning, bao gồm model có giám sát học từ các cặp ảnh sạch và ảnh nhiễu, cùng mạng đối kháng tạo sinh (GAN) tạo ra kết quả sắc nét và chân thực hơn. Tuy nhiên, những phương pháp này thường cần ảnh chất lượng cao hơn để huấn luyện.

Tìm hiểu từng bước cách khử nhiễu ảnh tự giám sát hoạt động#

Vừa rồi, chúng ta đã tìm hiểu một số kỹ thuật khác nhau, nên có thể bạn thắc mắc liệu mỗi kỹ thuật có hoạt động theo một cách hoàn toàn khác nhau do sử dụng kiến trúc riêng hay không. Tuy nhiên, tất cả đều tuân theo một quy trình tương tự, bắt đầu bằng chuẩn bị dữ liệu và kết thúc bằng đánh giá model.

Tiếp theo, hãy cùng tìm hiểu kỹ hơn quy trình khử nhiễu hình ảnh tự giám sát tổng thể, theo từng bước.

Bước 1: Tiền xử lý và chuẩn hóa#

Trước khi model có thể bắt đầu học từ ảnh nhiễu, bước đầu tiên là đảm bảo tất cả ảnh có đặc điểm nhất quán. Ảnh thực tế có thể khác nhau đáng kể.

Một số ảnh có thể quá sáng, một số khác quá tối, và màu sắc của một số ảnh có thể bị lệch đôi chút. Nếu đưa trực tiếp những biến thể này vào model, model sẽ khó tập trung học đặc điểm của nhiễu hơn.

Để xử lý vấn đề này, mỗi hình ảnh đều trải qua bước chuẩn hóa và tiền xử lý cơ bản. Các bước này có thể bao gồm đưa giá trị pixel về một khoảng chuẩn, hiệu chỉnh biến thiên cường độ hoặc cắt và thay đổi kích thước ảnh. Điều quan trọng là model nhận được dữ liệu nhất quán, có thể dùng làm đầu vào ổn định và dễ so sánh.

Bước 2: Tạo tín hiệu huấn luyện tự giám sát#

Sau khi ảnh được chuẩn hóa, bước tiếp theo là tạo tín hiệu huấn luyện để model có thể học mà không cần xem ảnh sạch. Các phương pháp khử nhiễu tự giám sát thực hiện điều này bằng cách đảm bảo model không thể chỉ đơn giản sao chép giá trị pixel nhiễu nhận được.

Thay vào đó, các phương pháp này tạo ra những tình huống buộc model phải dựa vào ngữ cảnh xung quanh của ảnh, nơi chứa cấu trúc ổn định, thay vì dựa vào nhiễu khó dự đoán. Các phương pháp khác nhau thực hiện điều này theo những cách hơi khác nhau, nhưng ý tưởng cốt lõi vẫn giống nhau.

Một số phương pháp tạm thời che hoặc ẩn một số pixel để model phải suy luận giá trị của chúng từ các pixel lân cận, trong khi những phương pháp khác tạo ra một phiên bản riêng bị làm nhiễu của cùng ảnh nhiễu, để đầu vào và mục tiêu chứa các nhiễu độc lập. Trong cả hai trường hợp, ảnh mục tiêu đều mang thông tin cấu trúc có ý nghĩa nhưng không cho mạng truy cập giá trị nhiễu ban đầu của pixel cần dự đoán.

Vì nhiễu thay đổi ngẫu nhiên trong khi ảnh nền vẫn nhất quán, thiết lập này tự nhiên khuyến khích model học hình thái cấu trúc thực và bỏ qua nhiễu biến đổi giữa các phiên bản.

Bước 3: Học khử nhiễu để khôi phục cấu trúc ảnh#

Khi đã có tín hiệu huấn luyện, model có thể bắt đầu học cách tách cấu trúc ảnh có ý nghĩa khỏi nhiễu thông qua quá trình huấn luyện model. Mỗi khi dự đoán một pixel bị che hoặc bị làm nhiễu lại, model phải dựa vào ngữ cảnh xung quanh thay vì giá trị nhiễu ban đầu tại vị trí đó.

Qua nhiều vòng lặp hoặc epoch, quá trình này giúp mạng nhận diện các dạng mẫu ổn định trong ảnh như đường viền, kết cấu và bề mặt trơn. Mạng cũng học cách bỏ qua những biến động ngẫu nhiên đặc trưng của nhiễu.

Ví dụ, hãy hình dung một bức ảnh thiếu sáng có bề mặt trông rất nhiễu hạt. Dù nhiễu thay đổi theo từng pixel, bề mặt nền vẫn trơn. Bằng cách liên tục suy luận các pixel bị che trong những vùng như vậy, model dần nhận diện tốt hơn mẫu ổn định bên dưới lớp nhiễu và tái tạo mẫu đó rõ nét hơn.

Thông qua quá trình huấn luyện model, mạng học được biểu diễn nội tại về cấu trúc ảnh. Điều này cho phép model khôi phục các chi tiết mạch lạc ngay cả khi đầu vào bị nhiễu nặng.

Bước 4: Đánh giá và kết quả giảm nhiễu#

Sau khi model học được cách dự đoán các pixel bị che hoặc bị làm nhiễu lại, bước cuối cùng là đánh giá hiệu suất của model trên toàn bộ ảnh. Trong quá trình kiểm thử, model nhận một ảnh nhiễu đầy đủ và tạo ra phiên bản đã khử nhiễu hoàn chỉnh dựa trên hiểu biết về cấu trúc ảnh đã học. Để đo lường hiệu quả của quy trình này, đầu ra được so sánh với ảnh tham chiếu sạch hoặc các tập dữ liệu benchmark tiêu chuẩn.

Hai metric thường được sử dụng là PSNR (tỷ số tín hiệu trên nhiễu đỉnh), đo mức độ gần với ground truth sạch của ảnh tái tạo, và SSIM (chỉ số tương đồng cấu trúc), đánh giá mức độ bảo toàn các đặc trưng quan trọng như đường viền và kết cấu. Điểm số cao hơn thường cho thấy quá trình khử nhiễu chính xác hơn và đáng tin cậy hơn về mặt thị giác.

Tập dữ liệu ảnh dùng để huấn luyện và đánh giá chuẩn#

Các nghiên cứu về khử nhiễu tự giám sát được công bố trên các tạp chí IEEE, tại các hội nghị CVF như CVPR, ICCV và ECCV, cũng như trên arXiv, thường sử dụng kết hợp bộ dữ liệu tổng hợp và dữ liệu thực tế để đánh giá hiệu suất của các phương pháp deep learning trong cả điều kiện được kiểm soát lẫn ứng dụng thực tiễn. Một mặt, bộ dữ liệu tổng hợp bắt đầu từ hình ảnh sạch rồi thêm nhiễu nhân tạo, giúp dễ dàng so sánh các phương pháp bằng những chỉ số như PSNR và SSIM.

Sau đây là một số dataset phổ biến thường được dùng cùng với nhiễu tổng hợp để đánh giá chuẩn:

• Kodak24: Dataset này cung cấp ảnh chụp cảnh tự nhiên chất lượng cao, thường được dùng để so sánh trực quan kết quả khử nhiễu.
• DIV2K: Dataset độ phân giải cao này chứa nhiều hình ảnh đa dạng, chi tiết, được dùng để đánh giá độ trung thực của kết cấu và chất lượng khôi phục tổng thể.

Ngược lại, các dataset nhiễu trong thế giới thực chứa hình ảnh được chụp trực tiếp từ cảm biến camera trong điều kiện thiếu sáng, ISO cao hoặc các tình huống khó khăn khác. Những dataset này kiểm tra liệu một model có thể xử lý nhiễu phức tạp, không theo phân phối Gaussian mà không thể dễ dàng mô phỏng hay không.

Sau đây là một số dataset nhiễu trong thế giới thực phổ biến:

• SIDD: Dataset này cung cấp các cặp ảnh nhiễu và ảnh sạch thực tế, được chụp bằng cảm biến smartphone trong nhiều điều kiện ánh sáng khác nhau.
• DND: Dataset này bao gồm ảnh chụp ở ISO cao, ghi lại các mẫu nhiễu cảm biến thực tế thường thấy ở camera tiêu dùng.

Hình 4. Ví dụ từ dataset DND. (Nguồn)

Các yếu tố cần cân nhắc khi huấn luyện model khử nhiễu tự giám sát#

Sau đây là một số yếu tố và hạn chế cần cân nhắc nếu bạn định huấn luyện model khử nhiễu tự giám sát dựa trên deep learning:

• Khớp phân phối nhiễu: Hình ảnh nhiễu dùng để huấn luyện cần phản ánh đúng loại nhiễu mà model sẽ gặp trong thực tế; nhiễu không khớp sẽ dẫn đến khả năng tổng quát hóa kém.
• Đảm bảo dữ liệu huấn luyện đa dạng: Mức độ biến thiên hạn chế có thể gây overfitting hoặc làm mờ quá mức các kết cấu phức tạp.
• Lưu ý hạn chế theo loại nhiễu: Các phương pháp tự giám sát gặp nhiều khó khăn hơn với nhiễu có cấu trúc, tương quan hoặc không ngẫu nhiên.
• Kiểm thử trên nhiều thiết bị hoặc cảm biến: Hiệu suất khử nhiễu có thể khác biệt đáng kể giữa các camera hoặc hệ thống tạo ảnh.

Điểm chính cần ghi nhớ#

Khử nhiễu tự giám sát mang đến cho những người đam mê AI một cách thiết thực để làm sạch hình ảnh chỉ bằng dữ liệu nhiễu sẵn có. Bằng cách học cách nhận diện cấu trúc thực bên dưới nhiễu, các phương pháp này có thể khôi phục những chi tiết hình ảnh quan trọng. Khi công nghệ khử nhiễu tiếp tục cải thiện, công nghệ này nhiều khả năng sẽ giúp nhiều tác vụ thị giác máy tính trở nên đáng tin cậy hơn trong đời sống hằng ngày.

Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Truy cập repository GitHub để tìm hiểu thêm về AI. Nếu bạn muốn xây dựng giải pháp thị giác máy tính, hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá lợi ích của thị giác máy tính trong bán lẻ và tìm hiểu cách AI trong sản xuất đang tạo ra khác biệt!