Dataset distillation là gì? Tổng quan nhanh

Training model có vẻ là phần tốn nhiều thời gian nhất trong công việc của một nhà khoa học dữ liệu. Nhưng phần lớn thời gian của họ, thường là 60% đến 80%, thực chất dành cho việc chuẩn bị dữ liệu: thu thập, làm sạch và tổ chức dữ liệu cho việc xây dựng model. Khi các dataset ngày càng lớn lên, thời gian chuẩn bị đó cũng tăng theo, làm chậm các thí nghiệm và khiến việc lặp lại quy trình trở khó khăn hơn.

Để giải quyết vấn đề này, các nhà nghiên cứu đã dành nhiều năm tìm cách tối ưu hóa quá trình huấn luyện. Các phương pháp như dữ liệu tổng hợp (synthetic data), nén dataset và các kỹ thuật tối ưu hóa tốt hơn đều nhằm mục đích giảm chi phí và rào cản khi làm việc với các dataset quy mô lớn, đồng thời tăng tốc các workflow machine learning.

Một câu hỏi quan trọng được đặt ra là liệu chúng ta có thể thu nhỏ đáng kể một dataset mà vẫn đạt được hiệu suất tương đương như khi huấn luyện model trên toàn bộ dữ liệu hay không. Dataset distillation là một lời giải đầy hứa hẹn.

Phương pháp này tạo ra một phiên bản gọn nhẹ của một dataset training lớn nhưng vẫn giữ lại các mẫu cốt lõi cần thiết để model học tập hiệu quả. Nó cung cấp một lộ trình giúp training nhanh hơn, nhu cầu tính toán thấp hơn và thử nghiệm hiệu quả hơn. Bạn có thể hình dung nó như một tài liệu ôn thi thu nhỏ cho model, một tập hợp nhỏ các mẫu dữ liệu tổng hợp được thiết kế để dạy các mẫu cốt lõi tương tự như dataset đầy đủ.

Trong bài viết này, chúng ta sẽ khám phá cách hoạt động của dataset distillation và cách nó hỗ trợ machine learning cũng như deep learning có khả năng mở rộng trên các ứng dụng thực tế. Hãy bắt đầu thôi!

Tìm hiểu về dataset distillation#

Dataset distillation là quá trình trong đó một dataset huấn luyện lớn được cô đọng thành một tập hợp dữ liệu nhỏ hơn nhiều nhưng vẫn truyền tải cho model gần như cùng một thông tin như dataset gốc. Nhiều nhà nghiên cứu cũng gọi quá trình này là dataset condensation vì mục tiêu là nắm bắt các pattern thiết yếu xuất hiện trong toàn bộ dataset.

Một distilled dataset khác biệt với dữ liệu tổng hợp được tạo ngẫu nhiên hoặc việc chỉ đơn giản là chọn ra một tập con nhỏ các ảnh thực tế. Nó không phải là một tập dữ liệu giả ngẫu nhiên hay một bản sao bị cắt gọt của dữ liệu gốc.

Thay vào đó, nó được tối ưu hóa một cách có chủ đích để nắm bắt những pattern quan trọng nhất. Trong quá trình này, từng pixel và feature đều được điều chỉnh và tối ưu hóa sao cho một neural network được huấn luyện trên distilled data sẽ học gần như tương đương với khi được huấn luyện trên toàn bộ dataset.

Ý tưởng này xuất hiện lần đầu trong một bài báo trên arXiv năm 2018 bởi Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba và Alexei A. Efros. Các thử nghiệm ban đầu đã sử dụng các dataset đơn giản như MNIST và CIFAR-10, giúp dễ dàng chứng minh rằng một vài mẫu được cô đọng có thể thay thế cho hàng nghìn hình ảnh thực tế.

Hình 1. Sử dụng kỹ thuật chắt lọc dataset cho dữ liệu hình ảnh (Nguồn)

Kể từ đó, các nghiên cứu tiếp theo đã thúc đẩy dataset distillation tiến xa hơn, bao gồm các phương pháp được công bố tại ICML và ICLR giúp cho quá trình condensation trở nên hiệu quả và dễ mở rộng hơn.

Tầm quan trọng của dataset distillation#

Dataset distillation cải thiện hiệu suất huấn luyện và làm cho các chu kỳ phát triển nhanh hơn. Bằng cách giảm lượng dữ liệu mà model cần học, nó làm giảm đi yêu cầu về tính toán.

Điều này đặc biệt hữu ích cho continual learning, nơi các model cập nhật theo thời gian; neural architecture search, nơi nhiều thiết kế model được kiểm thử; và edge training, nơi các model chạy trên thiết bị nhỏ với bộ nhớ và năng lượng hạn chế. Nhìn chung, những lợi ích này làm cho dataset distillation trở thành một lựa chọn tuyệt vời cho việc khởi tạo nhanh, fine-tuning nhanh và xây dựng các bản mẫu (prototypes) ban đầu trên nhiều workflow machine learning.

Tổng quan về cách thức hoạt động của dataset distillation#

Dataset distillation tạo ra các sample huấn luyện tổng hợp (nhân tạo). Các sample này giúp model học theo cách tương tự như khi huấn luyện trên dữ liệu thật. Nó hoạt động bằng cách theo dõi ba yếu tố chính trong quá trình huấn luyện thông thường.

Thứ nhất là loss function, chính là điểm số lỗi của model cho thấy các dự đoán của nó sai lệch như thế nào. Thứ hai là model parameters, đó là các trọng số nội tại của network được cập nhật khi model học.

Thứ ba là training trajectory, mô tả cách lỗi và trọng số thay đổi từng bước theo thời gian. Các sample tổng hợp sau đó được tối ưu hóa sao cho khi model huấn luyện trên chúng, lỗi của nó giảm xuống và trọng số cập nhật theo cách tương tự như khi dùng dataset đầy đủ.

Cái nhìn chi tiết từng bước về dataset distillation#

Dưới đây là cái nhìn chi tiết hơn về cách thức hoạt động của quy trình dataset distillation:

• Bước 1 - Khởi tạo các pixel tổng hợp: Quá trình bắt đầu bằng các hình ảnh tổng hợp đóng vai trò là đầu vào có thể học được. Ban đầu, các hình ảnh này có ít cấu trúc và trông giống như những tờ giấy trắng. Theo thời gian, chúng được tối ưu hóa thành các ví dụ có tính thông tin cao.
• Bước 2 - Tối ưu hóa bằng gradient matching và backpropagation: Khi model huấn luyện trên các ảnh tổng hợp này, nó tạo ra các gradient chỉ ra cách mỗi pixel nên thay đổi để khớp hơn với hành vi huấn luyện của dữ liệu thật. Backpropagation là phương pháp network sử dụng để học từ sai lầm. Nó gửi tín hiệu lỗi ngược lại qua model để tìm ra pixel và trọng số nào gây ra lỗi đó, sau đó cập nhật chúng một chút. Sử dụng các gradient đó, backpropagation điều chỉnh các ảnh tổng hợp từng bước một để chúng trở nên giàu thông tin hơn cho quá trình huấn luyện.
• Bước 3 - Khớp hành vi qua các bước huấn luyện: Phương pháp này cũng khớp các training trajectory, nghĩa là các thay đổi từng bước mà model trải qua khi học. Điều này đảm bảo distilled dataset hướng dẫn model đi theo một lộ trình học tập tương tự như lộ trình nó sẽ đi với dataset đầy đủ.
• Bước 4 - Xác thực và tổng quát hóa (Validation and generalization): Cuối cùng, distilled dataset được đánh giá trên dữ liệu validation thực tế để xem model đã huấn luyện hoạt động tốt như thế nào trên các ví dụ mới. Điều này kiểm tra xem dữ liệu tổng hợp có dạy các pattern rộng, mang tính chức năng hay không, thay vì làm cho model ghi nhớ (memorize) các sample cụ thể.

Hình 2. Góc nhìn về quá trình chắt lọc dataset (Nguồn)

Các phương pháp luận quan trọng của dataset distillation#

Tất cả các phương pháp dataset distillation đều được xây dựng trên cùng một ý tưởng cốt lõi, ngay cả khi chúng sử dụng các thuật toán khác nhau để đạt được mục tiêu đó. Hầu hết các phương pháp tiếp cận đều thuộc ba loại: performance matching, distribution matching và parameter matching.

Tiếp theo, hãy cùng xem xét từng phương pháp và cách chúng hoạt động.

Performance matching#

Performance matching trong dataset distillation tập trung vào việc tạo ra một tập huấn luyện nhỏ, được tối ưu hóa, cho phép model đạt được độ chính xác gần như tương đương với khi được huấn luyện trên toàn bộ dataset gốc. Thay vì chọn một tập con ngẫu nhiên, các sample được distillation sẽ được tối ưu hóa sao cho model huấn luyện trên chúng cuối cùng sẽ có kết quả dự đoán tương tự, hành vi mất mát (loss behavior) tương tự trong khi huấn luyện, hoặc độ chính xác cuối cùng tương tự như model được huấn luyện trên dataset gốc.

Meta learning là một phương pháp phổ biến được sử dụng để cải thiện quá trình này. Dataset được chắt lọc được cập nhật thông qua các vòng lặp training lặp đi lặp lại, nhờ đó nó trở nên hiệu quả trong nhiều tình huống khác nhau.

Trong các đợt này, phương pháp mô phỏng cách một model học viên (student model) học từ các sample distillation hiện tại, kiểm tra xem học viên đó hoạt động tốt như thế nào trên dữ liệu thật, sau đó điều chỉnh các sample distillation để trở thành những người dạy tốt hơn. Theo thời gian, distilled set học được cách hỗ trợ việc học nhanh và tổng quát hóa mạnh mẽ, ngay cả khi student model bắt đầu từ các trọng số khởi tạo khác nhau hoặc sử dụng kiến trúc khác. Điều này làm cho distilled dataset đáng tin cậy hơn và không bị phụ thuộc vào một đợt huấn luyện duy nhất.

Hình 3. Quá trình meta-learning (Nguồn)

Các kỹ thuật distribution matching#

Trong khi đó, distribution matching tạo ra dữ liệu tổng hợp khớp với các pattern thống kê của dataset thực tế. Thay vì chỉ tập trung vào độ chính xác cuối cùng của model, phương pháp này tập trung vào các feature nội tại mà neural network tạo ra trong quá trình học.

Tiếp theo, hãy cùng xem xét hai kỹ thuật thúc đẩy distribution matching.

Single-layer distribution matching#

Single-layer distribution matching tập trung vào một layer duy nhất của neural network và so sánh các feature mà nó tạo ra cho dữ liệu thật so với dữ liệu tổng hợp. Các feature đó, còn được gọi là các activation, nắm bắt những gì model đã học được tại thời điểm đó trong network.

Bằng cách làm cho dữ liệu tổng hợp tạo ra các activation tương tự, phương pháp này khuyến khích distilled dataset phản ánh cùng những pattern quan trọng như dataset gốc. Trong thực tế, các sample tổng hợp được cập nhật liên tục cho đến khi các activation tại layer đã chọn khớp gần đúng với những gì từ ảnh thật.

Phương pháp này tương đối đơn giản vì nó chỉ căn chỉnh một cấp độ biểu diễn tại một thời điểm. Nó có thể hoạt động đặc biệt hiệu quả trên các dataset nhỏ hơn hoặc các tác vụ không cần thiết phải khớp các phân cấp feature sâu, đa tầng. Bằng cách căn chỉnh rõ ràng một không gian feature, single-layer matching cung cấp một tín hiệu ổn định và ý nghĩa để học với distilled dataset.

Multi-layer distribution matching#

Multi-layer distribution matching xây dựng trên ý tưởng so sánh dữ liệu thật và dữ liệu tổng hợp bằng cách thực hiện việc đó tại nhiều layer của neural network thay vì chỉ một. Các layer khác nhau nắm bắt các loại thông tin khác nhau, từ các cạnh và kết cấu đơn giản ở các layer đầu đến hình dạng và các pattern phức tạp hơn ở các layer sâu hơn.

Bằng cách khớp các feature qua các layer này, distilled dataset được thúc đẩy để phản ánh những gì model học được ở nhiều cấp độ. Vì nó căn chỉnh các feature trong toàn bộ network, phương pháp này giúp dữ liệu tổng hợp bảo tồn các tín hiệu phong phú hơn mà model dựa vào để phân biệt các class.

Điều này đặc biệt hữu ích trong computer vision, nghĩa là các tác vụ nơi model học cách hiểu hình ảnh và video, bởi vì các mẫu hữu ích được phân bổ qua nhiều lớp. Khi phân phối đặc trưng khớp tốt ở nhiều độ sâu, dataset được chắt lọc sẽ đóng vai trò là một sự thay thế mạnh mẽ và đáng tin cậy hơn cho dữ liệu training ban đầu.

Các phương pháp parameter matching#

Một loại quan trọng khác trong dataset distillation là parameter matching. Thay vì khớp độ chính xác hay phân phối feature, nó khớp cách trọng số của model thay đổi trong quá trình huấn luyện. Bằng cách làm cho việc huấn luyện trên distilled dataset tạo ra các cập nhật tham số tương tự như huấn luyện trên dữ liệu thật, model tuân theo một lộ trình học tập gần như giống hệt.

Chúng ta sẽ xem xét hai phương pháp parameter matching chính tiếp theo đây.

Single-step matching#

Single-step matching so sánh điều gì xảy ra với các trọng số của model chỉ sau một bước huấn luyện trên dữ liệu thật. Distilled dataset sau đó được tinh chỉnh sao cho model được huấn luyện trên nó trong một bước tạo ra một cập nhật trọng số rất tương đồng. Vì nó chỉ tập trung vào cập nhật đơn lẻ này, phương pháp này khá đơn giản và chạy nhanh.

Nhược điểm là một bước không phản ánh toàn bộ quy trình học tập, đặc biệt là với các tác vụ khó hơn mà model cần nhiều cập nhật để xây dựng các feature phong phú hơn. Vì lý do đó, single-step matching thường hoạt động tốt nhất trên các vấn đề đơn giản hơn hoặc các dataset nhỏ hơn, nơi các pattern hữu ích có thể được nắm bắt nhanh chóng.

Multi-step parameter matching#

Ngược lại, multi-step parameter matching xem xét cách trọng số của model thay đổi qua nhiều bước huấn luyện, không chỉ một. Chuỗi cập nhật này chính là training trajectory của model.

Distilled dataset được xây dựng sao cho khi model huấn luyện trên các sample tổng hợp, trajectory của nó bám sát lộ trình mà nó sẽ đi trên dữ liệu thật. Bằng cách khớp một đoạn học tập dài hơn, distilled set nắm bắt được nhiều cấu trúc hơn trong quy trình huấn luyện gốc.

Vì nó phản ánh cách quá trình học diễn ra theo thời gian, multi-step matching thường hoạt động tốt hơn cho các dataset lớn hơn hoặc phức tạp hơn, nơi model cần nhiều cập nhật để nắm bắt các pattern hữu ích. Nó đòi hỏi nhiều tính toán hơn vì phải theo dõi nhiều bước, nhưng nó thường tạo ra các distilled dataset có khả năng tổng quát hóa tốt hơn và cho hiệu suất tốt hơn so với single-step matching.

Cách thức tạo và tối ưu hóa synthetic dataset hoạt động#

Với sự hiểu biết tốt hơn về các phương pháp distillation chính, giờ đây chúng ta có thể xem xét cách tạo ra dữ liệu tổng hợp. Trong dataset distillation, các sample tổng hợp được tối ưu hóa để nắm bắt tín hiệu học tập quan trọng nhất, vì vậy một tập nhỏ có thể thay thế một dataset lớn hơn nhiều.

Tiếp theo, chúng ta sẽ thấy cách dữ liệu distilled này được tạo ra và đánh giá.

Tạo và đánh giá các ảnh distilled#

Trong quá trình dataset distillation, các pixel tổng hợp được cập nhật qua nhiều bước huấn luyện. Neural network học từ các ảnh tổng hợp hiện tại và gửi phản hồi dựa trên gradient, cho thấy cách mỗi pixel nên thay đổi để khớp hơn với các pattern trong dataset gốc.

Điều này hoạt động vì quy trình này có thể đạo hàm (differentiable, nghĩa là mọi bước đều trơn tru và có các gradient được xác định rõ ràng, vì vậy những thay đổi nhỏ về pixel dẫn đến những thay đổi có thể dự đoán được trong loss), cho phép model điều chỉnh dữ liệu tổng hợp một cách trơn tru trong quá trình gradient descent.

Khi quá trình tối ưu hóa tiếp tục, các hình ảnh tổng hợp bắt đầu hình thành cấu trúc có ý nghĩa, bao gồm các hình dạng và kết cấu mà model nhận ra. Các hình ảnh tổng hợp được tinh chỉnh này thường được sử dụng cho các tác vụ phân loại hình ảnh vì chúng nắm bắt các dấu hiệu trực quan quan trọng mà bộ phân loại cần học.

Distilled dataset được đánh giá bằng cách huấn luyện các model trên chúng và so sánh kết quả với các model được huấn luyện trên dữ liệu thật. Các nhà nghiên cứu đo lường độ chính xác validation và kiểm tra xem distilled set có bảo tồn được các discriminative feature (các pattern hoặc tín hiệu mà model dựa vào để phân biệt class này với class khác) cần thiết để phân tách các class hay không. Họ cũng kiểm tra tính ổn định và khả năng tổng quát hóa qua các đợt chạy hoặc thiết lập model khác nhau để đảm bảo distilled data không dẫn đến tình trạng overfitting.

Các ứng dụng thực tế của data distillation#

Tiếp theo, chúng ta sẽ xem xét kỹ hơn các ví dụ cho thấy distilled dataset tăng tốc quá trình huấn luyện và giảm chi phí tính toán như thế nào trong khi vẫn duy trì hiệu suất mạnh mẽ, ngay cả khi dữ liệu bị hạn chế hoặc rất chuyên biệt.

Sử dụng dataset distillation cho các ứng dụng computer vision#

Khi nói đến computer vision, mục tiêu là huấn luyện các model để hiểu dữ liệu thị giác như ảnh và video. Các model này học các pattern như cạnh, kết cấu, hình dạng và vật thể, sau đó sử dụng các pattern đó cho các tác vụ như phân loại ảnh, phát hiện vật thể, hoặc phân đoạn. Vì các vấn đề về thị giác thường có sự biến đổi rất lớn về ánh sáng, nền và góc nhìn, các hệ thống computer vision thường cần dataset lớn để tổng quát hóa tốt, điều này khiến việc huấn luyện trở nên đắt đỏ và chậm chạp.

Hình 4. Ví dụ về chắt lọc dataset (Nguồn)

Khi nói đến các trường hợp sử dụng phân loại ảnh như scan y tế, theo dõi động vật hoang dã, hoặc phát hiện lỗi trong nhà máy, các model thường phải đối mặt với sự đánh đổi khó khăn giữa độ chính xác và chi phí huấn luyện. Các tác vụ này thường liên quan đến các dataset khổng lồ.

Chắt lọc dataset có thể nén tập training ban đầu thành một số lượng nhỏ hình ảnh tổng hợp nhưng vẫn chứa các dấu hiệu trực quan quan trọng nhất cho bộ phân loại. Trên các benchmark lớn như ImageNet, các tập được chắt lọc chỉ sử dụng khoảng 4,2% dữ liệu gốc đã được chứng minh là vẫn duy trì độ chính xác phân loại mạnh mẽ. Điều này có nghĩa là một proxy tổng hợp nhỏ có thể thay thế hàng triệu mẫu thực tế với lượng tính toán ít hơn nhiều.

Neural architecture search#

Neural architecture search, hay NAS, là một kỹ thuật tự động khám phá nhiều thiết kế neural network có thể có để tìm ra thiết kế hoạt động tốt nhất cho một tác vụ. Vì NAS phải huấn luyện và đánh giá một số lượng lớn các model ứng viên, việc chạy nó trên toàn bộ dataset có thể chậm và tiêu tốn nhiều tài nguyên tính toán.

Dataset distillation giúp ích bằng cách tạo ra một tập huấn luyện tổng hợp nhỏ bé vẫn chứa tín hiệu học tập chính của dữ liệu gốc, vì vậy mỗi kiến trúc ứng viên có thể được kiểm thử nhanh hơn nhiều. Điều này cho phép NAS so sánh các thiết kế một cách hiệu quả trong khi vẫn giữ cho thứ hạng các kiến trúc tốt so với các kiến trúc kém ở mức hợp lý, giảm chi phí tìm kiếm mà không làm hy sinh quá nhiều chất lượng cuối cùng của model.

Continual learning và triển khai tại edge#

Các hệ thống học tập liên tục, nghĩa là các model tiếp tục cập nhật khi có dữ liệu mới đến thay vì chỉ được train một lần, cần các bản cập nhật nhanh chóng và tiết kiệm bộ nhớ. Các thiết bị biên như camera, điện thoại và cảm biến cũng đối mặt với những giới hạn tương tự vì chúng có ngân sách về tính toán và lưu trữ hạn hẹp.

Chắt lọc dataset hỗ trợ trong cả hai trường hợp bằng cách nén tập training lớn thành một tập tổng hợp nhỏ, để model có thể thích ứng hoặc train lại bằng một tập phát lại nhỏ thay vì toàn bộ dataset. Ví dụ, công trình meta-learning dựa trên kernel cho thấy chỉ 10 mẫu được chắt lọc có thể đạt độ chính xác hơn 64% trên CIFAR-10, một benchmark phân loại hình ảnh tiêu chuẩn. Vì tập phát lại rất nhỏ gọn, các bản cập nhật trở nên nhanh chóng và thiết thực hơn rất nhiều, đặc biệt là khi model cần được làm mới thường xuyên.

Dataset distillation cũng có thể hoạt động cùng với knowledge distillation cho các large language model. Một distilled dataset nhỏ có thể giữ lại các tín hiệu tác vụ quan trọng nhất từ teacher model, để một compressed student model có thể được huấn luyện hoặc làm mới hiệu quả hơn mà không mất nhiều hiệu suất. Vì các dataset này rất nhỏ, chúng đặc biệt hữu ích cho việc sử dụng tại edge hoặc trên thiết bị, nơi bộ nhớ và tính toán bị hạn chế nhưng bạn vẫn muốn model giữ được độ chính xác sau khi cập nhật.

Ưu và nhược điểm của data distillation#

Dưới đây là một số lợi ích khi sử dụng dataset distillation:

• Tuyệt vời cho các thử nghiệm nhanh. Bạn có thể kiểm tra các kiến trúc, hàm loss, hoặc siêu tham số mới mà không cần phải huấn luyện lại trên một dataset khổng lồ mỗi lần.
• Lợi thế tiềm năng về quyền riêng tư. Chia sẻ các sample tổng hợp đã qua distillation có thể an toàn hơn chia sẻ các điểm dữ liệu người dùng thực tế, vì các ví dụ thô (raw examples) không bị phơi bày trực tiếp.
• Thường mạnh mẽ hơn việc chọn tập con đơn giản. Thay vì chỉ chọn các ví dụ, distillation chủ động tối ưu hóa chúng để đạt được mức thông tin tối đa.

Mặc dù dataset distillation mang lại một số ưu điểm, dưới đây là một số hạn chế cần lưu ý:

• Overfitting: Dữ liệu được chắt lọc thường hoạt động tốt nhất đối với kiến trúc được sử dụng trong quá trình chắt lọc và có thể truyền tải kém sang các model rất khác nhau.
• Nhạy cảm với siêu tham số. Kết quả có thể phụ thuộc rất nhiều vào các yếu tố như learning rate, khởi tạo, hoặc số bước distillation.
• Khó mở rộng đối với sự phức tạp trong thực tế. Các phương pháp hoạt động tốt trên các benchmark có thể mất độ chính xác trên các dataset lớn, hỗn độn hoặc có độ phân giải cao.

Các điểm chính cần lưu ý#

Dataset distillation giúp cho một tập nhỏ các sample tổng hợp có thể dạy một model gần như hiệu quả như một dataset đầy đủ. Điều này làm cho machine learning nhanh hơn, hiệu quả hơn và dễ mở rộng hơn. Khi các model phát triển và đòi hỏi nhiều dữ liệu hơn, các distilled dataset mang đến một cách thiết thực để giảm chi phí tính toán mà không làm hy sinh độ chính xác.

Hãy tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Nếu bạn đang muốn xây dựng dự án AI thị giác của riêng mình, hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá thêm về các ứng dụng như AI trong chăm sóc sức khỏe và AI thị giác trong bán lẻ bằng cách truy cập các trang giải pháp của chúng tôi.