데이터셋 증류(Dataset Distillation)란 무엇일까요? 간단한 개요입니다.

모델 학습은 데이터 과학자의 업무 중 가장 많은 시간이 소요되는 부분처럼 보일 수 있습니다. 하지만 실제로는 업무 시간의 60%에서 80%가 데이터 준비에 할애됩니다. 즉, 데이터를 수집하고 정제하며 모델링을 위해 정리하는 과정입니다. 데이터셋 규모가 커짐에 따라 이러한 준비 시간도 함께 증가하여 실험 속도를 늦추고 반복 학습을 어렵게 만듭니다.

이를 해결하기 위해 연구자들은 수년간 학습 과정을 효율화할 방법을 모색해 왔습니다. 합성 데이터(Synthetic data), 데이터셋 압축, 더 나은 최적화 방법과 같은 접근 방식은 모두 대규모 데이터셋을 다룰 때 발생하는 비용과 마찰을 줄이고 머신러닝 워크플로우를 가속화하는 것을 목표로 합니다.

여기서 제기되는 핵심 질문은 전체 데이터로 모델을 학습시킬 때와 동일한 성능을 달성하면서 데이터셋을 대폭 축소할 수 있는지 여부입니다. 데이터셋 증류는 이러한 질문에 대한 유망한 답변 중 하나입니다.

이 과정은 모델이 효과적으로 학습하는 데 필요한 핵심 패턴을 보존하면서 대규모 학습 데이터셋의 압축된 버전을 생성합니다. 이는 더 빠른 학습, 더 낮은 컴퓨팅 요구 사항, 그리고 더 효율적인 실험을 위한 경로를 제공합니다. 이를 모델을 위한 공부 요약집, 즉 전체 데이터셋의 핵심 패턴을 가르치기 위해 설계된 아주 작은 합성 데이터 예시들의 집합으로 생각할 수 있습니다.

이 글에서는 데이터셋 증류의 원리를 살펴보고, 실제 애플리케이션 전반에서 어떻게 확장 가능한 머신러닝과 딥러닝을 지원하는지 알아보겠습니다. 시작해 볼까요!

Link to this section데이터셋 증류 이해하기#

데이터셋 증류는 대규모 학습 데이터셋을 훨씬 작은 데이터 집합으로 응축하여, 모델에게 원본 데이터셋과 거의 동일한 정보를 가르치도록 하는 과정입니다. 많은 연구자가 이 과정을 데이터셋 응축(Dataset condensation)이라고도 부르는데, 이는 전체 데이터셋에 나타나는 핵심 패턴을 포착하는 것이 목표이기 때문입니다.

증류된 데이터셋은 무작위로 생성된 합성 데이터나 단순히 실제 이미지의 작은 부분 집합을 선택한 것과는 다릅니다. 이것은 무작위 가짜 데이터셋이나 원본의 일부를 잘라낸 복사본이 아닙니다.

그 대신, 가장 중요한 패턴을 포착하기 위해 의도적으로 최적화된 결과물입니다. 이 과정에서 모든 픽셀과 특징은 증류된 데이터로 학습된 신경망이 마치 전체 데이터셋으로 학습된 것처럼 배울 수 있도록 조정되고 최적화됩니다.

이 아이디어는 2018년 Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, Alexei A. Efros가 발표한 arXiv 논문에서 처음 등장했습니다. 초기 테스트는 MNIST나 CIFAR-10과 같은 간단한 데이터셋을 사용했으며, 이를 통해 소수의 증류된 샘플만으로도 수천 개의 실제 이미지를 대체할 수 있음을 쉽게 입증했습니다.

그림 1. 이미지 데이터를 위한 데이터셋 증류 사용 (출처)

그 이후, 후속 연구들은 데이터셋 증류를 더욱 발전시켰으며, ICML과 ICLR에서 발표된 방법들을 통해 응축 과정을 더욱 효율적이고 확장 가능하게 만들었습니다.

Link to this section데이터셋 증류의 중요성#

데이터셋 증류는 학습 효율성을 개선하고 개발 주기를 단축합니다. 모델이 학습해야 하는 데이터의 양을 줄임으로써 컴퓨팅 요구 사항을 낮춥니다.

이는 시간이 지남에 따라 모델이 업데이트되는 지속적 학습(Continual learning), 여러 모델 설계를 테스트하는 신경 아키텍처 탐색(Neural architecture search), 그리고 메모리와 전력이 제한된 소형 장치에서 모델이 실행되는 엣지 학습(Edge training)에 특히 유용합니다. 전반적으로 이러한 이점 덕분에 데이터셋 증류는 많은 머신러닝 워크플로우에서 신속한 초기화, 빠른 미세 조정, 초기 프로토타입 구축을 위한 훌륭한 옵션이 됩니다.

Link to this section데이터셋 증류 작동 방식 개요#

데이터셋 증류는 합성 또는 인공적으로 생성된 학습 샘플을 만듭니다. 이러한 샘플은 모델이 실제 데이터로 학습하는 것과 매우 유사한 방식으로 학습하도록 돕습니다. 이 과정은 일반적인 학습 중에 세 가지 핵심 요소를 추적하여 작동합니다.

첫 번째는 손실 함수(Loss function)로, 모델의 예측이 얼마나 틀렸는지를 보여주는 오류 점수입니다. 두 번째는 모델 파라미터로, 학습 과정에서 업데이트되는 네트워크 내부 가중치입니다.

세 번째는 학습 궤적(Training trajectory)으로, 시간 경과에 따라 오류와 가중치가 단계별로 어떻게 변하는지를 설명합니다. 그 후 합성 샘플은 모델이 이를 통해 학습할 때 오류가 줄어들고 전체 데이터셋으로 학습할 때와 동일한 방식으로 가중치가 업데이트되도록 최적화됩니다.

Link to this section데이터셋 증류 단계별 살펴보기#

데이터셋 증류 과정이 어떻게 작동하는지 자세히 살펴보겠습니다.

• 1단계 - 합성 픽셀 초기화: 이 과정은 학습 가능한 입력 역할을 하는 합성 이미지로 시작합니다. 처음에는 이러한 이미지들이 구조가 거의 없고 빈 도화지처럼 보입니다. 시간이 지남에 따라 정보가 풍부한 예시로 최적화됩니다.
• 2단계 - 경사 매칭(Gradient matching) 및 역전파(Backpropagation)를 통한 최적화: 모델이 이 합성 이미지들을 학습하면서, 실제 데이터의 학습 행동을 더 잘 일치시키기 위해 각 픽셀이 어떻게 변해야 하는지를 나타내는 경사(Gradient)를 생성합니다. 역전파는 네트워크가 실수로부터 배우기 위해 사용하는 방법입니다. 오류를 모델 전체로 역방향으로 전달하여 어떤 픽셀과 가중치가 오류를 유발했는지 파악한 후, 약간 업데이트합니다. 이러한 경사를 사용하여 역전파는 합성 이미지를 단계별로 조정하여 학습에 더 유익하도록 만듭니다.
• 3단계 - 학습 단계 전반의 행동 매칭: 이 방법은 학습 궤적, 즉 모델이 학습하면서 거치는 단계별 변화를 매칭합니다. 이는 증류된 데이터셋이 전체 데이터셋을 사용할 때와 유사한 학습 경로로 모델을 안내하도록 보장합니다.
• 4단계 - 검증 및 일반화: 마지막으로, 증류된 데이터셋은 실제 검증 데이터를 통해 평가되어 학습된 모델이 새로운 예시에 대해 얼마나 잘 작동하는지 확인합니다. 이는 합성 데이터가 모델이 특정 샘플을 암기하도록 하는 대신, 광범위하고 기능적인 패턴을 가르치는지 확인하는 과정입니다.

그림 2. 데이터셋 증류 살펴보기 (출처)

Link to this section주요 데이터셋 증류 방법론#

모든 데이터셋 증류 방법은 서로 다른 알고리즘을 사용하더라도 동일한 핵심 아이디어를 바탕으로 구축됩니다. 대부분의 접근 방식은 성능 매칭(Performance matching), 분포 매칭(Distribution matching), 파라미터 매칭(Parameter matching)의 세 가지 범주로 나뉩니다.

다음으로, 각 방법이 어떻게 작동하는지 살펴보겠습니다.

Link to this section성능 매칭#

데이터셋 증류에서의 성능 매칭은 모델이 전체 원본 데이터셋으로 학습한 것과 거의 동일한 정확도에 도달할 수 있게 하는 작고 최적화된 학습 세트를 만드는 데 집중합니다. 무작위 부분 집합을 선택하는 대신, 증류된 샘플은 이를 통해 학습된 모델이 원본 데이터셋으로 학습된 모델과 유사한 예측, 학습 중 유사한 손실 행동, 또는 유사한 최종 정확도를 보이도록 최적화됩니다.

메타 학습(Meta learning)은 이 과정을 개선하기 위해 일반적으로 사용되는 방법입니다. 증류된 데이터셋은 반복적인 학습 에피소드를 통해 업데이트되므로 많은 가능한 상황에서 효과적이게 됩니다.

이러한 에피소드 동안, 이 방법은 학생 모델이 현재 증류된 샘플로부터 어떻게 배우는지 시뮬레이션하고, 그 학생 모델이 실제 데이터에서 얼마나 잘 수행하는지 확인한 뒤, 증류된 샘플을 더 나은 교사가 되도록 조정합니다. 시간이 지남에 따라 증류된 세트는 학생 모델이 서로 다른 초기 가중치에서 시작하거나 서로 다른 아키텍처를 사용하더라도 빠른 학습과 강력한 일반화를 지원하는 법을 배웁니다. 이는 증류된 데이터셋을 단일 학습 실행에 종속되지 않고 더 신뢰할 수 있게 만듭니다.

그림 3. 메타 학습 과정 (출처)

Link to this section분포 매칭 기술#

한편, 분포 매칭은 실제 데이터셋의 통계적 패턴과 일치하는 합성 데이터를 생성합니다. 모델의 최종 정확도에만 집중하는 대신, 이 접근 방식은 신경망이 학습 중에 생성하는 내부 특징에 집중합니다.

다음으로, 분포 매칭을 주도하는 두 가지 기술을 살펴보겠습니다.

Link to this section단일 계층 분포 매칭(Single-layer distribution matching)#

단일 계층 분포 매칭은 신경망의 단일 계층에 집중하여 실제 데이터와 합성 데이터에 대해 생성하는 특징을 비교합니다. 활성화(Activations)라고도 불리는 이러한 특징은 네트워크의 해당 지점에서 모델이 학습한 내용을 포착합니다.

합성 데이터가 유사한 활성화를 생성하도록 함으로써, 이 방법은 증류된 데이터셋이 원본 데이터셋과 동일한 중요한 패턴을 반영하도록 유도합니다. 실제로 합성 샘플은 선택된 계층에서의 활성화가 실제 이미지로부터의 활성화와 밀접하게 일치할 때까지 반복적으로 업데이트됩니다.

이 접근 방식은 한 번에 하나의 표현 수준만 정렬하기 때문에 상대적으로 단순합니다. 특히 작은 데이터셋이나 깊고 다단계인 특징 계층을 매칭할 필요가 없는 작업에서 잘 작동할 수 있습니다. 단일 특징 공간을 명확하게 정렬함으로써, 단일 계층 매칭은 증류된 데이터셋으로 학습하기 위한 안정적이고 의미 있는 신호를 제공합니다.

Link to this section다중 계층 분포 매칭(Multi-layer distribution matching)#

다중 계층 분포 매칭은 단일 계층이 아닌 신경망의 여러 계층에서 실제 데이터와 합성 데이터를 비교하는 아이디어를 바탕으로 합니다. 서로 다른 계층은 초기 계층의 단순한 에지(edge)와 텍스처에서부터 깊은 계층의 모양과 더 복잡한 패턴에 이르기까지 다양한 종류의 정보를 포착합니다.

이러한 계층 전반에 걸쳐 특징을 매칭함으로써, 증류된 데이터셋은 모델이 여러 수준에서 학습하는 내용을 반영하도록 유도됩니다. 네트워크 전체에서 특징을 정렬하기 때문에, 이 접근 방식은 모델이 클래스를 구분하는 데 의존하는 더 풍부한 신호를 합성 데이터가 보존하도록 돕습니다.

이는 특히 모델이 이미지와 영상을 이해하도록 학습하는 컴퓨터 비전 작업에 유용한데, 이는 유용한 패턴이 많은 계층에 걸쳐 퍼져 있기 때문입니다. 여러 깊이에서 특징 분포가 잘 일치할 때, 증류된 데이터셋은 원본 학습 데이터를 대신할 더 강력하고 신뢰할 수 있는 대리 역할을 합니다.

Link to this section파라미터 매칭 방법#

데이터셋 증류의 또 다른 핵심 범주는 파라미터 매칭입니다. 정확도나 특징 분포를 매칭하는 대신, 학습 중에 모델의 가중치가 어떻게 변하는지를 매칭합니다. 증류된 데이터셋으로 학습할 때 실제 데이터 학습과 유사한 파라미터 업데이트가 생성되도록 함으로써, 모델은 거의 동일한 학습 경로를 따르게 됩니다.

다음으로 두 가지 주요 파라미터 매칭 방법을 살펴보겠습니다.

Link to this section단일 단계 매칭(Single-step matching)#

단일 단계 매칭은 실제 데이터로 단 한 번의 학습 단계를 거친 후 모델 가중치에 어떤 변화가 생기는지 비교합니다. 그런 다음 증류된 데이터셋은 해당 모델이 한 단계만 학습해도 매우 유사한 가중치 업데이트가 생성되도록 튜닝됩니다. 이 단일 업데이트에만 집중하기 때문에, 이 방법은 직관적이고 실행 속도가 빠릅니다.

단점은 한 단계의 학습만으로는 전체 학습 과정을 반영하지 못한다는 점입니다. 특히 모델이 더 풍부한 특징을 구축하기 위해 많은 업데이트가 필요한 어려운 작업에서는 더욱 그렇습니다. 따라서 단일 단계 매칭은 유용한 패턴을 빠르게 포착할 수 있는 더 단순한 문제나 더 작은 데이터셋에서 가장 잘 작동하는 경향이 있습니다.

Link to this section다중 단계 파라미터 매칭(Multi-step parameter matching)#

반면, 다중 단계 파라미터 매칭은 모델의 가중치가 한 번이 아니라 여러 학습 단계에 걸쳐 어떻게 변하는지 살펴봅니다. 이러한 업데이트 순서가 바로 모델의 학습 궤적입니다.

증류된 데이터셋은 모델이 합성 샘플로 학습할 때, 그 궤적이 실제 데이터에서 취할 궤적을 밀접하게 따르도록 구축됩니다. 더 긴 학습 과정을 매칭함으로써, 증류된 세트는 원래 학습 과정의 더 많은 구조를 포착합니다.

시간에 따라 학습이 어떻게 진행되는지를 반영하기 때문에, 다중 단계 매칭은 모델이 유용한 패턴을 포착하기 위해 많은 업데이트가 필요한 더 크거나 더 복잡한 데이터셋에서 일반적으로 더 잘 작동합니다. 여러 단계를 추적해야 하므로 더 많은 연산이 필요하지만, 종종 단일 단계 매칭보다 더 잘 일반화되고 더 나은 성능을 보이는 증류된 데이터셋을 생성합니다.

Link to this section합성 데이터셋 생성 및 최적화 원리#

주요 증류 접근 방식에 대한 더 나은 이해를 바탕으로, 이제 합성 데이터가 어떻게 만들어지는지 살펴볼 수 있습니다. 데이터셋 증류에서 합성 샘플은 가장 중요한 학습 신호를 포착하도록 최적화되므로, 작은 세트가 훨씬 더 큰 데이터셋을 대체할 수 있습니다.

다음으로, 이 증류된 데이터가 어떻게 생성되고 평가되는지 알아보겠습니다.

Link to this section증류된 이미지 생성 및 평가#

데이터셋 증류 과정에서 합성 픽셀은 여러 학습 단계에 걸쳐 업데이트됩니다. 신경망은 현재의 합성 이미지로부터 학습하고 경사 기반 피드백을 보내는데, 이는 각 픽셀이 원본 데이터셋의 패턴과 더 잘 일치하도록 어떻게 변해야 하는지를 보여줍니다.

이 과정은 미분 가능하기 때문에 작동합니다(즉, 모든 단계가 부드럽고 잘 정의된 경사를 가지므로 작은 픽셀 변화가 손실의 예측 가능한 변화로 이어짐). 이를 통해 모델은 경사 하강법(Gradient descent) 중에 합성 데이터를 매끄럽게 조정할 수 있습니다.

최적화가 계속됨에 따라 합성 이미지는 모델이 인식하는 모양과 텍스처를 포함하여 의미 있는 구조를 형성하기 시작합니다. 이렇게 정제된 합성 이미지는 분류기가 학습하는 데 필요한 핵심 시각적 단서를 포착하기 때문에 이미지 분류 작업에 자주 사용됩니다.

증류된 데이터셋은 모델을 학습시키고 그 결과를 실제 데이터로 학습된 모델과 비교하여 평가됩니다. 연구자들은 검증 정확도를 측정하고, 합성 세트가 클래스를 구분하는 데 필요한 차별적 특징(모델이 한 클래스를 다른 클래스와 구별하기 위해 의존하는 패턴이나 신호)을 보존하는지 확인합니다. 또한 증류된 데이터가 과적합(Overfitting)으로 이어지지 않도록 다양한 실행이나 모델 설정 전반에 걸쳐 안정성과 일반화를 테스트합니다.

Link to this section데이터 증류의 실제 응용#

다음으로, 데이터가 제한적이거나 고도로 특화된 경우에도 증류된 데이터셋이 어떻게 성능을 강력하게 유지하면서 학습 속도를 높이고 컴퓨팅 비용을 줄이는지 보여주는 사례를 더 자세히 살펴보겠습니다.

Link to this section컴퓨터 비전 애플리케이션을 위한 데이터셋 증류 사용#

컴퓨터 비전의 경우, 목표는 모델이 이미지와 영상 같은 시각 데이터를 이해하도록 학습시키는 것입니다. 이 모델들은 에지, 텍스처, 모양, 객체와 같은 패턴을 학습한 다음, 이러한 패턴을 사용하여 이미지 분류, 객체 감지 또는 세그멘테이션과 같은 작업을 수행합니다. 비전 문제는 조명, 배경, 시점의 변화가 매우 크기 때문에, 컴퓨터 비전 시스템은 일반적으로 잘 일반화하기 위해 대규모 데이터셋이 필요하며, 이로 인해 학습이 비싸고 느려집니다.

그림 4. 데이터셋 증류의 예 (출처)

의료 스캔, 야생 동물 모니터링 또는 공장 결함 감지와 같은 이미지 분류 사용 사례의 경우, 모델은 종종 정확도와 학습 비용 사이의 어려운 절충안에 직면합니다. 이러한 작업은 일반적으로 방대한 데이터셋을 포함합니다.

데이터셋 증류는 원본 학습 세트를 분류기에 필요한 가장 중요한 시각적 단서가 포함된 소수의 합성 이미지로 압축할 수 있습니다. ImageNet과 같은 대규모 벤치마크에서 원본의 약 4.2%만을 사용하는 증류된 세트가 강력한 분류 정확도를 유지한다는 점이 입증되었습니다. 이는 아주 작은 합성 대리 데이터가 훨씬 적은 연산량으로 수백만 개의 실제 샘플을 대체할 수 있음을 의미합니다.

Link to this section신경 아키텍처 탐색(NAS)#

신경 아키텍처 탐색(NAS)은 작업에 가장 적합한 설계를 찾기 위해 가능한 많은 신경망 설계를 자동으로 탐색하는 기술입니다. NAS는 수많은 후보 모델을 학습하고 평가해야 하므로, 전체 데이터셋에서 실행할 경우 속도가 느리고 계산 집약적일 수 있습니다.

데이터셋 증류는 원본 데이터의 주요 학습 신호를 포함하는 아주 작은 합성 학습 세트를 생성하여 도움을 줍니다. 덕분에 각 후보 아키텍처를 훨씬 빠르게 테스트할 수 있습니다. 이를 통해 NAS는 우수한 아키텍처와 그렇지 않은 아키텍처의 순위를 상당히 신뢰할 수 있게 유지하면서 효율적으로 설계를 비교할 수 있으며, 최종 모델 품질을 크게 희생하지 않고도 탐색 비용을 줄일 수 있습니다.

Link to this section지속적 학습 및 엣지 배포#

지속적 학습 시스템, 즉 한 번 학습되는 대신 새로운 데이터가 도착함에 따라 계속 업데이트되는 모델은 빠르고 메모리 효율적인 업데이트가 필요합니다. 카메라, 휴대폰, 센서와 같은 엣지 장치는 컴퓨팅 및 저장 용량이 제한되어 있어 비슷한 한계에 직면합니다.

데이터셋 증류는 대규모 학습 세트를 아주 작은 합성 세트로 압축하여 두 경우 모두 도움을 줍니다. 따라서 모델은 전체 데이터셋 대신 작은 리플레이(replay) 세트를 사용하여 적응하거나 재학습할 수 있습니다. 예를 들어 커널 기반 메타 학습 연구에 따르면, 단 10개의 증류된 샘플만으로 표준 이미지 분류 벤치마크인 CIFAR-10에서 64% 이상의 정확도를 달성할 수 있음이 밝혀졌습니다. 리플레이 세트가 매우 작기 때문에 업데이트가 훨씬 빠르고 실용적이 되며, 모델을 자주 새로 고쳐야 할 때 특히 효과적입니다.

데이터셋 증류는 대규모 언어 모델을 위한 지식 증류와 함께 작동할 수도 있습니다. 작은 증류 데이터셋은 교사 모델로부터 가장 중요한 작업 신호를 유지할 수 있으므로, 압축된 학생 모델이 성능 저하 없이 더 효율적으로 학습되거나 새로 고침될 수 있습니다. 이러한 데이터셋은 매우 작기 때문에 저장 공간과 컴퓨팅이 제한적이지만 업데이트 후에도 모델의 정확도를 유지하고자 하는 엣지나 온디바이스(on-device) 사용에 특히 유용합니다.

Link to this section데이터 증류의 장단점#

데이터셋 증류 사용의 몇 가지 이점은 다음과 같습니다:

• 빠른 실험에 탁월합니다. 매번 거대한 데이터셋으로 재학습할 필요 없이 새로운 아키텍처, 손실 함수 또는 하이퍼파라미터를 테스트할 수 있습니다.
• 잠재적인 개인정보 보호 이점. 증류된 합성 샘플을 공유하는 것은 실제 사용자 데이터 포인트를 공유하는 것보다 더 안전할 수 있습니다. 원본 예시가 직접 노출되지 않기 때문입니다.
• 단순한 부분 집합 선택보다 종종 더 강력합니다. 단순히 예시를 선택하는 대신, 증류는 정보를 최대화하도록 샘플을 능동적으로 최적화합니다.

데이터셋 증류는 여러 이점을 제공하지만, 염두에 두어야 할 몇 가지 제한 사항은 다음과 같습니다:

• 과적합(Overfitting): 증류된 데이터는 종종 증류 과정에서 사용된 아키텍처에 가장 잘 작동하며, 매우 다른 모델로 이전될 경우 성능이 저하될 수 있습니다.
• 하이퍼파라미터에 민감합니다. 결과는 학습률, 초기화, 또는 증류 단계 수와 같은 요소에 크게 의존할 수 있습니다.
• 실제 복잡성으로 확장하기가 더 어렵습니다. 벤치마크에서 잘 작동하는 방법들이 크고 복잡하거나 고해상도인 데이터셋에서는 정확도가 떨어질 수 있습니다.

Link to this section핵심 요약#

데이터셋 증류를 사용하면 작은 합성 샘플 세트로도 모델에게 전체 데이터셋만큼 효과적으로 가르칠 수 있습니다. 이를 통해 머신러닝이 더 빠르고 효율적이며 확장하기 쉬워집니다. 모델이 성장하고 더 많은 데이터를 요구함에 따라, 증류된 데이터셋은 정확도를 희생하지 않으면서도 컴퓨팅 비용을 절감할 수 있는 실용적인 방법을 제공합니다.

저희 커뮤니티에 가입하고 GitHub 저장소를 확인하여 AI에 대해 더 자세히 알아보세요. 자신만의 비전 AI 프로젝트를 구축하고 싶다면 라이선스 옵션을 확인해 보세요. 의료 분야 AI 및 소매업 비전 AI와 같은 솔루션 페이지를 방문하여 더 많은 애플리케이션을 살펴보시기 바랍니다.