데이터셋 증류란 무엇인가요? 간단한 개요

모델 학습은 데이터 과학자의 업무에서 시간이 가장 많이 드는 부분처럼 보일 수 있습니다. 하지만 실제로는 업무 시간의 대부분, 흔히 60~80%가 데이터를 수집하고 정제하며 모델링에 적합하도록 정리하는 데이터 준비에 쓰입니다. 데이터셋이 커질수록 준비 시간도 늘어나 실험이 느려지고 반복 작업이 어려워집니다.

이 문제를 해결하기 위해 연구자들은 수년간 학습을 간소화하는 방법을 찾아왔습니다. 합성 데이터, 데이터셋 압축, 개선된 최적화 방법 등의 접근법은 대규모 데이터셋을 다루는 데 드는 비용과 부담을 줄이고 머신러닝 작업 흐름을 가속하는 것을 목표로 합니다.

여기서 제기되는 핵심 질문은 데이터셋을 대폭 축소하면서도 전체 데이터로 모델을 학습했을 때와 동일한 성능을 달성할 수 있는지 여부입니다. 데이터셋 증류는 유망한 해결책 중 하나입니다.

데이터셋 증류는 모델이 효과적으로 학습하는 데 필요한 핵심 패턴을 보존하면서 대규모 학습 데이터셋을 압축된 형태로 만듭니다. 이를 통해 학습을 가속하고 연산 요구량을 줄이며 실험 효율성을 높일 수 있습니다. 전체 데이터셋과 동일한 핵심 패턴을 가르치도록 설계된 소량의 합성 데이터 예시로 이루어진 모델용 학습 요약 자료라고 생각할 수 있습니다.

이 글에서는 데이터셋 증류의 작동 방식과 실제 애플리케이션 전반에서 확장 가능한 머신러닝 및 딥러닝을 지원하는 방법을 살펴보겠습니다.

데이터셋 증류 이해하기#

데이터셋 증류는 대규모 학습 데이터셋을 훨씬 작은 데이터 집합으로 압축하면서도, 원본 데이터셋과 거의 동일한 정보를 모델에 학습시키는 과정입니다. 전체 데이터셋에 나타나는 핵심 패턴을 포착하는 것이 목표이므로 많은 연구자는 이 과정을 데이터셋 응축이라고도 부릅니다.

증류된 데이터셋은 무작위로 생성된 합성 데이터나 실제 이미지의 일부를 단순히 선택한 것과 다릅니다. 무작위로 만든 가짜 데이터셋도 아니고 원본을 축소해 복사한 것도 아닙니다.

대신 가장 중요한 패턴을 포착하도록 의도적으로 최적화됩니다. 이 과정에서 모든 픽셀과 특징을 조정하고 최적화하므로, 증류된 데이터로 학습한 신경망은 전체 데이터셋으로 학습한 것과 거의 동일한 방식으로 학습합니다.

이 아이디어는 통저우 왕, 준얀 주, 안토니오 토랄바, 알렉세이 A. 에프로스가 2018년에 발표한 arXiv 논문에서 처음 등장했습니다. 초기 테스트에는 MNIST와 CIFAR-10처럼 단순한 데이터셋이 사용되어, 소수의 증류 샘플이 수천 장의 실제 이미지를 대신할 수 있음을 쉽게 입증할 수 있었습니다.

그림 1. 이미지 데이터에 데이터셋 증류 적용하기 (출처)

이후 ICML과 ICLR에서 발표된 방법을 비롯한 후속 연구를 통해 데이터셋 증류가 더욱 발전했으며, 응축의 효율성과 확장성이 향상되었습니다.

데이터셋 증류의 중요성#

데이터셋 증류는 학습 효율을 높이고 개발 주기를 단축합니다. 모델이 학습하는 데 필요한 데이터 양을 줄여 컴퓨팅 요구량을 낮춥니다.

시간이 지남에 따라 모델을 업데이트하는 지속 학습, 다양한 모델 설계를 테스트하는 신경망 아키텍처 탐색, 메모리와 전력이 제한된 소형 장치에서 모델을 실행하는 엣지 학습에 특히 유용합니다. 전반적으로 이러한 이점 덕분에 데이터셋 증류는 다양한 머신러닝 작업 흐름에서 신속한 초기화, 빠른 파인튜닝, 초기 프로토타입 구축에 적합합니다.

데이터셋 증류 작동 방식 개요#

데이터셋 증류는 합성, 즉 인공적으로 생성된 학습 샘플을 만듭니다. 이 샘플은 모델이 실제 데이터로 학습할 때와 매우 유사한 방식으로 학습하도록 돕습니다. 일반적인 학습 과정에서 세 가지 핵심 요소를 추적해 작동합니다.

첫 번째 요소는 손실 함수로, 모델의 예측이 얼마나 틀렸는지를 나타내는 오류 점수입니다. 두 번째 요소는 모델 파라미터로, 학습 과정에서 업데이트되는 네트워크 내부 가중치입니다.

세 번째 요소는 학습 궤적으로, 시간이 지남에 따라 오류와 가중치가 단계별로 어떻게 변하는지를 설명합니다. 그런 다음 합성 샘플을 최적화하여 모델이 해당 샘플로 학습할 때 전체 데이터셋을 사용한 경우와 동일한 방식으로 오류가 감소하고 가중치가 업데이트되도록 합니다.

데이터셋 증류 단계별 살펴보기#

데이터셋 증류 과정의 작동 방식을 자세히 살펴보겠습니다.

• 1단계 - 합성 픽셀 초기화: 학습 가능한 입력으로 기능하는 합성 이미지로 과정이 시작됩니다. 처음에는 이미지에 구조가 거의 없어 백지처럼 보입니다. 시간이 지나면서 유용한 정보를 담은 예시로 최적화됩니다.
• 2단계 - 그래디언트 매칭 및 역전파를 통한 최적화: 모델이 이러한 합성 이미지로 학습하면 그래디언트가 생성됩니다. 그래디언트는 실제 데이터의 학습 동작을 더 잘 모방하기 위해 각 픽셀이 어떻게 바뀌어야 하는지 나타냅니다. 역전파는 네트워크가 실수로부터 학습하는 방식입니다. 역전파는 모델을 거슬러 오류를 전달해 어떤 픽셀과 가중치가 오류를 일으켰는지 파악한 다음 이를 조금씩 업데이트합니다. 역전파는 이러한 그래디언트를 활용해 합성 이미지를 단계별로 조정하여 학습에 더 유용한 이미지로 만듭니다.
• 3단계 - 학습 단계 전반의 동작 매칭: 이 방법은 학습 궤적도 매칭합니다. 학습 궤적은 모델이 학습하면서 거치는 단계별 변화를 의미합니다. 이를 통해 증류된 데이터셋이 모델을 전체 데이터셋으로 학습할 때와 유사한 학습 경로로 이끕니다.
• 4단계 - 검증 및 일반화: 마지막으로 증류된 데이터셋을 실제 검증 데이터로 평가하여 학습된 모델이 새로운 예시에서 얼마나 잘 작동하는지 확인합니다. 이를 통해 합성 데이터가 특정 샘플을 암기하게 하는 대신 폭넓고 유용한 패턴을 학습시키는지 검증합니다.

그림 2. 데이터셋 증류 살펴보기 (출처)

주요 데이터셋 증류 방법론#

데이터셋 증류 방법은 서로 다른 알고리즘을 사용하더라도 모두 동일한 핵심 아이디어를 기반으로 합니다. 대부분의 접근법은 성능 매칭, 분포 매칭, 파라미터 매칭의 세 가지 범주로 나뉩니다.

이제 각 방법을 살펴보고 작동 방식을 알아보겠습니다.

성능 매칭#

데이터셋 증류에서 성능 매칭은 전체 원본 데이터셋으로 학습한 것과 거의 동일한 정확도에 도달할 수 있도록 작고 최적화된 학습 세트를 만드는 데 중점을 둡니다. 무작위 하위 집합을 선택하는 대신, 증류 샘플을 최적화하여 해당 샘플로 학습한 모델이 원본 데이터셋으로 학습한 모델과 유사한 예측, 학습 중의 유사한 손실 동작 또는 비슷한 최종 정확도를 내도록 합니다.

이 과정을 개선하는 데 사용되는 일반적인 방법은 메타 학습입니다. 증류된 데이터셋은 반복적인 학습 에피소드를 통해 업데이트되므로 다양한 상황에서 효과적으로 기능하게 됩니다.

이러한 에피소드에서 방법은 학생 모델이 현재 증류 샘플로 학습하는 과정을 시뮬레이션하고, 학생 모델이 실제 데이터에서 얼마나 잘 작동하는지 확인한 다음, 더 나은 교사가 되도록 증류 샘플을 조정합니다. 시간이 지나면서 학생 모델이 서로 다른 초기 가중치에서 시작하거나 다른 아키텍처를 사용하더라도 증류 데이터셋은 빠른 학습과 강력한 일반화를 지원하게 됩니다. 따라서 증류된 데이터셋의 신뢰성이 높아지고 단일 학습 실행에 종속되지 않습니다.

그림 3. 메타 학습 과정 (출처)

분포 매칭 기법#

한편 분포 매칭은 실제 데이터셋의 통계적 패턴과 일치하는 합성 데이터를 생성합니다. 이 접근법은 모델의 최종 정확도에만 초점을 맞추는 대신, 신경망이 학습 중에 생성하는 내부 특징에 중점을 둡니다.

이어서 분포 매칭을 이끄는 두 가지 기법을 살펴보겠습니다.

단일 계층 분포 매칭#

단일 계층 분포 매칭은 신경망의 한 계층에 집중해 실제 데이터와 합성 데이터에서 생성되는 특징을 비교합니다. 활성화라고도 하는 이러한 특징은 네트워크의 해당 지점까지 모델이 학습한 내용을 포착합니다.

합성 데이터에서 유사한 활성화가 생성되도록 함으로써, 이 방법은 증류된 데이터셋이 원본 데이터셋과 동일한 주요 패턴을 반영하도록 유도합니다. 실제로는 선택한 계층의 활성화가 실제 이미지의 활성화와 매우 비슷해질 때까지 합성 샘플을 반복적으로 업데이트합니다.

한 번에 한 표현 수준만 정렬하므로 이 접근 방식은 비교적 간단합니다. 심층적인 다단계 특징 계층 구조를 매칭할 필요가 없는 소규모 데이터셋이나 작업에서 특히 효과적일 수 있습니다. 하나의 특징 공간을 명확하게 정렬함으로써 단일 계층 매칭은 증류된 데이터셋으로 학습할 때 안정적이고 유의미한 신호를 제공합니다.

다중 계층 분포 매칭#

다중 계층 분포 매칭은 실제 데이터와 합성 데이터를 비교한다는 아이디어를 확장해, 한 계층이 아니라 신경망의 여러 계층에서 비교를 수행합니다. 계층마다 포착하는 정보의 종류가 다르며, 초기 계층에서는 단순한 가장자리와 텍스처를, 심층 계층에서는 형태와 더 복잡한 패턴을 포착합니다.

이러한 계층 전반의 특징을 매칭하면 증류된 데이터셋이 모델이 여러 수준에서 학습하는 내용을 반영하도록 유도됩니다. 네트워크 전반의 특징을 정렬하기 때문에 이 접근 방식은 합성 데이터가 모델의 클래스 구분에 필요한 더 풍부한 신호를 보존하도록 돕습니다.

모델이 이미지와 동영상을 이해하도록 학습하는 작업을 의미하는 컴퓨터 비전에서는 유용한 패턴이 여러 계층에 분포하므로 이 방법이 특히 유용합니다. 여러 깊이에서 특징 분포가 잘 일치하면 증류된 데이터셋은 원본 학습 데이터를 더 강력하고 신뢰성 있게 대체합니다.

파라미터 매칭 방법#

데이터셋 증류의 또 다른 주요 범주는 파라미터 매칭입니다. 정확도나 특징 분포를 매칭하는 대신, 학습 중 모델의 가중치가 어떻게 변하는지 매칭합니다. 증류된 데이터셋으로 학습할 때 실제 데이터 학습과 유사한 파라미터 업데이트가 일어나도록 하여, 모델이 거의 동일한 학습 경로를 따르게 합니다.

이어서 파라미터 매칭의 두 가지 주요 방법을 살펴보겠습니다.

단일 단계 매칭#

단일 단계 매칭은 실제 데이터로 학습 단계를 한 번만 거친 뒤 모델 가중치에 어떤 변화가 생기는지 비교합니다. 그런 다음 모델이 증류된 데이터셋으로 한 단계 학습했을 때 매우 유사한 가중치 업데이트를 생성하도록 데이터셋을 조정합니다. 단일 업데이트에만 집중하므로 이 방법은 간단하고 실행 속도가 빠릅니다.

단점은 한 단계만으로는 전체 학습 과정을 반영하지 못한다는 점이며, 특히 더 풍부한 특징을 구축하기 위해 모델이 여러 번 업데이트되어야 하는 어려운 작업에서 그렇습니다. 따라서 유용한 패턴을 빠르게 포착할 수 있는 단순한 문제나 소규모 데이터셋에서 단일 단계 매칭이 가장 효과적인 경향이 있습니다.

다중 단계 파라미터 매칭#

반면 다중 단계 파라미터 매칭은 한 단계에 그치지 않고 여러 학습 단계에 걸쳐 모델 가중치가 어떻게 변하는지 살펴봅니다. 이러한 업데이트의 연속 과정을 모델의 학습 궤적이라고 합니다.

증류된 데이터셋은 모델이 합성 샘플로 학습할 때 실제 데이터로 학습했을 경우의 궤적을 가깝게 따르도록 구성됩니다. 더 긴 학습 구간을 매칭함으로써 증류된 데이터셋은 원본 학습 과정의 구조를 더 많이 포착합니다.

학습이 시간에 따라 진행되는 방식을 반영하므로, 다중 단계 매칭은 유용한 패턴을 포착하기 위해 모델을 여러 번 업데이트해야 하는 대규모 또는 복잡한 데이터셋에서 대체로 더 효과적입니다. 여러 단계를 추적해야 하므로 연산량은 더 많지만, 단일 단계 매칭보다 일반화 성능이 뛰어나고 성능이 더 좋은 증류 데이터셋을 만드는 경우가 많습니다.

합성 데이터셋 생성 및 최적화 방식#

주요 증류 접근 방식을 살펴봤으니, 이제 합성 데이터가 어떻게 만들어지는지 알아보겠습니다. 데이터셋 증류에서는 가장 중요한 학습 신호를 포착하도록 합성 샘플을 최적화하여, 소규모 샘플 집합이 훨씬 큰 데이터셋을 대체할 수 있게 합니다.

이어서 증류 데이터의 생성 및 평가 방식을 살펴보겠습니다.

증류 이미지 생성 및 평가#

데이터셋 증류 과정에서는 여러 학습 단계에 걸쳐 합성 이미지의 픽셀을 업데이트합니다. 신경망은 현재 합성 이미지로 학습하고, 각 픽셀이 실제 데이터셋의 패턴을 더 잘 반영하려면 어떻게 바뀌어야 하는지 보여 주는 그래디언트 기반 피드백을 제공합니다.

이 과정은 미분 가능하기 때문에 작동합니다. 즉, 각 단계가 매끄럽고 명확하게 정의된 그래디언트를 가지므로 픽셀의 작은 변화가 손실의 예측 가능한 변화로 이어집니다. 따라서 경사 하강법 중 모델이 합성 데이터를 원활하게 조정할 수 있습니다.

최적화가 진행되면서 합성 이미지에는 모델이 인식하는 형태와 텍스처를 비롯해 의미 있는 구조가 나타나기 시작합니다. 정제된 합성 이미지는 분류기가 학습하는 데 필요한 핵심 시각적 단서를 포착하므로 이미지 분류 작업에 자주 사용됩니다.

증류된 데이터셋은 해당 데이터셋으로 모델을 학습한 뒤 실제 데이터로 학습한 모델의 결과와 비교해 평가합니다. 연구자들은 검증 정확도를 측정하고, 합성 데이터셋이 클래스를 구분하는 데 필요한 판별 특징(모델이 한 클래스와 다른 클래스를 구분할 때 사용하는 패턴 또는 신호)을 보존하는지 확인합니다. 또한 증류 데이터가 과적합을 유발하지 않는지 확인하기 위해 다양한 실행이나 모델 설정에서 안정성과 일반화 성능도 테스트합니다.

데이터 증류의 실제 활용 사례#

이어서 데이터가 제한적이거나 전문 분야에 특화된 경우에도 높은 성능을 유지하면서 학습 속도를 높이고 연산 비용을 줄이는 증류 데이터셋의 사례를 자세히 살펴보겠습니다.

컴퓨터 비전 분야에서 데이터셋 증류 활용하기#

컴퓨터 비전의 목표는 이미지나 동영상과 같은 시각 데이터를 이해하도록 모델을 학습시키는 것입니다. 모델은 가장자리, 텍스처, 형태, 객체와 같은 패턴을 학습한 다음 이미지 분류, 객체 탐지, 세그멘테이션 등의 작업에 해당 패턴을 활용합니다. 비전 문제에서는 조명, 배경, 시점의 변화가 큰 경우가 많아 컴퓨터 비전 시스템이 효과적으로 일반화하려면 대규모 데이터셋이 필요한 경우가 많으며, 이로 인해 학습에 많은 비용과 시간이 듭니다.

그림 4. 데이터셋 증류 예시 (출처)

의료 영상, 야생동물 모니터링, 공장 결함 탐지와 같은 이미지 분류 활용 사례에서 모델은 정확도와 학습 비용 사이에서 어려운 절충을 해야 하는 경우가 많습니다. 이러한 작업에는 일반적으로 방대한 데이터셋이 사용됩니다.

데이터셋 증류를 사용하면 원본 학습 데이터셋을 분류기에 필요한 가장 중요한 시각적 단서를 담은 소수의 합성 이미지로 압축할 수 있습니다. ImageNet과 같은 대규모 벤치마크에서는 원본 이미지의 약 4.2%만 사용한 증류 데이터셋으로도 높은 분류 정확도를 유지할 수 있음이 입증되었습니다. 즉, 작은 합성 대체 데이터셋으로 수백만 개의 실제 샘플을 대체하면서 연산량을 크게 줄일 수 있습니다.

신경망 아키텍처 탐색#

신경망 아키텍처 탐색, 즉 NAS는 여러 가지 신경망 설계를 자동으로 탐색해 특정 작업에 가장 적합한 설계를 찾는 기법입니다. NAS는 많은 후보 모델을 학습하고 평가해야 하므로 전체 데이터셋에서 실행하면 속도가 느리고 계산 비용이 매우 많이 들 수 있습니다.

데이터셋 증류는 원본 데이터의 주요 학습 신호를 담은 작은 합성 학습 데이터셋을 생성해 각 후보 아키텍처를 훨씬 빠르게 테스트할 수 있도록 돕습니다. 이를 통해 NAS는 우수한 아키텍처와 그렇지 않은 아키텍처의 순위를 상당히 신뢰성 있게 유지하면서 설계를 효율적으로 비교할 수 있으므로, 최종 모델 품질을 크게 희생하지 않고 탐색 비용을 줄일 수 있습니다.

지속 학습 및 엣지 배포#

새 데이터가 들어올 때마다 한 번만 학습하는 대신 계속 업데이트되는 모델을 뜻하는 연속 학습 시스템은 빠르고 메모리 효율적인 업데이트가 필요합니다. 카메라, 휴대폰, 센서 같은 엣지 디바이스도 연산 및 저장 용량이 제한되어 있어 비슷한 제약을 받습니다.

데이터셋 증류는 대규모 학습 데이터셋을 작은 합성 데이터셋으로 압축하므로, 두 경우 모두 모델이 전체 데이터셋 대신 소량의 리플레이 데이터셋을 사용해 적응하거나 재학습하도록 돕습니다. 예를 들어, 커널 기반 메타 학습 연구에서는 증류된 샘플 10개만으로 CIFAR-10이라는 표준 이미지 분류 벤치마크에서 64%가 넘는 정확도를 달성할 수 있음을 보였습니다. 리플레이 데이터셋이 매우 작기 때문에 업데이트가 훨씬 빠르고 실용적이며, 특히 모델을 자주 갱신해야 할 때 유용합니다.

데이터셋 증류는 대규모 언어 모델의 지식 증류와 함께 활용할 수도 있습니다. 소규모 증류 데이터셋은 교사 모델에서 가장 중요한 작업 신호를 보존할 수 있으므로, 압축된 학생 모델을 성능 저하를 최소화하면서 더 효율적으로 학습하거나 업데이트할 수 있습니다. 이러한 데이터셋은 크기가 매우 작아 저장 공간과 연산 능력이 제한적이지만 업데이트 후에도 모델의 정확도를 유지하려는 엣지 또는 온디바이스 환경에 특히 유용합니다.

데이터 증류의 장단점#

데이터셋 증류의 이점은 다음과 같습니다.

• 빠른 실험에 적합합니다. 매번 대규모 데이터셋으로 재학습하지 않고도 새로운 아키텍처, 손실 함수, 하이퍼파라미터를 테스트할 수 있습니다.
• 잠재적인 개인정보 보호 이점이 있습니다. 증류된 합성 샘플을 공유하면 원시 사례가 직접 노출되지 않으므로 실제 사용자 데이터를 공유하는 것보다 안전할 수 있습니다.
• 단순한 부분집합 선택보다 효과적인 경우가 많습니다. 사례를 선택하는 데 그치지 않고, 증류 과정에서 사례를 가장 많은 정보를 제공하도록 적극적으로 최적화합니다.

데이터셋 증류에는 여러 장점이 있지만, 다음과 같은 한계도 고려해야 합니다.

• 과적합. 증류된 데이터는 증류에 사용한 아키텍처에서 가장 효과적인 경우가 많으며, 구조가 매우 다른 모델에는 잘 전이되지 않을 수 있습니다.
• 하이퍼파라미터에 민감합니다. 학습률, 초기화, 증류 단계 수와 같은 요소에 따라 결과가 크게 달라질 수 있습니다.
• 실제 환경의 복잡성에 맞춰 확장하기 어렵습니다. 벤치마크에서 잘 작동하는 방법도 규모가 크거나 복잡하거나 고해상도인 데이터셋에서는 정확도가 떨어질 수 있습니다.

핵심 요점#

데이터셋 증류를 이용하면 소수의 합성 샘플로도 모델을 전체 데이터셋과 거의 같은 수준으로 효과적으로 학습시킬 수 있습니다. 이를 통해 머신러닝을 더 빠르고 효율적으로 수행하고 쉽게 확장할 수 있습니다. 모델이 커지고 더 많은 데이터를 요구함에 따라, 증류 데이터셋은 정확도를 희생하지 않고 연산 비용을 줄이는 실용적인 방법을 제공합니다.

커뮤니티에 참여하고 GitHub 저장소를 방문해 AI에 대해 더 알아보세요. 자체 비전 AI 프로젝트를 구축하려면 라이선스 옵션을 확인하세요. 솔루션 페이지에서 헬스케어 분야의 AI 및 소매업 분야의 비전 AI와 같은 활용 사례를 더 자세히 알아보세요.