모델 최적화란 무엇인가요? 간단 가이드

Model optimization is a process that aims to improve the efficiency and performance of machine learning models. By refining a model's structure and function, optimization makes it possible for models to deliver better results with minimal computational resources and reduced training and evaluation time.

이 프로세스는 컴퓨터 비전과 같은 분야에서 특히 중요합니다. 이러한 분야에서는 모델이 복잡한 이미지를 분석하기 위해 상당한 자원을 필요로 하는 경우가 많기 때문입니다. 모바일 장치나 엣지 시스템과 같이 자원이 제한된 환경에서도 최적화된 모델은 제한된 자원으로 효과적으로 작동하면서 높은 정확도를 유지할 수 있습니다.

하이퍼파라미터 튜닝, 모델 가지치기(pruning), 모델 양자화(quantization), 혼합 정밀도(mixed precision)를 포함하여 모델 최적화를 달성하기 위한 몇 가지 기술이 일반적으로 사용됩니다. 이 글에서는 이러한 기술들과 이것들이 컴퓨터 비전 애플리케이션에 가져다주는 이점에 대해 살펴볼 것입니다. 시작해 보겠습니다!

Link to this section모델 최적화 이해하기#

Computer vision models usually have deep layers and complex structures that are great for recognizing intricate patterns in images, but they can also be quite demanding in terms of processing power. When these models are deployed on devices with limited hardware, like mobile phones or edge devices, they can face certain challenges or limitations.

이러한 장치들의 제한된 처리 능력, 메모리, 에너지는 모델이 이를 따라가기 힘들어 성능 저하를 초래할 수 있습니다. 모델 최적화 기술은 이러한 문제를 해결하는 핵심입니다. 이러한 기술은 모델을 간소화하고 컴퓨팅 요구 사항을 줄이며, 제한된 자원 속에서도 모델이 효과적으로 작동하도록 보장합니다. 모델 최적화는 모델 아키텍처를 단순화하거나 계산의 정밀도를 줄이거나, 불필요한 구성 요소를 제거하여 모델을 더 가볍고 빠르게 만듦으로써 수행될 수 있습니다.

그림 1. 모델을 최적화해야 하는 이유. 이미지 작성자: 저자.

다음 섹션에서 더 자세히 살펴볼 가장 일반적인 모델 최적화 기술은 다음과 같습니다:

• 하이퍼파라미터 튜닝: 학습률(learning rate) 및 배치 크기(batch size)와 같은 하이퍼파라미터를 체계적으로 조정하여 모델 성능을 개선하는 과정입니다.
• 모델 가지치기(Model pruning): 이 기술은 신경망에서 불필요한 가중치와 연결을 제거하여 복잡성과 계산 비용을 줄입니다.
• 모델 양자화(Model quantization): 양자화는 일반적으로 32비트에서 16비트 또는 8비트로 모델의 가중치와 활성화 값의 정밀도를 줄이는 것을 포함하며, 이를 통해 메모리 사용량과 계산 요구 사항을 크게 줄입니다.
• 정밀도 조정(Precision adjustments): 혼합 정밀도 학습으로도 알려져 있으며, 모델의 각 부분에 서로 다른 정밀도 형식을 사용하고 정확도를 저하시키지 않으면서 자원 사용을 최적화합니다.

Link to this section설명: 머신 러닝 모델의 하이퍼파라미터#

하이퍼파라미터를 튜닝하여 모델이 더 잘 학습하고 성능을 발휘하도록 도울 수 있습니다. 하이퍼파라미터는 모델이 데이터로부터 학습하는 방식을 결정하는 설정입니다. 하이퍼파라미터 튜닝은 이러한 설정을 최적화하여 모델의 효율성과 정확도를 개선하는 기술입니다. 모델이 학습 중에 배우는 파라미터와 달리, 하이퍼파라미터는 학습 프로세스를 안내하는 사전 설정 값입니다.

튜닝 가능한 하이퍼파라미터의 몇 가지 예를 살펴보겠습니다:

• 학습률(Learning rate): 이 파라미터는 모델이 내부 가중치를 조정하기 위해 취하는 단계의 크기를 제어합니다. 더 높은 학습률은 학습 속도를 높일 수 있지만 최적의 솔루션을 놓칠 위험이 있으며, 더 낮은 학습률은 더 정확할 수 있지만 속도가 느릴 수 있습니다.
• 배치 크기(Batch size): 각 학습 단계에서 처리되는 데이터 샘플의 수를 정의합니다. 더 큰 배치 크기는 더 안정적인 학습을 제공하지만 더 많은 메모리가 필요합니다. 더 작은 배치는 더 빨리 학습하지만 불안정할 수 있습니다.
• 에폭(Epochs): 이 파라미터를 사용하여 모델이 전체 데이터셋을 몇 번 볼지 결정할 수 있습니다. 에폭을 늘리면 정확도가 향상될 수 있지만 과적합(overfitting)의 위험이 있습니다.
• 커널 크기: 합성곱 신경망(Convolutional Neural Networks)(CNN)에서 필터 크기를 정의합니다. 더 큰 커널은 더 넓은 패턴을 캡처하지만 더 많은 처리가 필요하고, 더 작은 커널은 더 미세한 세부 사항에 집중합니다.

Link to this section하이퍼파라미터 튜닝의 작동 방식#

하이퍼파라미터 튜닝은 일반적으로 각 하이퍼파라미터에 대해 가능한 값의 범위를 정의하는 것으로 시작합니다. 그런 다음 검색 알고리즘이 이 범위 내에서 서로 다른 조합을 탐색하여 최상의 성능을 생성하는 설정을 식별합니다.

일반적인 튜닝 방법으로는 그리드 검색(grid search), 랜덤 검색(random search), 베이지안 최적화(Bayesian optimization)가 있습니다. 그리드 검색은 지정된 범위 내의 모든 가능한 값 조합을 테스트합니다. 랜덤 검색은 조합을 무작위로 선택하며, 종종 효과적인 설정을 더 빠르게 찾습니다. 베이지안 최적화는 확률적 모델을 사용하여 이전 결과를 기반으로 유망한 하이퍼파라미터 값을 예측합니다. 이 접근 방식은 일반적으로 필요한 시도 횟수를 줄여줍니다.

궁극적으로 각 하이퍼파라미터 조합에 대해 모델의 성능이 평가됩니다. 이 과정은 원하는 결과가 달성될 때까지 반복됩니다.

Link to this section하이퍼파라미터와 모델 파라미터 비교#

하이퍼파라미터 튜닝을 수행하는 동안 하이퍼파라미터와 모델 파라미터의 차이점이 무엇인지 궁금할 수 있습니다.

하이퍼파라미터는 학습 전에 설정된 값으로, 학습률이나 배치 크기와 같이 모델이 학습하는 방식을 제어합니다. 이러한 설정은 학습 중에 고정되어 학습 프로세스에 직접적인 영향을 미칩니다. 반면 모델 파라미터는 학습 중에 모델이 스스로 학습합니다. 여기에는 가중치와 바이어스가 포함되며, 모델이 학습함에 따라 조정되고 궁극적으로 예측을 안내합니다. 본질적으로 하이퍼파라미터는 학습 여정을 형성하는 반면, 모델 파라미터는 그 학습 프로세스의 결과물입니다.

그림 2. 파라미터와 하이퍼파라미터 비교.

Link to this section딥 러닝에서 모델 가지치기가 중요한 이유#

모델 프루닝은 모델에서 불필요한 가중치와 파라미터를 제거하여 효율성을 높이는 크기 축소 기술입니다. 컴퓨터 비전 분야, 특히 딥 신경망의 경우 가중치나 활성화 함수(최종 출력을 계산하는 데 도움을 주는 중간 출력값)와 같은 많은 파라미터가 복잡성과 계산 요구량을 모두 증가시킬 수 있습니다. 프루닝은 성능에 최소한으로 기여하는 파라미터를 식별하고 제거함으로써 모델을 간소화하며, 결과적으로 더 가볍고 효율적인 모델을 만드는 데 도움을 줍니다.

그림 3. 모델 가지치기 전과 후.

모델이 학습된 후에는 크기 기반 가지치기나 민감도 분석과 같은 기술을 사용하여 각 파라미터의 중요도를 평가할 수 있습니다. 그런 다음 가중치 가지치기, 뉴런 가지치기, 구조적 가지치기 중 하나를 사용하여 중요도가 낮은 파라미터를 가지치기합니다.

가중치 가지치기는 출력에 미치는 영향이 최소인 개별 연결을 제거합니다. 뉴런 가지치기는 출력이 모델의 기능에 거의 기여하지 않는 전체 뉴런을 제거합니다. 구조적 가지치기는 합성곱 필터나 완전 연결 레이어의 뉴런과 같은 더 큰 섹션을 제거하여 모델의 효율성을 최적화합니다. 가지치기가 완료되면 모델을 재학습하여 남아 있는 파라미터를 미세 조정(fine-tune)함으로써 축소된 형태에서도 높은 정확도를 유지하도록 합니다.

Link to this section양자화를 통해 AI 모델의 지연 시간 줄이기#

모델 양자화는 모델의 가중치와 활성화 값을 표현하는 데 사용되는 비트 수를 줄입니다. 일반적으로 높은 정밀도의 32비트 부동 소수점 값을 16비트나 8비트 정수와 같은 낮은 정밀도로 변환합니다. 비트 정밀도를 줄임으로써 양자화는 모델의 크기, 메모리 사용량 및 계산 비용을 크게 감소시킵니다.

컴퓨터 비전에서는 32비트 부동 소수점이 표준이지만, 16비트나 8비트로 변환하면 효율성을 개선할 수 있습니다. 양자화에는 가중치 양자화와 활성화 양자화라는 두 가지 주요 유형이 있습니다. 가중치 양자화는 모델 가중치의 정밀도를 낮추어 크기 축소와 정확도 간의 균형을 맞춥니다. 활성화 양자화는 활성화 값의 정밀도를 줄여 메모리 및 계산 요구 사항을 더욱 감소시킵니다.

그림 4. 32비트 부동 소수점에서 8비트 정수로의 양자화 예시.

Link to this section혼합 정밀도가 AI 추론 속도를 높이는 방법#

혼합 정밀도는 신경망의 여러 부분에 서로 다른 수치 정밀도를 사용하는 기술입니다. 32비트 부동 소수점과 같은 더 높은 정밀도 값과 16비트나 8비트 부동 소수점과 같은 더 낮은 정밀도 값을 결합함으로써, 혼합 정밀도는 컴퓨터 비전 모델이 정확도를 희생하지 않으면서 학습을 가속화하고 메모리 사용량을 줄일 수 있도록 합니다.

학습 중에 혼합 정밀도는 네트워크 전반에 걸쳐 필요한 곳에 높은 정밀도를 유지하면서 특정 레이어에서 더 낮은 정밀도를 사용하여 달성됩니다. 이는 캐스팅(casting)과 손실 스케일링(loss scaling)을 통해 수행됩니다. 캐스팅은 모델이 필요로 하는 대로 서로 다른 정밀도 사이에서 데이터 유형을 변환합니다. 손실 스케일링은 수치적 언더플로우를 방지하기 위해 감소된 정밀도를 조정하여 안정적인 학습을 보장합니다. 혼합 정밀도는 대규모 모델과 대규모 배치 크기에 특히 유용합니다.

그림 5. 혼합 정밀도 학습은 16비트(FP16) 및 32비트(FP32) 부동 소수점 유형을 모두 사용합니다.

Link to this section모델 정확도와 효율성 간의 균형 유지#

여러 모델 최적화 기술을 살펴보았으니, 이제 구체적인 필요에 따라 어떤 것을 사용할지 결정하는 방법을 논의해 보겠습니다. 선택은 가용한 하드웨어, 배포 환경의 계산 및 메모리 제약, 그리고 요구되는 정확도 수준과 같은 요인에 따라 달라집니다.

예를 들어, 작고 빠른 모델은 자원이 제한된 모바일 장치에 더 적합하고, 크고 더 정확한 모델은 고성능 시스템에 사용할 수 있습니다. 각 기술이 서로 다른 목표와 일치하는 방법은 다음과 같습니다:

• 가지치기: 정확도에 큰 영향을 주지 않으면서 모델 크기를 줄이는 데 이상적이며, 모바일 폰이나 사물 인터넷(IoT) 장치와 같은 자원 제약이 있는 장치에 적합합니다.
• 양자화: 모델 크기를 줄이고 추론 속도를 높이는 데 매우 좋은 옵션이며, 특히 메모리와 처리 능력이 제한된 모바일 기기나 임베디드 시스템에서 효과적입니다. 약간의 정확도 저하를 허용할 수 있는 애플리케이션에 적합합니다.
• 혼합 정밀도: 대규모 모델을 위해 설계된 이 기술은 혼합 정밀도 연산을 지원하는 GPU 및 TPU와 같은 하드웨어에서 메모리 사용량을 줄이고 학습을 가속화합니다. 효율성이 중요한 고성능 작업에서 자주 사용됩니다.
• 하이퍼파라미터 튜닝: 계산 집약적이지만 의료 영상이나 자율 주행과 같이 높은 정확도가 필요한 애플리케이션에 필수적입니다.

Link to this section핵심 요약#

모델 최적화는 특히 실제 애플리케이션에 AI를 배포하는 데 있어 머신 러닝의 핵심적인 부분입니다. 하이퍼파라미터 튜닝, 모델 가지치기, 양자화, 혼합 정밀도와 같은 기술은 컴퓨터 비전 모델의 성능, 효율성 및 자원 활용을 개선하는 데 도움이 됩니다. 이러한 최적화는 모델을 더 빠르고 자원 소모가 적게 만들며, 이는 메모리와 처리 능력이 제한된 장치에 이상적입니다. 최적화된 모델은 다양한 플랫폼에서 더 쉽게 확장 및 배포될 수 있어, 효과적이면서도 광범위한 용도에 적응 가능한 AI 솔루션을 가능하게 합니다.

Ultralytics GitHub 저장소를 방문하고 커뮤니티에 가입하여 제조업 및 농업 분야의 AI 애플리케이션에 대해 자세히 알아보세요.