LoRA (Low-Rank Adaptation)

LoRA(Low-Rank Adaptation)는 전체 모델을 재학습할 필요 없이 특정 작업에 맞게 대규모의 사전 훈련된 머신 러닝(ML) 모델을 조정하는 데 사용되는 매우 효율적인 기술입니다. 원래 Microsoft 연구원의 논문에 자세히 설명된 LoRA는 PEFT(Parameter-Efficient Fine-Tuning)의 초석이 되었습니다. LLM(Large Language Models) 및 기타 기반 모델과 같은 대규모 모델을 사용자 정의하는 데 드는 계산 비용과 스토리지 요구 사항을 획기적으로 줄여줍니다.

LoRA 작동 방식

사전 학습된 모델에서 수십억 개의 모델 가중치를 업데이트하는 대신 LoRA는 모든 가중치를 고정합니다. 그런 다음 모델의 특정 레이어, 종종 Transformer 아키텍처의 어텐션 메커니즘 내에 작은 학습 가능한 행렬 쌍(로우-랭크 어댑터라고 함)을 삽입합니다. 학습 과정 동안에는 이러한 새로운 훨씬 더 작은 행렬의 파라미터만 업데이트됩니다. 핵심 아이디어는 모델을 새로운 작업에 적용하는 데 필요한 변경 사항을 원래 모델에 포함된 것보다 훨씬 적은 파라미터로 나타낼 수 있다는 것입니다. 이는 차원 축소와 유사한 원리를 활용하여 적응에 필요한 필수 정보를 간결한 형태로 캡처합니다. 학습이 완료되면 작은 어댑터를 원래 가중치와 병합하거나 모듈식 작업 전환을 위해 분리된 상태로 유지할 수 있습니다.

실제 애플리케이션

LoRA의 효율성은 특히 여러 사용자 정의 모델이 필요한 광범위한 애플리케이션에 이상적입니다.

• 챗봇 사용자 정의: 기업은 강력한 범용 LLM을 가져와 LoRA를 사용하여 내부 지식 기반에서 훈련할 수 있습니다. 이를 통해 전체 미세 조정의 막대한 비용 없이 회사별 용어를 이해하는 특수 고객 서비스 챗봇을 만들 수 있습니다.
• AI 아트 및 스타일 전송: 아티스트와 디자이너는 LoRA를 사용하여 생성적 AI 모델(예: Stable Diffusion)을 특정 예술 스타일에 적용합니다. 자신의 이미지 세트에서 어댑터를 훈련하여 고유한 미적 감각을 모방하는 새로운 아트를 생성할 수 있으며, 이는 Hugging Face와 같은 플랫폼에서 널리 사용되는 방식입니다.

LoRA와 관련 개념 비교

LoRA를 다른 모델 적용 기술과 구별하는 것이 유용합니다.

• 전체 미세 조정: 이 방법은 새로운 데이터 세트에서 사전 훈련된 모델의 모든 가중치를 업데이트합니다. 종종 효과적이지만 각 조정된 모델에 대해 상당한 컴퓨팅 리소스(GPU)와 스토리지가 필요합니다. 대조적으로 LoRA는 원래 가중치를 고정하고 작은 삽입된 어댑터 행렬만 훈련합니다. 자세한 내용은 미세 조정 용어집 항목 및 NVIDIA의 미세 조정 개요에서 확인하십시오.
• 프롬프트 튜닝: 이 기술은 모델 가중치를 완전히 고정된 상태로 유지하고 대신 특정 작업에 대해 모델의 동작을 조종하기 위해 연속적인 "소프트 프롬프트"(입력 임베딩에 추가된 벡터)를 학습합니다. LoRA와 달리 모델 가중치를 수정하지 않고 입력 표현을 조정하는 데만 집중합니다. 프롬프트 튜닝 및 프롬프트 엔지니어링에 대해 자세히 알아보십시오.
• 기타 PEFT 방법: LoRA는 더 넓은 범위의 Parameter-Efficient Fine-Tuning (PEFT) 분야 내의 한 가지 기술일 뿐입니다. 다른 방법으로는 Adapter Tuning(유사하지만 어댑터 구조가 약간 다름), Prefix Tuning 및 IA³이 있으며, 각 방법은 파라미터 효율성과 성능면에서 서로 다른 절충안을 제공합니다. 이러한 방법은 일반적으로 Hugging Face PEFT 라이브러리와 같은 프레임워크에서 사용할 수 있습니다.

요약하자면, LoRA는 자연어 처리(NLP) 및 컴퓨터 비전 모두에서 광범위한 특정 작업에 대해 대규모 사전 훈련된 기반 모델을 사용자 정의하는 강력하고 리소스 효율적인 방법을 제공하여 고급 AI를 보다 실용적이고 접근 가능하게 만듭니다. 이 접근 방식을 사용하면 많은 특수 모델을 쉽게 관리하고 배포할 수 있으며, 모델 수명 주기를 관리하기 위한 Ultralytics HUB와 같은 플랫폼에서 프로세스를 간소화합니다.