Small Language Models (SLMs)

소형 언어 모델(SLM)은 휴대폰, 노트북 또는 보급형 단일 GPU에서 실행하거나 저렴한 비용으로 대량 서비스할 수 있을 만큼 작은 언어 모델입니다. 명확한 기준은 없습니다. NVIDIA 연구진은 일반 소비자 기기에서 실행할 수 있고 한 사용자의 요청에 충분히 빠르게 응답하는 모델을 SLM으로 정의하며, 2025년 기준으로 파라미터가 100억 개 미만인 모델 대부분을 여기에 포함합니다. 2024년 4월 공개된 Microsoft의 Phi-3-mini는 파라미터가 38억 개이며 MMLU 벤치마크에서 GPT-3.5와 비슷한 69%를 기록하면서도 휴대폰에서 실행할 수 있을 만큼 작습니다. 널리 사용되는 다른 SLM으로는 파라미터가 2억 7천만~40억 개인 Google의 Gemma 3 모델, Meta의 Llama 3.2 1B 및 3B, Alibaba의 소형 Qwen3 모델, Apple Intelligence의 기반이 되는 약 30억 파라미터의 온디바이스 모델이 있습니다.

SLM의 구축 방식#

SLM은 대규모 언어 모델(LLM)과 동일한 Transformer 아키텍처를 사용하며, 학습 방식으로 모델 크기의 한계를 보완합니다:

• 데이터 품질: Microsoft는 Phi-3-mini를 공개 웹 텍스트 3조 3천억 토큰으로 학습했으며, 해당 데이터를 강도 높게 필터링하고 합성 데이터도 사용했습니다. Microsoft는 이 데이터세트가 성능의 비결이라고 설명합니다.
• 과잉 학습: 스케일링 법칙에 따르면 학습 연산량을 최소화하려면 파라미터당 약 20개 토큰이 필요하지만, SLM은 수백 또는 수천 개의 토큰으로 학습해 추가 학습 연산량을 투입하는 대신 쿼리당 비용이 낮은 소형 모델을 만듭니다. Meta는 Llama 3 8B를 15조 개의 토큰으로 학습했습니다.
• 지식 증류: Google은 단순한 다음 토큰 예측 대신 더 큰 교사 모델의 다음 토큰 분포를 모방하도록 Gemma 2의 2B 및 9B 모델을 학습했습니다.
• 모델 양자화: 파라미터가 38억 개인 모델은 16비트 가중치에 약 7.6 GB, 4비트 가중치에 약 1.9 GB가 필요합니다. Apple은 양자화 인식 학습(QAT)으로 온디바이스 모델의 가중치를 2비트로 압축하며, GGUF 파일은 노트북용 4비트 모델을 패키징합니다.

SLM의 실행 환경#

온디바이스 어시스턴트는 가장 눈에 띄는 활용 사례입니다. 2025년에 발표된 Apple의 Foundation Models 프레임워크는 앱 개발자가 Apple Intelligence의 기반인 온디바이스 모델에 직접 접근할 수 있게 합니다. 휴대폰 칩은 텍스트를 서버로 보내지 않고 신경망 처리 장치(NPU)에서 이러한 모델을 실행하므로 데이터 프라이버시 보호에 도움이 됩니다. 기업은 분류, 정보 추출, 고객 지원 답변과 같은 좁은 범위의 작업에 맞춰 LoRA로 SLM을 미세 조정하고, 회사 지식을 활용하기 위해 검색 증강 생성(RAG)을 추가하는 경우가 많습니다. Google은 이러한 작업별 튜닝을 위해 Gemma 3 270M을 구축했습니다. 2억 7천만 개 파라미터 중 1억 7천만 개는 토큰 256K개 어휘의 임베딩에 포함됩니다.

AI 에이전트는 새로운 활용 사례입니다. NVIDIA 논문은 에이전트의 하위 작업 대부분이 SLM으로 처리할 수 있을 만큼 범위가 좁고 반복적이며, 나머지 작업에는 더 큰 모델을 사용할 수 있다고 주장합니다. 이는 모델 라우팅의 한 형태입니다:

같은 분할 방식은 엣지 AI 하드웨어의 비전 파이프라인에도 적용됩니다. Ultralytics LLM 인터페이스는 Ollama와 같은 로컬 서버를 포함한 OpenAI 호환 엔드포인트에 사용할 base_url를 허용합니다. 따라서 엣지 디바이스의 YOLO26 파이프라인은 프레임이나 검출 결과를 같은 장치의 SLM으로 보내고 클라우드 호출 없이 텍스트 보고서를 받을 수 있습니다.

SLM과 관련 용어 비교#

• 대규모 언어 모델: 수백억~수천억 개 이상의 파라미터를 가진 동일한 종류의 모델로, 더 폭넓은 지식과 강력한 다단계 추론 능력을 갖추며 보통 데이터센터 GPU에서 서비스됩니다.
• 비전 언어 모델(VLM): 언어 모델에 이미지 인코더를 추가합니다. Apple의 FastVLM과 같은 소형 VLM은 이미지 이해에 SLM 기법을 적용합니다. VLM 리더보드에는 Gemma 4 E2B와 Qwen3.5 2B 같은 소형 VLM이 포함되어 있으며, 훨씬 더 큰 모델과 비교해 객체 탐지 정확도를 측정합니다.
• TinyML: 수 KB에서 수 MB의 메모리를 가진 마이크로컨트롤러에서 실행하는 머신러닝입니다. 8비트 가중치 기준 약 270 MB를 차지하는 파라미터 2억 7천만 개의 SLM도 실행하기에는 너무 큽니다.