Large Language Model (LLM)

대규모 언어 모델(LLM)은 거의 항상 Transformer인 신경망으로, 시퀀스의 다음 토큰을 예측하도록 수조 개의 텍스트 토큰으로 학습되며 매개변수는 수십억 개에 달합니다. 이 단일 목적을 대규모로 적용하면 질문에 답하고, 문서를 요약하고, 번역하고, 코드를 작성하고, 소프트웨어 도구를 호출할 수 있는 모델이 만들어집니다. OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini는 API를 통해 제공되는 LLM 제품군이며, Meta의 Llama, Alibaba의 Qwen, DeepSeek, Mistral, OpenAI의 gpt-oss는 오픈 웨이트를 공개합니다. Transformer 아키텍처는 2017년 논문 Attention Is All You Need에서 비롯되었습니다. GPT-3는 2020년에 매개변수 1,750억 개의 모델이 프롬프트의 예시를 통해 작업을 학습할 수 있음을 보여주었으며, ChatGPT는 2022년 11월 LLM을 대중적으로 확산시켰습니다.

LLM 작동 방식#

LLM은 먼저 토큰화를 수행해 텍스트를 토큰 ID로 변환하고 각 토큰의 임베딩 벡터를 조회합니다. 벡터는 동일한 블록을 쌓은 구조를 통과하며, 각 블록은 모든 토큰이 앞선 토큰에서 정보를 가져올 수 있게 하는 인과적 셀프 어텐션과 각 토큰을 개별적으로 변환하는 피드포워드 계층을 결합합니다. 마지막 블록은 어휘의 모든 토큰에 대한 소프트맥스 확률을 생성합니다. 모델이 토큰 하나를 선택해 추가한 다음 이 과정을 반복하는 것이 텍스트 생성의 원리입니다.

크기는 파라미터 수로 측정하며, 최근 모델 중 상당수는 희소합니다. 전문가 혼합(MoE)에서는 라우터가 각 토큰을 여러 피드포워드 전문가 중 일부에 전달합니다. 따라서 DeepSeek-V3는 파라미터가 6,710억 개이지만 토큰당 370억 개를 사용합니다. 모델이 한 번에 읽을 수 있는 텍스트 양인 컨텍스트 윈도우는 GPT-3의 토큰 2,048개에서 현재 여러 모델의 토큰 100만 개 이상으로 늘어났습니다. 이렇게 긴 입력을 처리하려면 이전 토큰의 어텐션 키와 값을 저장하는 KV 캐시가 필요합니다.

LLM 학습 방식#

사전 학습은 자기 지도 학습입니다. 모델은 사람의 라벨 없이 웹 페이지, 책, 코드에서 다음 토큰을 예측합니다. 스케일링 법칙은 파라미터, 데이터, 연산량이 늘어날수록 손실이 어떻게 감소하는지 예측하며, DeepMind의 Chinchilla 연구는 연산량 기준 최적 학습에 파라미터당 약 20개 토큰이 사용된다는 사실을 밝혔습니다. 현재 모델은 이 비율을 훨씬 넘어서는 데이터로 학습합니다. Meta는 Llama 3를 약 15조 개의 토큰으로 사전 학습했습니다. 사후 학습은 기본 모델을 어시스턴트로 바꿉니다. 지시 튜닝은 요청을 따르는 방법을 가르치며, 인간 피드백 기반 강화 학습(RLHF) 또는 직접 선호도 최적화는 인간의 선호도에 맞춰 답변을 조정합니다. OpenAI의 InstructGPT 결과에서는 라벨러가 1,750억 파라미터 GPT-3보다 13억 파라미터 튜닝 모델을 선호했습니다. OpenAI의 o1과 DeepSeek-R1 같은 추론 모델은 대규모 강화 학습을 추가합니다. DeepSeek-R1은 수학 및 코딩 문제에 대해 검증 가능한 답을 사용하는 검증 가능한 보상 기반 강화 학습을 적용하여 답변 전에 긴 추론 과정을 작성하도록 학습합니다. 이후 팀은 미세 조정, 흔히 LoRA를 통해 모델을 자체 도메인에 맞추거나, 가중치를 그대로 두고 검색 증강 생성(RAG)으로 지식을 제공합니다.

응용 분야#

LLM은 챗봇과 어시스턴트, 전체 저장소를 편집하고 테스트하는 에이전트형 코딩 도구, 검색 및 문서 질의응답, 함수 호출로 여러 단계 작업을 계획하는 AI 에이전트에 사용됩니다. 이미지 인코더를 추가하면 LLM은 사진, 차트, 동영상 프레임에 관한 질문에 답하는 비전 언어 모델(VLM)이 됩니다. 주요 LLM 제품군도 이미지를 읽을 수 있으며, Ultralytics VLM 리더보드는 GPT-6.1 Sol, Claude Opus 5.5, Gemini 4 Argon과 같은 모델이 실제 데이터셋에서 객체를 얼마나 정확하게 탐지하는지 비교합니다. Ultralytics LLM 인터페이스는 텍스트나 이미지를 OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter의 OpenAI 호환 모델 또는 로컬 서버로 전송하므로, YOLO26 파이프라인은 사람의 등장과 같이 탐지 결과에 설명이 필요한 경우에만 장면 설명을 위해 LLM을 호출할 수 있습니다.

LLM과 관련 용어 비교#

• 자연어 처리 (NLP): 컴퓨터로 인간의 언어를 처리하는 분야입니다. 현재 LLM은 이 분야를 대표하는 모델 유형입니다.
• 생성형 AI: 이미지, 오디오, 비디오 생성기를 포함해 새로운 콘텐츠를 만드는 모든 모델입니다.
• 파운데이션 모델: 2021년 Stanford 연구자들이 명명한 더 포괄적인 범주로, 폭넓은 데이터로 사전 학습한 뒤 여러 작업에 맞게 조정하는 대규모 모델을 뜻합니다. 여기에는 LLM뿐 아니라 비전 파운데이션 모델도 포함됩니다.
• 소규모 언어 모델 (SLM): 휴대폰, 노트북 또는 저렴한 서빙 환경에서 실행할 수 있을 만큼 작은 언어 모델로, 일반적으로 매개변수가 수십억 개 이하입니다.

한계#

LLM은 사실 여부와 관계없이 유창한 텍스트를 생성하므로 사실을 다루는 작업에서는 환각이 여전히 주요 위험 요소입니다. 검색이나 도구가 정보를 제공하지 않는 한 모델은 학습 종료 시점 이후의 정보를 알지 못합니다. 학습 데이터의 편향은 모델에 반영되며, 웹 페이지나 문서에 숨겨진 지시가 프롬프트 인젝션을 통해 에이전트를 탈취할 수 있습니다. 컨텍스트가 매우 길어지면 컨텍스트 로트라는 현상으로 정확도도 낮아집니다. LLM을 서빙하는 데에는 메모리도 많이 필요합니다. 700억 파라미터 모델은 가중치가 16비트일 때 약 140GB, 4비트일 때 약 35GB가 필요합니다. 따라서 모델 양자화 형식인 GGUF를 사용하면 이러한 모델을 단일 워크스테이션에서 실행할 수 있습니다.