Llama 3.1 알아보기: Meta의 최신 오픈 소스 모델 제품군

2024년 7월 23일, Meta는 다목적 8B 모델, 성능이 뛰어난 70B 모델, Llama 3.1 405B 모델을 포함하는 새로운 오픈 소스 모델 제품군 Llama 3.1을 공개했습니다. 공개 당시 405B는 가장 큰 오픈 소스 대규모 언어 모델(LLM)이었습니다.

새로운 모델이 이전 모델과 어떻게 다른지 궁금하실 수 있습니다. Llama 3.1 모델의 출시는 AI 기술의 중요한 이정표입니다. 새로 공개된 모델은 자연어 처리 성능을 크게 개선했을 뿐만 아니라 이전 버전에는 없던 새로운 기능과 개선 사항도 제공합니다. 이번 출시는 연구자와 개발자 모두에게 강력한 도구를 제공하여 복잡한 작업에 AI를 활용하는 방식을 바꿀 것으로 기대됩니다.

이 글에서는 Llama 3.1 모델 제품군의 아키텍처, 주요 개선 사항, 실제 활용 사례를 살펴보고 성능을 자세히 비교합니다.

Llama 3.1이란 무엇인가요?#

Meta의 Llama 3.1은 AI 분야에서 큰 진전을 보이며 OpenAI의 GPT-4o와 Anthropic의 Claude 3.5 Sonnet 같은 최상위 모델과 경쟁하고 있습니다.

이전 Llama 3 모델의 마이너 업데이트로 여겨질 수도 있지만, Meta는 새 모델 제품군에 몇 가지 주요 개선 사항을 도입하여 한 단계 더 발전시켰습니다. 주요 특징은 다음과 같습니다.

• 8개 언어 지원: 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어를 지원하여 전 세계 사용자에게 도달 범위를 넓힙니다.
• 128,000토큰 컨텍스트 윈도우: 모델이 훨씬 긴 입력을 처리하고 장시간 이어지는 대화나 문서에서도 맥락을 유지할 수 있습니다.
• 향상된 추론 기능: 모델의 다재다능함과 복잡한 작업을 효과적으로 처리하는 능력을 높입니다.
• 엄격한 안전성: 위험을 완화하고 편향을 줄이며 유해한 출력을 방지하기 위한 테스트를 시행하여 책임감 있는 AI 사용을 촉진합니다.

위의 모든 사항에 더해, 새로운 Llama 3.1 모델 제품군은 인상적인 4050억 파라미터 모델을 통해 중요한 발전을 보여줍니다. 이처럼 많은 파라미터는 AI 개발의 큰 도약을 의미하며, 복잡한 텍스트를 이해하고 생성하는 모델의 역량을 크게 향상합니다. 405B 모델에는 방대한 파라미터가 포함되어 있으며, 각 파라미터는 모델이 학습 과정에서 학습하는 신경망의 가중치와 편향을 나타냅니다. 이를 통해 모델은 더 복잡한 언어 패턴을 포착할 수 있으며, 대규모 언어 모델의 새로운 기준을 세우고 AI 기술의 미래 가능성을 보여줍니다. 이 대규모 모델은 폭넓은 작업에서 성능을 향상할 뿐 아니라 텍스트 생성과 이해 측면에서 AI가 달성할 수 있는 한계를 넓힙니다.

모델 아키텍처#

Llama 3.1은 현대 대규모 언어 모델의 핵심인 디코더 전용 트랜스포머 모델 아키텍처를 활용합니다. 이 아키텍처는 복잡한 언어 작업을 처리하는 효율성과 효과가 뛰어난 것으로 잘 알려져 있습니다. 트랜스포머를 사용하면 Llama 3.1은 인간과 유사한 텍스트를 이해하고 생성하는 데 탁월한 성능을 발휘하여 LSTM이나 GRU와 같은 구형 아키텍처를 사용하는 모델보다 상당한 이점을 얻습니다.

또한 Llama 3.1 모델 제품군은 전문가 혼합(MoE) 아키텍처 대신 표준 밀집 트랜스포머를 사용합니다. 이는 학습 효율성과 안정성을 높이기 위한 의도적인 선택입니다. MoE 아키텍처를 피하면 더욱 일관되고 신뢰할 수 있는 학습 과정이 보장됩니다. MoE는 때때로 모델의 안정성과 성능에 영향을 미치는 복잡성을 야기할 수 있기 때문입니다.

그림 1. Llama 3.1 트랜스포머 모델 아키텍처를 나타내는 다이어그램.

Llama 3.1 모델 아키텍처의 작동 방식은 다음과 같습니다.

1. 입력 텍스트 토큰: 텍스트 토큰으로 구성된 입력으로 프로세스가 시작됩니다. 토큰은 모델이 처리할 단어 또는 하위 단어와 같은 개별 텍스트 단위입니다.

2. 토큰 임베딩: 그런 다음 텍스트 토큰을 토큰 임베딩으로 변환합니다. 임베딩은 토큰의 의미와 텍스트 내 관계를 포착하는 밀집 벡터 표현입니다. 이러한 변환은 모델이 수치 데이터로 작업할 수 있게 해 주므로 매우 중요합니다.

3. 셀프 어텐션 메커니즘: 셀프 어텐션을 사용하면 각 토큰을 인코딩할 때 모델이 입력 시퀀스의 여러 토큰에 부여할 중요도를 조정할 수 있습니다. 이 메커니즘은 시퀀스 내 위치와 관계없이 모델이 토큰 간 컨텍스트와 관계를 이해하도록 돕습니다. 셀프 어텐션 메커니즘에서는 입력 시퀀스의 각 토큰을 숫자 벡터로 표현합니다. 이 벡터를 사용해 쿼리, 키, 값이라는 세 가지 표현을 만듭니다.

모델은 쿼리 벡터와 키 벡터를 비교하여 각 토큰이 다른 토큰에 어느 정도 어텐션을 부여해야 하는지 계산합니다. 이 비교를 통해 각 토큰이 다른 토큰과 관련된 정도를 나타내는 점수가 산출됩니다.

4. 피드포워드 네트워크: 셀프 어텐션 과정이 끝나면 데이터는 피드포워드 네트워크를 통과합니다. 이 네트워크는 데이터에 비선형 변환을 적용하는 완전 연결 신경망으로, 모델이 복잡한 패턴을 인식하고 학습하도록 돕습니다.

5. 반복 레이어: 셀프 어텐션 레이어와 피드포워드 네트워크 레이어를 여러 번 쌓습니다. 이러한 반복 적용을 통해 모델은 데이터의 더 복잡한 종속성과 패턴을 포착할 수 있습니다.

6. 출력 텍스트 토큰: 마지막으로 처리된 데이터를 사용해 출력 텍스트 토큰을 생성합니다. 이 토큰은 입력 컨텍스트를 바탕으로 모델이 예측한 시퀀스의 다음 단어 또는 하위 단어입니다.

Llama 3.1 모델 제품군의 성능 및 다른 모델과의 비교#

벤치마크 테스트 결과, Llama 3.1은 이러한 최첨단 모델과 대등한 성능을 보일 뿐만 아니라 특정 작업에서는 이를 능가하여 뛰어난 성능을 입증했습니다.

Llama 3.1 405B: 고성능 모델#

Llama 3.1 모델은 150개가 넘는 벤치마크 데이터셋에서 광범위하게 평가되었으며, 다른 주요 대규모 언어 모델과 엄격하게 비교되었습니다. 새로 공개된 제품군 중 가장 뛰어난 성능을 갖춘 것으로 평가되는 Llama 3.1 405B는 OpenAI의 GPT-4와 Claude 3.5 Sonnet 같은 주요 모델과 벤치마크 비교를 거쳤습니다. 비교 결과에 따르면 Llama 3.1은 다양한 작업에서 뛰어난 성능과 역량을 보여 경쟁 우위를 입증했습니다.

그림 2. Llama 3.1 405B 모델과 유사 모델의 성능을 비교한 표.

인상적인 파라미터 수와 고급 아키텍처를 갖춘 이 모델은 복잡한 이해와 텍스트 생성에서 뛰어난 성능을 발휘하며, 특정 벤치마크에서는 경쟁 모델을 능가하기도 합니다. 이러한 평가 결과는 Llama 3.1이 대규모 언어 모델 분야에서 새로운 기준을 세울 잠재력을 보여주며, 연구자와 개발자에게 다양한 애플리케이션에 활용할 수 있는 강력한 도구를 제공합니다.

Llama 3.1 70B: 중간 규모 모델#

더 작고 가벼운 Llama 모델도 동급 모델과 비교해 뛰어난 성능을 보여 줍니다. Llama 3.1 70B 모델은 Mixtral 8x22B 및 GPT-3.5 Turbo와 같은 더 큰 모델과 비교 평가되었습니다. 예를 들어 Llama 3.1 70B 모델은 ARC Challenge와 같은 추론 벤치마크와 HumanEval과 같은 코딩 벤치마크에서 일관되게 더 뛰어난 성능을 보입니다. 이러한 결과는 다양한 모델 크기에서 Llama 3.1 시리즈의 범용성과 견고성을 보여 주며, 폭넓은 응용 분야에 유용한 도구임을 입증합니다.

Llama 3.1 8B: 경량 모델#

또한 Llama 3.1 8B 모델은 Gemma 2 9B와 Mistral 7B 등 비슷한 크기의 모델과 벤치마크 비교를 거쳤습니다. 이러한 비교 결과에 따르면 Llama 3.1 8B 모델은 추론용 GPQA 데이터셋과 코딩용 MBPP EvalPlus 등 여러 분야의 벤치마크 데이터셋에서 경쟁 모델보다 뛰어난 성능을 보입니다. 이는 파라미터 수가 적음에도 효율성과 역량을 갖추고 있음을 보여 줍니다.

그림 3. Llama 3.1 70B 및 8B 모델과 유사 모델의 성능을 비교한 표.

Llama 3.1 모델 제품군을 어떻게 활용할 수 있나요?#

Meta는 새 모델을 사용자가 다양하고 실용적인 방식으로 활용할 수 있도록 했습니다.

파인튜닝#

이제 사용자는 특정 사용 사례에 맞게 Llama 3.1 모델을 파인튜닝할 수 있습니다. 이 과정에서는 모델이 이전에 접하지 못했던 새로운 외부 데이터를 사용해 학습함으로써 특정 애플리케이션에 대한 성능과 적응성을 높입니다. 파인튜닝을 통해 모델이 특정 도메인이나 작업과 관련된 콘텐츠를 더 잘 이해하고 생성할 수 있으므로 상당한 이점을 얻을 수 있습니다.

RAG 시스템에 통합#

이제 Llama 3.1 모델을 검색 증강 생성(RAG) 시스템에 통합할 수 있습니다. 이러한 통합을 통해 모델은 외부 데이터 소스를 동적으로 활용하여 정확하고 맥락에 맞는 응답을 제공하는 능력을 높일 수 있습니다. 대규모 데이터셋에서 정보를 검색해 생성 과정에 반영함으로써 Llama 3.1은 지식 집약적 작업의 성능을 크게 향상하고, 사용자에게 더 정확하고 충분한 정보를 담은 결과를 제공합니다.

합성 데이터 생성#

4050억 파라미터 모델을 활용해 고품질 합성 데이터를 생성하고 특정 사용 사례에 특화된 모델의 성능을 향상할 수도 있습니다. 이 접근 방식은 Llama 3.1의 폭넓은 역량을 활용해 목표에 맞는 관련 데이터를 생성하여 맞춤형 AI 애플리케이션의 정확도와 효율성을 개선합니다.

핵심 요약#

Llama 3.1의 출시는 대규모 언어 모델 분야의 중요한 도약으로, AI 기술을 발전시키려는 Meta의 의지를 보여줍니다.

방대한 파라미터 수와 다양한 데이터셋을 활용한 광범위한 학습, 견고하고 안정적인 학습 과정에 대한 집중을 바탕으로 Llama 3.1은 자연어 처리의 성능과 역량 면에서 새로운 기준을 세웁니다. 텍스트 생성, 요약, 복잡한 대화 작업 등에서 Llama 3.1은 다른 주요 모델보다 경쟁력 있는 성능을 보입니다. 이 모델은 오늘날 AI가 달성할 수 있는 한계를 넓힐 뿐 아니라 끊임없이 진화하는 인공지능 분야에서 미래 혁신의 토대를 마련합니다.

Ultralytics는 AI 기술의 한계를 넓히기 위해 노력하고 있습니다. AI 솔루션을 살펴보고 최신 혁신을 확인하려면 GitHub 저장소를 확인해 보세요. Discord 커뮤니티에 참여하고 자율주행차와 제조 등 다양한 산업을 어떻게 변화시키고 있는지 알아보세요!