Llama 3.1 알아보기: Meta의 최신 오픈 소스 모델 제품군

2024년 7월 23일, Meta는 새로운 Llama 3.1 오픈 소스 모델 제품군을 출시했습니다. 여기에는 다재다능한 8B, 뛰어난 성능의 70B, 그리고 최신 모델로서 현재까지 가장 큰 오픈 소스 대규모 언어 모델(LLM)로 주목받는 Llama 3.1 405B 모델이 포함되어 있습니다.

이 새로운 모델들이 이전 모델과 무엇이 다른지 궁금하실 수 있습니다. 이 글을 읽어보시면 Llama 3.1 모델의 출시가 AI 기술 분야에서 중요한 이정표가 되었음을 알게 되실 것입니다. 새롭게 출시된 모델들은 자연어 처리 분야에서 상당한 개선을 제공하며, 이전 버전에서는 볼 수 없었던 새로운 기능과 향상된 성능을 도입했습니다. 이번 출시는 우리가 복잡한 작업을 위해 AI를 활용하는 방식을 변화시킬 것을 약속하며, 연구자와 개발자 모두에게 강력한 툴셋을 제공합니다.

이 글에서는 Llama 3.1 모델 제품군을 살펴보고, 그 아키텍처와 주요 개선 사항, 실용적인 활용 사례, 그리고 성능에 대한 상세한 비교를 다룰 것입니다.

Llama 3.1이란 무엇인가요?#

Meta의 최신 대규모 언어 모델인 Llama 3.1은 OpenAI's Chat GPT-4o 및 Anthropic의 Claude 3.5 Sonnet과 같은 최고 수준의 모델 역량과 견주며 AI 생태계에서 중요한 발전을 이루고 있습니다.

이전 Llama 3 모델의 마이너 업데이트로 간주될 수 있음에도 불구하고, Meta는 새로운 모델 군에 몇 가지 주요 개선 사항을 도입하여 한 걸음 더 나아갔으며 다음과 같은 이점을 제공합니다.

• 8개 언어 지원: 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어를 포함하여 전 세계 사용자들에게 도달 범위를 확장했습니다.
• 128,000 컨텍스트 윈도우 토큰: 모델이 훨씬 긴 입력을 처리하고 확장된 대화나 문서 전체에서 컨텍스트를 유지할 수 있도록 지원합니다.
• 향상된 추론 능력: 모델이 더욱 다재다능해지고 복잡한 작업을 효과적으로 관리할 수 있게 되었습니다.
• 엄격한 안전성: 위험을 완화하고 편향을 줄이며 유해한 출력을 방지하여 책임감 있는 AI 사용을 촉진하기 위한 테스트가 구현되었습니다.

위의 모든 내용 외에도, 새로운 Llama 3.1 모델 제품군은 인상적인 4050억 개의 파라미터를 가진 모델로 주요 발전을 강조합니다. 이 상당한 파라미터 수는 AI 개발에서 중요한 도약을 의미하며, 복잡한 텍스트를 이해하고 생성하는 모델의 능력을 크게 향상시킵니다. 405B 모델에는 방대한 파라미터 배열이 포함되어 있으며, 각 파라미터는 모델이 학습 중에 익히는 신경망 내의 가중치(weights)와 편향(biases)을 의미합니다. 이를 통해 모델은 더 복잡한 언어 패턴을 포착할 수 있어 대규모 언어 모델의 새로운 표준을 제시하고 AI 기술의 미래 잠재력을 보여줍니다. 이 대규모 모델은 광범위한 작업에서 성능을 개선할 뿐만 아니라 텍스트 생성 및 이해 측면에서 AI가 달성할 수 있는 한계를 넓히고 있습니다.

모델 아키텍처#

Llama 3.1은 현대 대규모 언어 모델의 초석인 디코더 전용 transformer 모델 아키텍처를 활용합니다. 이 아키텍처는 복잡한 언어 작업을 처리하는 데 있어 효율성과 효과로 유명합니다. transformer의 사용으로 Llama 3.1은 인간과 유사한 텍스트를 이해하고 생성하는 데 탁월하며, LSTM 및 GRU와 같은 이전 아키텍처를 사용하는 모델에 비해 상당한 이점을 제공합니다.

또한 Llama 3.1 모델 군은 Mixture of Experts (MoE) architecture 대신 표준 덴스 transformer를 사용하며, 이는 학습 효율성과 안정성을 향상시키기 위한 신중한 선택입니다. MoE는 때때로 모델 안정성과 성능에 영향을 미칠 수 있는 복잡성을 유발할 수 있으므로, MoE 아키텍처를 피함으로써 보다 일관되고 신뢰할 수 있는 학습 프로세스를 보장합니다.

Fig 1. Llama 3.1 transformer 모델 아키텍처를 설명하는 다이어그램.

Llama 3.1 모델 아키텍처는 다음과 같이 작동합니다:

1. 입력 텍스트 토큰: 프로세스는 텍스트 토큰으로 구성된 입력으로 시작됩니다. 이 토큰들은 모델이 처리할 단어나 하위 단어와 같은 개별 텍스트 단위입니다.

2. 토큰 임베딩: 텍스트 토큰은 토큰 임베딩으로 변환됩니다. 임베딩은 텍스트 내에서 토큰의 의미론적 의미와 관계를 포착하는 밀집 벡터 표현입니다. 이 변환은 모델이 수치 데이터를 처리할 수 있도록 하기 때문에 매우 중요합니다.

3. 셀프 어텐션 메커니즘: 셀프 어텐션을 통해 모델은 각 토큰을 인코딩할 때 입력 시퀀스 내의 서로 다른 토큰들의 중요도를 가중할 수 있습니다. 이 메커니즘은 시퀀스 내의 위치와 관계없이 토큰 간의 맥락과 관계를 이해하는 데 도움을 줍니다. 셀프 어텐션 메커니즘에서 입력 시퀀스의 각 토큰은 숫자 벡터로 표현됩니다. 이러한 벡터는 쿼리(queries), 키(keys), 값(values)이라는 세 가지 유형의 표현을 생성하는 데 사용됩니다.

모델은 쿼리 벡터를 키 벡터와 비교하여 각 토큰이 다른 토큰에 얼마나 많은 주의를 기울여야 하는지를 계산합니다. 이 비교의 결과로 각 토큰이 다른 토큰과 관련하여 얼마나 중요한지를 나타내는 점수가 생성됩니다.

4. 피드포워드 네트워크: 셀프 어텐션 과정 이후, 데이터는 피드포워드 네트워크를 통과합니다. 이 네트워크는 데이터에 비선형 변환을 적용하는 완전히 연결된 신경망으로, 모델이 복잡한 패턴을 인식하고 학습하도록 돕습니다.

5. 반복 계층: 셀프 어텐션 및 피드포워드 네트워크 계층은 여러 번 쌓입니다. 이러한 반복적인 적용을 통해 모델은 데이터 내에서 더욱 복잡한 종속성과 패턴을 포착할 수 있습니다.

6. 출력 텍스트 토큰: 마지막으로 처리된 데이터는 출력 텍스트 토큰을 생성하는 데 사용됩니다. 이 토큰은 입력 맥락을 기반으로 시퀀스에서 다음 단어나 하위 단어를 모델이 예측한 결과입니다.

Llama 3.1 모델 제품군 성능 및 타 모델과의 비교#

벤치마크 테스트 결과에 따르면 Llama 3.1은 최신 모델들과 대등할 뿐만 아니라 특정 작업에서 이들을 능가하며 우수한 성능을 입증했습니다.

Llama 3.1 405B: 고용량#

The Llama 3.1 model has undergone extensive evaluation across over 150 benchmark datasets, where it has been rigorously compared to other leading large language models. The Llama 3.1 405B model, recognized as the most capable in the newly released series, has been benchmarked against industry titans such as OpenAI’s GPT-4 and Claude 3.5 Sonnet. Results from these comparisons reveal that Llama 3.1 demonstrates a competitive edge, showcasing its superior performance and capabilities in various tasks.

Fig 2. 유사 모델과 Llama 3.1 405B 모델의 성능을 비교한 표.

이 모델의 인상적인 파라미터 수와 고급 아키텍처는 복잡한 이해와 텍스트 생성 작업에서 탁월한 성능을 발휘하며, 특정 벤치마크에서는 경쟁 모델을 종종 능가합니다. 이러한 평가들은 대규모 언어 모델 분야에서 새로운 표준을 설정할 수 있는 Llama 3.1의 잠재력을 강조하며, 연구자와 개발자에게 다양한 응용 분야를 위한 강력한 도구를 제공합니다.

Llama 3.1 70B: 중급#

더 작고 가벼운 Llama 모델들 또한 경쟁 모델들과 비교했을 때 놀라운 성능을 보여줍니다. Llama 3.1 70B 모델은 Mistral 8x22B 및 GPT-3.5 Turbo와 같은 더 큰 모델들과 비교하여 평가되었습니다. 예를 들어, Llama 3.1 70B 모델은 ARC Challenge 데이터셋과 같은 추론 데이터셋 및 HumanEval 데이터셋과 같은 코딩 데이터셋에서 일관되게 우수한 성능을 보입니다. 이러한 결과는 다양한 모델 크기에 걸쳐 Llama 3.1 시리즈가 가진 다재다능함과 강력함을 강조하며, 광범위한 응용 분야에서 귀중한 도구가 됩니다.

Llama 3.1 8B: 경량형#

또한 Llama 3.1 8B 모델은 Gemma 2 9B 및 Mistral 7B를 포함하여 비슷한 크기의 모델들과 벤치마크 비교를 거쳤습니다. 이러한 비교를 통해 Llama 3.1 8B 모델은 추론을 위한 GPQA 데이터셋 및 코딩을 위한 MBPP EvalPlus와 같은 다양한 장르의 벤치마크 datasets에서 경쟁사보다 우수한 성능을 발휘하며, 더 적은 파라미터 수에도 불구하고 효율성과 역량을 입증하고 있습니다.

Fig 3. 유사 모델과 Llama 3.1 70B 및 8B 모델의 성능을 비교한 표.

Llama 3.1 제품군 모델을 어떻게 활용할 수 있을까요?#

Meta는 사용자들이 새로운 모델을 다양하고 유익한 방식으로 적용할 수 있도록 했습니다:

파인튜닝#

사용자는 이제 특정 유스 케이스에 맞춰 최신 Llama 3.1 모델을 fine-tune할 수 있습니다. 이 과정은 모델이 이전에 접하지 않았던 새로운 외부 데이터를 바탕으로 모델을 training하는 것을 포함하며, 이를 통해 타겟팅된 애플리케이션에 대한 성능과 적응력을 향상시킵니다. 파인튜닝은 모델이 특정 도메인이나 tasks와 관련된 콘텐츠를 더 잘 이해하고 생성할 수 있도록 지원함으로써 모델에 상당한 우위를 제공합니다.

RAG 시스템에 통합#

Llama 3.1 모델은 이제 Retrieval-Augmented Generation (RAG) systems에 원활하게 통합될 수 있습니다. 이러한 통합을 통해 모델은 외부 데이터 소스를 동적으로 활용하여 정확하고 맥락에 맞는 응답을 제공하는 능력을 향상시킬 수 있습니다. 대규모 데이터셋에서 정보를 검색하여 생성 프로세스에 통합함으로써 Llama 3.1은 지식 집약적 작업에서 성능을 크게 향상시키고 사용자에게 보다 정확하고 정보에 기반한 출력을 제공합니다.

합성 데이터 생성#

또한 4,050억 개의 파라미터 모델을 활용하여 고품질 synthetic data를 생성함으로써 특정 유스 케이스에 맞는 특화된 모델의 성능을 향상시킬 수 있습니다. 이 접근 방식은 Llama 3.1의 광범위한 기능을 활용하여 타겟팅되고 관련성 있는 데이터를 생성함으로써 맞춤형 AI 애플리케이션의 정확도와 효율성을 향상시킵니다.

핵심 요약#

Llama 3.1 출시는 대규모 언어 모델 분야에서 중요한 도약을 의미하며, AI 기술을 발전시키려는 Meta의 의지를 보여줍니다.

상당한 파라미터 수, 다양한 데이터셋에 대한 광범위한 학습, 그리고 견고하고 안정적인 학습 과정에 초점을 맞춘 Llama 3.1은 자연어 처리 분야에서 성능과 역량에 대한 새로운 벤치마크를 설정합니다. 텍스트 생성, 요약, 복잡한 대화 작업 등 무엇에서든 Llama 3.1은 다른 선도적인 모델보다 경쟁 우위를 입증합니다. 이 모델은 오늘날 AI가 달성할 수 있는 한계를 넓힐 뿐만 아니라, 끊임없이 진화하는 인공지능 환경에서 향후 혁신을 위한 기반을 마련합니다.

Ultralytics에서는 AI 기술의 한계를 뛰어넘기 위해 최선을 다하고 있습니다. 당사의 최첨단 AI 솔루션을 탐색하고 최신 혁신 소식을 확인하려면 GitHub repository를 확인해 보세요. Discord의 활기찬 커뮤니티에 참여하여 self-driving cars 및 manufacturing과 같은 산업을 어떻게 혁신하고 있는지 확인해 보세요! 🚀