Meta의 Llama 3 알아보기

2024년 1분기의 인공지능 (AI) 혁신을 정리했을 때, 여러 조직에서 LLM, 즉 대규모 언어 모델을 연이어 출시하고 있다는 사실을 확인했습니다. 이러한 추세를 이어가며 Meta는 2024년 4월 18일 Llama 3를 출시했습니다. Llama 3는 차세대 최첨단 오픈 소스 LLM입니다.

다음과 같이 생각할 수도 있습니다. 그냥 또 하나의 LLM 아닌가요? AI 커뮤니티는 왜 이렇게 열광하는 걸까요?

GPT-3 또는 Gemini와 같은 모델을 fine-tuning하여 맞춤형 응답을 생성할 수 있지만, 이러한 모델은 학습 데이터, 모델 파라미터 또는 알고리즘과 같은 내부 작동 방식에 대해 완전한 투명성을 제공하지 않습니다. 반면 Meta의 Llama 3는 아키텍처와 가중치를 다운로드할 수 있어 더욱 투명합니다. AI 커뮤니티 입장에서는 더 자유롭게 실험할 수 있다는 의미입니다.

이 글에서는 Llama 3가 무엇을 할 수 있는지, 어떻게 탄생했는지, AI 분야에 어떤 영향을 미쳤는지 알아보겠습니다. 바로 시작하겠습니다!

Meta Llama 모델의 발전#

Llama 3를 자세히 살펴보기 전에 이전 버전부터 돌아보겠습니다.

Meta는 2023년 2월 Llama 1을 출시했으며, 70억 개에서 650억 개에 이르는 파라미터를 가진 네 가지 변형 모델로 제공되었습니다. 머신 러닝에서 "파라미터"는 학습 데이터로부터 학습되는 모델의 요소를 의미합니다. Llama 1은 파라미터 수가 더 적었기 때문에 미묘한 의미를 이해하는 데 어려움을 겪거나 일관되지 않은 응답을 제공하는 경우가 있었습니다.

Llama 1 출시 직후인 2023년 7월, Meta는 Llama 2를 출시했습니다. Llama 2는 2조 개의 토큰으로 학습되었습니다. 토큰은 단어나 단어의 일부와 같은 텍스트 조각을 나타내며, 모델이 데이터를 처리할 때 기본 단위로 사용됩니다. 또한 더 긴 문맥을 이해할 수 있도록 4096토큰의 컨텍스트 윈도우를 두 배로 늘리고, 오류를 줄이기 위해 100만 개가 넘는 인간 주석을 활용하는 등의 개선 사항을 적용했습니다. 이러한 개선에도 불구하고 Llama 2는 여전히 많은 컴퓨팅 성능을 필요로 했으며, Meta는 Llama 3에서 이 문제를 해결하고자 했습니다.

Meta Llama 3 소개#

Llama 3는 무려 15조 개의 토큰으로 학습된 네 가지 변형 모델로 제공됩니다. 학습 데이터의 5% 이상(약 8억 개의 토큰)은 30개 언어의 데이터로 구성되었습니다. 모든 Llama 3 변형 모델은 다양한 유형의 소비자용 하드웨어에서 실행할 수 있으며, 8K 토큰의 컨텍스트 길이를 지원합니다.

그림 1. Llama 3와 Llama 2 비교.

모델 변형은 각각 80억 개와 700억 개의 파라미터를 의미하는 8B와 70B의 두 가지 크기로 제공됩니다. 또한 base와 instruct의 두 가지 버전이 있습니다. "Base"는 표준 사전 학습 버전을 의미합니다. "Instruct"는 관련 데이터에 대한 추가 학습을 통해 특정 애플리케이션이나 도메인에 최적화된 fine-tuning 버전입니다.

Llama 3 모델 변형은 다음과 같습니다.

• Meta-Llama-3-8b: base 8B 모델은 기본적인 AI 기능을 제공하며, 고객 서비스 챗봇 개발과 같은 일반적인 작업에 적합합니다.
• Meta-Llama-3-8b-instruct: 8B 모델을 instruct 방식으로 fine-tuning한 버전으로, 특정 작업에 최적화되어 있습니다. 예를 들어 복잡한 주제를 설명하는 교육 도구를 만드는 데 사용할 수 있습니다.
• Meta-Llama-3-70b: base 70B 모델은 고성능 AI 애플리케이션을 위해 설계되었습니다. 이 모델은 신약 개발을 위해 방대한 생의학 문헌을 처리하는 것과 같은 애플리케이션에 적합합니다.
• Meta-Llama-3-70b-instruct: 이 버전은 70B 모델을 기반으로 고도로 정밀한 애플리케이션에 맞게 fine-tuning되었으며, 정확성이 중요한 법률 또는 의료 문서 분석 등에 사용할 수 있습니다.

Meta Llama 3 모델 아키텍처#

다른 Meta AI 발전 사례와 마찬가지로, Llama 3를 개발하는 동안 데이터 무결성을 유지하고 편향을 최소화하기 위해 엄격한 품질 관리 조치를 적용했습니다. 그 결과 책임감 있게 개발된 강력한 모델이 완성되었습니다.

Llama 3 모델 아키텍처는 자연어 처리 작업에서 효율성과 성능에 중점을 둔다는 점이 특징입니다. Transformer 기반 프레임워크를 바탕으로 하며, 디코더 전용 아키텍처를 사용해 특히 텍스트 생성 시 계산 효율성을 강조합니다.

이 모델은 입력을 인코딩하는 인코더 없이 앞선 컨텍스트만을 기반으로 출력을 생성하므로 훨씬 빠릅니다.

그림 2. Llama 3 책임감 있는 모델 아키텍처.

Llama 3 모델에는 128K 토큰의 어휘를 사용하는 토크나이저가 탑재되어 있습니다. 어휘가 더 많으면 모델이 텍스트를 더 잘 이해하고 처리할 수 있습니다. 또한 모델은 이제 추론 효율성을 개선하기 위해 그룹화 쿼리 어텐션 (GQA)을 사용합니다. GQA는 모델이 입력 데이터의 관련 부분에 집중하여 더 빠르고 정확한 응답을 생성하도록 돕는 스포트라이트와 같은 기법으로 생각할 수 있습니다.

Llama 3 모델 아키텍처에 관한 몇 가지 흥미로운 세부 사항은 다음과 같습니다.

• 경계 인식 문서 처리: Llama 3는 문서 경계를 넘어 명확성을 유지하며, 이는 요약과 같은 작업에 중요합니다.
• 향상된 코드 이해: Llama 3의 학습 데이터에는 네 배 더 많은 코드 샘플이 포함되어 코딩 능력이 향상되었습니다.
• 강력한 품질 관리: 휴리스틱 필터와 NSFW 제거를 포함한 엄격한 조치를 통해 데이터 무결성을 보장하고 편향을 최소화합니다.

Llama 3가 모델 학습 방식을 혁신하고 있습니다#

가장 큰 Llama 3 모델을 학습하기 위해 데이터 병렬화, 모델 병렬화, 파이프라인 병렬화라는 세 가지 병렬화 방식을 결합했습니다.

데이터 병렬화는 여러 GPU에 학습 데이터를 분할하고, 모델 병렬화는 각 GPU의 컴퓨팅 성능을 활용하도록 모델 아키텍처를 분할합니다. 파이프라인 병렬화는 학습 프로세스를 순차적인 단계로 나누어 계산과 통신을 최적화합니다.

가장 효율적인 구현에서는 16,000개의 GPU에서 동시에 학습할 때 GPU당 400 TFLOPS를 초과하는 뛰어난 컴퓨팅 활용률을 달성했습니다. 이러한 학습은 각각 24,000개의 GPU로 구성된 두 개의 맞춤형 GPU 클러스터에서 수행되었습니다. 이처럼 대규모 컴퓨팅 인프라는 대규모 Llama 3 모델을 효율적으로 학습하는 데 필요한 성능을 제공했습니다.

GPU 가동 시간을 극대화하기 위해 오류 감지, 처리 및 유지보수를 자동화하는 새로운 고급 학습 스택을 개발했습니다. 하드웨어 안정성과 감지 메커니즘을 크게 개선하여 감지되지 않는 데이터 손상 위험을 완화했습니다. 또한 체크포인트 생성과 롤백 오버헤드를 줄이기 위해 새로운 확장 가능한 스토리지 시스템을 개발했습니다.

이러한 개선을 통해 전체 학습 시간 효율성이 95%를 초과했습니다. 이를 종합하면 Llama 3 학습 효율성이 Llama 2와 비교해 약 세 배 향상되었습니다. 이러한 효율성은 단순히 인상적인 수준에 그치지 않고 AI 학습 방법에 새로운 가능성을 열고 있습니다.

Llama 3로 새로운 가능성 열기#

Llama 3는 오픈 소스이므로 연구자와 학생들은 코드를 연구하고, 실험을 수행하며, 윤리적 문제와 편향에 대해 논의할 수 있습니다. 그러나 Llama 3는 학계만을 위한 것이 아닙니다. 실용적인 애플리케이션에서도 큰 반향을 일으키고 있습니다. Llama 3는 Meta AI 채팅 인터페이스의 핵심으로 자리 잡으며 Facebook, Instagram, WhatsApp, Messenger와 같은 플랫폼에 원활하게 통합되고 있습니다. Meta AI를 통해 사용자는 자연어로 대화하고, 개인화된 추천을 받고, 작업을 수행하며, 다른 사람들과 쉽게 소통할 수 있습니다.

그림 3. Meta AI: Llama 3로 구동.

Llama 3와 다른 LLM 비교#

Llama 3는 복잡한 언어 이해 및 추론 능력을 평가하는 여러 주요 벤치마크에서 탁월한 성능을 발휘합니다. 다음은 Llama 3의 다양한 역량을 테스트하는 몇 가지 벤치마크입니다.

• 대규모 멀티태스크 언어 이해 (MMLU) - 다양한 도메인에 걸친 지식을 측정합니다.
• 범용 질문 답변 (GPQA) - 광범위한 일반 지식 질문에 대해 일관되고 정확한 답변을 생성하는 모델의 능력을 평가합니다.
• HumanEval - 코딩 및 문제 해결 작업에 중점을 두고, 기능적인 프로그래밍 코드를 생성하고 알고리즘 과제를 해결하는 모델의 능력을 테스트합니다.

이러한 테스트에서 Llama 3가 거둔 뛰어난 결과는 Google의 Gemma 7B, Mistral의 Mistral 7B, Anthropic의 Claude 3 Sonnet과 같은 경쟁 모델과 Llama 3를 분명히 차별화합니다. 공개된 통계에 따르면 특히 70B 모델은 위의 모든 벤치마크에서 이러한 모델보다 우수한 성능을 보였습니다.

그림 4. Llama 3와 다른 LLM 비교.

Meta Llama 3를 폭넓게 이용할 수 있게 되었습니다#

Meta는 일반 사용자와 개발자 모두가 다양한 플랫폼에서 Llama 3를 이용할 수 있도록 제공 범위를 확대하고 있습니다. 일반 사용자의 경우 Llama 3는 WhatsApp, Instagram, Facebook, Messenger와 같은 Meta의 인기 플랫폼에 통합되어 있습니다. 사용자는 이러한 앱에서 직접 실시간 검색과 창의적인 콘텐츠 생성 등의 고급 기능을 이용할 수 있습니다.

Llama 3는 대화형 경험을 제공하기 위해 Ray-Ban Meta 스마트 안경과 Meta Quest VR 헤드셋과 같은 웨어러블 기술에도 통합되고 있습니다.

Llama 3는 AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, Snowflake를 비롯한 다양한 개발자용 플랫폼에서 사용할 수 있습니다. Meta에서 직접 이러한 모델에 액세스할 수도 있습니다. 이처럼 선택지가 다양하므로 개발자는 Meta와 직접 연동하거나 다른 인기 플랫폼을 통해 작업하는 등 원하는 방식으로 고급 AI 모델 기능을 프로젝트에 쉽게 통합할 수 있습니다.

핵심 내용#

머신 러닝의 발전은 우리가 매일 기술과 상호작용하는 방식을 계속해서 변화시키고 있습니다. Meta의 Llama 3는 LLM이 더 이상 단순히 텍스트를 생성하는 데 그치지 않는다는 점을 보여줍니다. LLM은 복잡한 문제를 해결하고 여러 언어를 처리하고 있습니다. 전반적으로 Llama 3는 AI를 그 어느 때보다 유연하고 쉽게 이용할 수 있도록 만들고 있습니다. 앞으로 예정된 Llama 3 업그레이드를 통해 여러 모델을 처리하고 더 큰 컨텍스트를 이해하는 등 더욱 다양한 기능이 제공될 예정입니다.

AI에 대해 더 알아보려면 GitHub 저장소를 확인하고 커뮤니티에 참여해 보세요. 제조 및 농업과 같은 분야에 AI가 어떻게 적용되는지 알아보려면 솔루션 페이지를 방문하세요.