Meta의 Llama 3 알아보기

2024년 1분기 인공지능 (AI) 혁신을 정리했을 때, 다양한 조직에서 LLM(거대 언어 모델)을 경쟁적으로 출시하는 것을 확인했습니다. 이러한 흐름을 이어받아 Meta는 2024년 4월 18일, 차세대 최첨단 오픈 소스 LLM인 Llama 3를 공개했습니다.

이렇게 생각하실지도 모릅니다. '그저 또 다른 LLM일 뿐인데, 왜 AI 커뮤니티가 이렇게 열광하는 걸까?'

GPT-3나 Gemini와 같은 모델을 파인튜닝하여 맞춤형 응답을 얻을 수는 있지만, 이러한 모델들은 학습 데이터, 모델 파라미터, 알고리즘과 같은 내부 작동 방식에 대한 완전한 투명성을 제공하지 않습니다. 반면 Meta의 Llama 3는 아키텍처와 가중치를 다운로드할 수 있어 훨씬 투명합니다. AI 커뮤니티 입장에서는 실험의 자유도가 더 높다는 것을 의미합니다.

이 글에서는 Llama 3의 기능과 탄생 배경, 그리고 AI 분야에 미치는 영향에 대해 알아보겠습니다. 바로 시작해 보겠습니다!

Link to this sectionMeta Llama 모델의 진화#

Llama 3에 대해 알아보기 전에 이전 버전을 먼저 살펴보겠습니다.

Meta는 2023년 2월 Llama 1을 출시했으며, 70억 개에서 650억 개 사이의 파라미터를 가진 4가지 변형으로 제공되었습니다. 머신러닝에서 "파라미터"란 학습 데이터를 통해 모델이 학습하는 요소를 의미합니다. Llama 1은 파라미터 수가 적어 미묘한 의미를 파악하는 데 어려움을 겪거나 일관성 없는 응답을 내놓기도 했습니다.

Llama 1 출시 직후, Meta는 2023년 7월에 Llama 2를 공개했습니다. Llama 2는 2조 개의 토큰으로 학습되었습니다. 토큰이란 단어 또는 단어의 일부처럼 모델이 데이터를 처리할 때 사용하는 기본 단위인 텍스트 조각을 의미합니다. 또한 더 긴 문맥을 이해하기 위해 컨텍스트 윈도우를 4096 토큰으로 두 배 늘리고, 오류를 줄이기 위해 100만 건 이상의 인간 주석을 사용하는 등의 개선이 이루어졌습니다. 이러한 개선에도 불구하고 Llama 2는 여전히 많은 컴퓨팅 파워를 필요로 했으며, Meta는 Llama 3를 통해 이를 해결하고자 했습니다.

Link to this sectionMeta의 Llama 3 소개#

Llama 3는 무려 15조 개의 토큰으로 학습된 4가지 변형 모델로 제공됩니다. 학습 데이터의 5% 이상(약 8억 토큰)은 30개의 서로 다른 언어로 구성되었습니다. 모든 Llama 3 변형 모델은 다양한 유형의 소비자용 하드웨어에서 실행 가능하며 8k 토큰의 컨텍스트 길이를 가집니다.

그림 1. Llama 3와 Llama 2 비교.

모델 변형은 각각 80억 개와 700억 개의 파라미터를 의미하는 8B와 70B의 두 가지 크기로 제공됩니다. 또한 Base(기본) 버전과 Instruct(지시) 버전으로 나뉩니다. "Base"는 표준 사전 학습된 버전을 의미합니다. "Instruct"는 관련 데이터를 추가로 학습시켜 특정 애플리케이션이나 도메인에 최적화된 파인튜닝 버전입니다.

Llama 3 모델 변형은 다음과 같습니다:

• Meta-Llama-3-8b: 기본 8B 모델은 핵심적인 AI 기능을 제공하며, 고객 서비스 챗봇 개발과 같은 일반적인 작업에 적합합니다.
• Meta-Llama-3-8b-instruct: 8B 모델을 특정 작업에 최적화하도록 파인튜닝한 Instruct 버전입니다. 예를 들어, 복잡한 주제를 설명하는 교육용 도구를 만드는 데 사용할 수 있습니다.
• Meta-Llama-3-70b: 기본 70B 모델은 고성능 AI 애플리케이션을 위해 설계되었습니다. 이 모델은 신약 개발을 위한 방대한 생물의학 문헌 처리와 같은 애플리케이션에 매우 효과적입니다.
• Meta-Llama-3-70b-instruct: 이 버전은 70B 모델을 파인튜닝한 것으로, 법률 또는 의료 문서 분석과 같이 정확성이 매우 중요한 정밀한 애플리케이션에 적합합니다.

Link to this sectionMeta의 Llama 3 모델 아키텍처#

Meta AI의 다른 모든 발전과 마찬가지로, Llama 3를 개발하는 동안 데이터 무결성을 유지하고 편향성을 최소화하기 위해 엄격한 품질 관리 조치가 적용되었습니다. 따라서 최종 제품은 책임감 있게 생성된 강력한 모델입니다.

Llama 3 모델 아키텍처는 자연어 처리 작업에서의 효율성과 성능에 중점을 두고 있습니다. Transformer 기반 프레임워크를 기반으로 구축되었으며, 디코더 전용 아키텍처를 사용하여 특히 텍스트 생성 시 계산 효율성을 강조합니다.

이 모델은 입력을 인코딩하는 인코더 없이 이전 컨텍스트에만 기반하여 출력을 생성하므로 훨씬 빠릅니다.

그림 2. Llama 3 책임 있는 모델 아키텍처.

Llama 3 모델은 12만 8천 개의 토큰 어휘를 가진 토크나이저를 특징으로 합니다. 어휘가 많을수록 모델은 텍스트를 더 잘 이해하고 처리할 수 있습니다. 또한 추론 효율성을 높이기 위해 GQA(Grouped Query Attention) 기술을 사용합니다. GQA는 모델이 입력 데이터의 관련 부분에 집중하도록 도와 더 빠르고 정확한 응답을 생성하게 하는 스포트라이트와 같은 기술입니다.

Llama 3 모델 아키텍처에 대한 몇 가지 흥미로운 세부 정보는 다음과 같습니다:

• 경계 인식 문서 처리: Llama 3는 문서 경계 전반에 걸쳐 명확성을 유지하며, 이는 요약과 같은 작업에 매우 중요합니다.
• 향상된 코드 이해력: Llama 3의 학습 데이터에는 4배 더 많은 코드 샘플이 포함되어 있어 코딩 능력이 향상되었습니다.
• 강력한 품질 관리: 휴리스틱 필터 및 NSFW 제거를 포함한 엄격한 조치를 통해 데이터 무결성을 보장하고 편향성을 최소화합니다.

Link to this sectionLlama 3는 모델 학습 방식을 변화시키고 있습니다#

가장 큰 Llama 3 모델을 학습시키기 위해 데이터 병렬화, 모델 병렬화, 파이프라인 병렬화의 세 가지 병렬화 방식이 결합되었습니다.

데이터 병렬화는 학습 데이터를 여러 GPU에 분산시키며, 모델 병렬화는 모델 아키텍처를 파티셔닝하여 각 GPU의 계산 능력을 활용합니다. 파이프라인 병렬화는 학습 과정을 순차적인 단계로 나누어 계산과 통신을 최적화합니다.

가장 효율적인 구현의 경우 16,000개의 GPU에서 동시에 학습했을 때 GPU당 400 TFLOPS를 초과하는 놀라운 컴퓨팅 효율을 달성했습니다. 이러한 학습은 각각 24,000개의 GPU로 구성된 두 개의 맞춤형 GPU 클러스터에서 수행되었습니다. 이러한 막대한 컴퓨팅 인프라는 대규모 Llama 3 모델을 효율적으로 학습시키는 데 필요한 성능을 제공했습니다.

GPU 가동 시간을 극대화하기 위해 새로운 고급 학습 스택이 개발되어 오류 감지, 처리 및 유지 보수를 자동화했습니다. 하드웨어 안정성과 감지 메커니즘이 크게 개선되어 사일런트 데이터 손상 위험을 완화했습니다. 또한 체크포인트 및 롤백 오버헤드를 줄이기 위해 새로운 확장 가능한 저장 시스템이 개발되었습니다.

이러한 개선으로 전체 학습 시간 효율성이 95% 이상을 달성했습니다. 종합적으로 Llama 2 대비 Llama 3 학습 효율이 약 3배 증가했습니다. 이러한 효율성은 단순한 인상을 넘어 AI 학습 방식의 새로운 가능성을 열어주고 있습니다.

Link to this sectionLlama 3가 여는 새로운 문#

Llama 3는 오픈 소스이기 때문에 연구원과 학생들은 코드를 연구하고 실험을 수행하며 윤리적 문제와 편향성에 대해 토론할 수 있습니다. 하지만 Llama 3는 단순히 학계만을 위한 것이 아닙니다. 실제 애플리케이션에서도 큰 반향을 일으키고 있습니다. Facebook, Instagram, WhatsApp, Messenger와 같은 플랫폼에 원활하게 통합되어 Meta AI 채팅 인터페이스의 중추가 되고 있습니다. Meta AI를 통해 사용자들은 자연어 대화를 나누고, 맞춤형 추천을 받고, 작업을 수행하며, 다른 사람들과 쉽게 연결될 수 있습니다.

그림 3. Meta AI: Llama 3 기반.

Link to this sectionLlama 3와 다른 LLM 비교#

Llama 3는 복잡한 언어 이해 및 추론 능력을 평가하는 몇 가지 주요 벤치마크에서 매우 뛰어난 성능을 보입니다. Llama 3의 다양한 능력을 테스트하는 벤치마크는 다음과 같습니다:

• MMLU(Massive Multitask Language Understanding) - 다양한 도메인에 걸친 지식 측정.
• GPQA(General Purpose Question Answering) - 광범위한 일반 상식 질문에 대해 일관되고 정확한 답변을 생성하는 모델의 능력 평가.
• HumanEval - 코딩 및 문제 해결 작업에 초점을 맞추어 기능적인 프로그래밍 코드를 생성하고 알고리즘 문제를 해결하는 모델의 능력 테스트.

이러한 테스트에서 Llama 3가 보여준 탁월한 결과는 Google의 Gemma 7B, Mistral의 Mistral 7B, Anthropic의 Claude 3 Sonnet과 같은 경쟁 모델들과 분명한 차이를 보여줍니다. 발표된 통계에 따르면, 특히 70B 모델은 위 벤치마크 전체에서 이들 모델을 능가합니다.

그림 4. Llama 3와 다른 LLM 비교.

Link to this sectionMeta Llama 3의 폭넓은 접근성 확대#

Meta는 일반 사용자와 개발자 모두를 위해 다양한 플랫폼에서 Llama 3를 사용할 수 있도록 접근성을 확대하고 있습니다. 일반 사용자의 경우 Llama 3는 WhatsApp, Instagram, Facebook, Messenger와 같은 Meta의 인기 플랫폼에 통합되었습니다. 사용자들은 이러한 앱 내에서 실시간 검색 및 창의적인 콘텐츠 생성과 같은 고급 기능을 직접 이용할 수 있습니다.

Llama 3는 또한 상호작용 경험을 위해 Ray-Ban Meta 스마트 안경 및 Meta Quest VR 헤드셋과 같은 웨어러블 기술에도 통합되고 있습니다.

Llama 3는 AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, Snowflake를 포함한 다양한 개발자 플랫폼에서 사용할 수 있습니다. 또한 Meta를 통해 모델에 직접 액세스할 수도 있습니다. 이러한 다양한 옵션 덕분에 개발자들은 Meta와 직접 협력하든 다른 인기 플랫폼을 통해 작업하든 관계없이 고급 AI 모델 기능을 자신의 프로젝트에 쉽게 통합할 수 있습니다.

Link to this section핵심 요약#

머신러닝의 발전은 우리가 일상에서 기술과 상호작용하는 방식을 계속해서 바꾸고 있습니다. Meta의 Llama 3는 LLM이 더 이상 텍스트 생성에만 국한되지 않음을 보여줍니다. LLM은 복잡한 문제를 해결하고 여러 언어를 처리하고 있습니다. 전반적으로 Llama 3는 AI를 그 어느 때보다 더 유연하고 접근하기 쉽게 만들고 있습니다. 앞으로 계획된 Llama 3 업그레이드는 다중 모델 처리 및 더 큰 컨텍스트 이해와 같은 훨씬 더 많은 기능을 약속합니다.

AI에 대해 더 자세히 알아보려면 저희 GitHub 저장소를 확인하고 커뮤니티에 참여해 보세요. AI가 제조 및 농업 분야에 어떻게 적용되고 있는지 솔루션 페이지에서 확인해 보시기 바랍니다.