Tìm hiểu về Llama 3 của Meta

Khi chúng tôi tổng kết các đổi mới trong lĩnh vực trí tuệ nhân tạo (AI) trong quý đầu tiên của năm 2024, chúng tôi nhận thấy các LLM, hay các mô hình ngôn ngữ lớn, đang được các tổ chức khác nhau liên tục phát hành. Tiếp nối xu hướng này, vào ngày 18 tháng 4 năm 2024, Meta đã phát hành Llama 3, một LLM nguồn mở thế hệ mới với hiệu năng dẫn đầu.

Bạn có thể đang nghĩ: Nó chỉ là một LLM khác thôi mà. Tại sao cộng đồng AI lại hào hứng với nó đến vậy?

Mặc dù bạn có thể fine-tune các mô hình như GPT-3 hoặc Gemini để nhận phản hồi tùy chỉnh, chúng không mang lại sự minh bạch hoàn toàn về hoạt động nội bộ, chẳng hạn như dữ liệu huấn luyện, tham số mô hình hoặc thuật toán. Ngược lại, Llama 3 của Meta minh bạch hơn, với cấu trúc và trọng số (weights) đều có sẵn để tải về. Đối với cộng đồng AI, điều này đồng nghĩa với việc có sự tự do hơn để thử nghiệm.

Trong bài viết này, chúng ta sẽ tìm hiểu xem Llama 3 có thể làm gì, nguồn gốc của nó và tác động của nó đến lĩnh vực AI. Hãy bắt đầu ngay thôi!

Link to this sectionSự phát triển của các mô hình Llama từ Meta#

Trước khi đi sâu vào Llama 3, hãy nhìn lại các phiên bản trước đó của nó.

Meta ra mắt Llama 1 vào tháng 2 năm 2023, bao gồm bốn biến thể với số lượng tham số dao động từ 7 tỷ đến 65 tỷ. Trong machine learning, "tham số" đề cập đến các yếu tố của mô hình được học từ dữ liệu huấn luyện. Do số lượng tham số ít hơn, Llama 1 đôi khi gặp khó khăn trong việc hiểu các sắc thái và đưa ra phản hồi không nhất quán.

Ngay sau Llama 1, Meta đã ra mắt Llama 2 vào tháng 7 năm 2023. Nó được huấn luyện trên 2 nghìn tỷ token. Một token đại diện cho một phần văn bản, giống như một từ hoặc một phần của từ, được sử dụng làm đơn vị dữ liệu cơ bản để xử lý trong mô hình. Mô hình này cũng có những cải tiến như cửa sổ ngữ cảnh được tăng gấp đôi lên 4096 token để hiểu các đoạn văn dài hơn và hơn 1 triệu chú giải của con người để giảm thiểu sai sót. Bất chấp những cải tiến này, Llama 2 vẫn cần rất nhiều tài nguyên tính toán, điều mà Meta hướng tới việc khắc phục với Llama 3.

Link to this sectionGiới thiệu Llama 3 của Meta#

Llama 3 đi kèm với bốn biến thể được huấn luyện trên con số khổng lồ 15 nghìn tỷ token. Hơn 5% dữ liệu huấn luyện đó (khoảng 800 triệu token) đại diện cho dữ liệu bằng 30 ngôn ngữ khác nhau. Tất cả các biến thể Llama 3 đều có thể chạy trên nhiều loại phần cứng phổ thông và có độ dài ngữ cảnh là 8k token.

Hình 1. So sánh Llama 3 và Llama 2.

Các biến thể mô hình có hai kích thước: 8B và 70B, tương ứng với 8 tỷ và 70 tỷ tham số. Ngoài ra còn có hai phiên bản là base và instruct. "Base" đề cập đến phiên bản pre-trained tiêu chuẩn. "Instruct" là phiên bản đã được fine-tune, tối ưu hóa cho các ứng dụng hoặc lĩnh vực cụ thể thông qua việc huấn luyện bổ sung trên dữ liệu liên quan.

Đây là các biến thể mô hình Llama 3:

• Meta-Llama-3-8b: Mô hình base 8B cung cấp các khả năng AI cơ bản và lý tưởng cho các tác vụ tổng quát như phát triển chatbot chăm sóc khách hàng.
• Meta-Llama-3-8b-instruct: Một phiên bản instruct đã được fine-tune từ mô hình 8B, được tối ưu hóa cho các tác vụ cụ thể. Ví dụ, nó có thể được sử dụng để tạo các công cụ giáo dục giải thích các chủ đề phức tạp.
• Meta-Llama-3-70b: Mô hình base 70B được thiết kế cho các ứng dụng AI hiệu năng cao. Mô hình này sẽ hoạt động hiệu quả cho các ứng dụng như xử lý tài liệu y sinh mở rộng cho mục đích khám phá thuốc.
• Meta-Llama-3-70b-instruct: Phiên bản này được fine-tune từ mô hình 70B cho các ứng dụng đòi hỏi độ chính xác cao, chẳng hạn như phân tích tài liệu pháp lý hoặc y tế, nơi độ chính xác là yếu tố then chốt.

Link to this sectionKiến trúc mô hình Llama 3 của Meta#

Như với bất kỳ tiến bộ AI nào khác của Meta, các biện pháp kiểm soát chất lượng nghiêm ngặt đã được áp dụng để duy trì tính toàn vẹn của dữ liệu và giảm thiểu các thiên kiến trong quá trình phát triển Llama 3. Vì vậy, sản phẩm cuối cùng là một mô hình mạnh mẽ được tạo ra một cách có trách nhiệm.

Kiến trúc mô hình Llama 3 nổi bật nhờ sự tập trung vào hiệu suất và tính hiệu quả trong các tác vụ xử lý ngôn ngữ tự nhiên. Được xây dựng dựa trên framework Transformer, nó nhấn mạnh vào hiệu quả tính toán, đặc biệt là trong quá trình tạo văn bản, bằng cách sử dụng kiến trúc chỉ gồm bộ giải mã (decoder-only).

Mô hình tạo đầu ra chỉ dựa trên ngữ cảnh trước đó mà không cần bộ mã hóa (encoder) để mã hóa đầu vào, giúp nó nhanh hơn nhiều.

Hình 2. Kiến trúc mô hình có trách nhiệm của Llama 3.

Các mô hình Llama 3 có tokenizer với từ vựng gồm 128K token. Từ vựng lớn hơn có nghĩa là các mô hình có thể hiểu và xử lý văn bản tốt hơn. Ngoài ra, các mô hình hiện sử dụng kỹ thuật grouped query attention (GQA) để cải thiện hiệu quả suy luận. GQA là một kỹ thuật mà bạn có thể coi như một chiếc đèn sân khấu giúp các mô hình tập trung vào các phần liên quan của dữ liệu đầu vào để tạo ra phản hồi nhanh hơn và chính xác hơn.

Dưới đây là một vài chi tiết thú vị hơn về kiến trúc mô hình của Llama 3:

• Xử lý tài liệu nhận biết ranh giới: Llama 3 duy trì sự rõ ràng qua các ranh giới tài liệu, điều này rất quan trọng cho các tác vụ như tóm tắt.
• Hiểu code tốt hơn: Dữ liệu huấn luyện của Llama 3 bao gồm lượng mẫu code nhiều gấp bốn lần, giúp tăng cường khả năng lập trình của nó.
• Kiểm soát chất lượng mạnh mẽ: Các biện pháp nghiêm ngặt, bao gồm bộ lọc heuristic và loại bỏ nội dung NSFW, đảm bảo tính toàn vẹn của dữ liệu và giảm thiểu các thiên kiến.

Link to this sectionLlama 3 đang thay đổi cách chúng ta tiếp cận việc huấn luyện mô hình#

Để huấn luyện các mô hình Llama 3 lớn nhất, ba loại song song hóa đã được kết hợp: song song hóa dữ liệu (data parallelization), song song hóa mô hình (model parallelization) và song song hóa đường ống (pipeline parallelization).

Song song hóa dữ liệu chia dữ liệu huấn luyện trên nhiều GPU, trong khi song song hóa mô hình phân chia kiến trúc mô hình để sử dụng sức mạnh tính toán của từng GPU. Song song hóa đường ống chia quy trình huấn luyện thành các giai đoạn tuần tự, tối ưu hóa tính toán và giao tiếp.

Việc triển khai hiệu quả nhất đã đạt được hiệu suất sử dụng tính toán đáng kinh ngạc, vượt quá 400 TFLOPS mỗi GPU khi huấn luyện trên 16.000 GPU đồng thời. Các đợt huấn luyện này được thực hiện trên hai cụm GPU tùy chỉnh, mỗi cụm gồm 24.000 GPU. Cơ sở hạ tầng tính toán đáng kể này đã cung cấp sức mạnh cần thiết để huấn luyện các mô hình Llama 3 quy mô lớn một cách hiệu quả.

Để tối đa hóa thời gian hoạt động của GPU, một bộ công cụ huấn luyện tiên tiến mới đã được phát triển, tự động hóa việc phát hiện, xử lý lỗi và bảo trì. Độ tin cậy của phần cứng và các cơ chế phát hiện đã được cải thiện đáng kể để giảm thiểu rủi ro hỏng hóc dữ liệu âm thầm. Ngoài ra, các hệ thống lưu trữ có khả năng mở rộng mới đã được phát triển để giảm chi phí kiểm tra và rollback.

Những cải tiến này dẫn đến hiệu quả thời gian huấn luyện tổng thể đạt hơn 95%. Kết hợp lại, chúng đã tăng hiệu quả huấn luyện của Llama 3 lên khoảng ba lần so với Llama 2. Hiệu quả này không chỉ ấn tượng mà còn mở ra những khả năng mới cho các phương pháp huấn luyện AI.

Link to this sectionMở ra những cánh cửa mới với Llama 3#

Vì Llama 3 là nguồn mở, các nhà nghiên cứu và sinh viên có thể nghiên cứu mã nguồn, tiến hành thử nghiệm và tham gia thảo luận về các vấn đề đạo đức và thiên kiến. Tuy nhiên, Llama 3 không chỉ dành cho giới học thuật. Nó cũng đang tạo ra làn sóng trong các ứng dụng thực tế. Nó đang trở thành nền tảng của Giao diện Chat Meta AI, tích hợp liền mạch vào các nền tảng như Facebook, Instagram, WhatsApp và Messenger. Với Meta AI, người dùng có thể tham gia vào các cuộc trò chuyện bằng ngôn ngữ tự nhiên, tiếp cận các đề xuất cá nhân hóa, thực hiện các tác vụ và kết nối với những người khác một cách dễ dàng.

Hình 3. Meta AI: Được vận hành bởi Llama 3.

Link to this sectionSo sánh Llama 3 với các LLM khác#

Llama 3 hoạt động đặc biệt tốt trên một số tiêu chuẩn chính đánh giá khả năng hiểu ngôn ngữ phức tạp và khả năng lập luận. Dưới đây là một số tiêu chuẩn kiểm tra các khía cạnh khác nhau trong khả năng của Llama 3:

• Massive Multitask Language Understanding (MMLU) - Đo lường kiến thức của nó trên nhiều lĩnh vực khác nhau.
• General Purpose Question Answering (GPQA) - Đánh giá khả năng của mô hình trong việc tạo ra các câu trả lời mạch lạc và chính xác cho nhiều câu hỏi kiến thức chung.
• HumanEval - Tập trung vào các tác vụ lập trình và giải quyết vấn đề, kiểm tra khả năng tạo mã lập trình chức năng và giải quyết các thách thức thuật toán của mô hình.

Kết quả vượt trội của Llama 3 trong các bài kiểm tra này cho thấy sự khác biệt rõ rệt so với các đối thủ cạnh tranh như Gemma 7B của Google, Mistral 7B của Mistral và Claude 3 Sonnet của Anthropic. Theo các số liệu thống kê được công bố, đặc biệt là với mô hình 70B, Llama 3 vượt trội hơn các mô hình này trong tất cả các tiêu chuẩn trên.

Hình 4. So sánh Llama 3 với các LLM khác.

Link to this sectionMeta Llama 3 đang được phổ biến rộng rãi#

Meta đang mở rộng phạm vi tiếp cận của Llama 3 bằng cách cung cấp nó trên nhiều nền tảng cho cả người dùng phổ thông và nhà phát triển. Đối với người dùng hàng ngày, Llama 3 được tích hợp vào các nền tảng phổ biến của Meta như WhatsApp, Instagram, Facebook và Messenger. Người dùng có thể truy cập các tính năng nâng cao như tìm kiếm theo thời gian thực và khả năng tạo nội dung sáng tạo ngay trong các ứng dụng này.

Llama 3 cũng đang được tích hợp vào các công nghệ đeo tay như kính thông minh Ray-Ban Meta và kính thực tế ảo Meta Quest để mang lại trải nghiệm tương tác.

Llama 3 có sẵn trên nhiều nền tảng dành cho nhà phát triển, bao gồm AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM và Snowflake. Bạn cũng có thể truy cập trực tiếp các mô hình này từ Meta. Phạm vi lựa chọn rộng rãi giúp các nhà phát triển dễ dàng tích hợp các khả năng của mô hình AI tiên tiến này vào dự án của họ, dù họ muốn làm việc trực tiếp với Meta hay thông qua các nền tảng phổ biến khác.

Link to this sectionKết luận#

Những tiến bộ trong machine learning tiếp tục thay đổi cách chúng ta tương tác với công nghệ hàng ngày. Llama 3 của Meta cho thấy các LLM không chỉ dừng lại ở việc tạo văn bản. Các LLM đang giải quyết các vấn đề phức tạp và xử lý đa ngôn ngữ. Nhìn chung, Llama 3 đang làm cho AI trở nên dễ thích nghi và dễ tiếp cận hơn bao giờ hết. Nhìn về phía trước, các bản nâng cấp được lên kế hoạch cho Llama 3 hứa hẹn sẽ mang lại nhiều khả năng hơn nữa, như xử lý nhiều mô hình và hiểu được ngữ cảnh lớn hơn.

Hãy xem GitHub repository của chúng tôi và tham gia cộng đồng của chúng tôi để tìm hiểu thêm về AI. Truy cập các trang giải pháp của chúng tôi để xem cách AI đang được áp dụng trong các lĩnh vực như sản xuất và nông nghiệp.