Tìm hiểu về Llama 3 của Meta

Khi chúng tôi tổng hợp các đổi mới trí tuệ nhân tạo (AI) của quý đầu tiên năm 2024, chúng tôi thấy rằng LLM, hay các mô hình ngôn ngữ lớn, đang được các tổ chức khác nhau phát hành ồ ạt. Tiếp tục xu hướng này, vào ngày 18 tháng 4 năm 2024, Meta đã phát hành Llama 3, một LLM mã nguồn mở hiện đại thế hệ tiếp theo. 

Bạn có thể đang nghĩ: Nó chỉ là một LLM khác. Tại sao cộng đồng AI lại phấn khích đến vậy? 

Mặc dù bạn có thể tinh chỉnh các mô hình như GPT-3 hoặc Gemini để có các phản hồi tùy chỉnh, nhưng chúng không cung cấp đầy đủ tính minh bạch về hoạt động bên trong của chúng, chẳng hạn như dữ liệu huấn luyện, các tham số mô hình hoặc thuật toán của chúng. Ngược lại, Llama 3 của Meta minh bạch hơn, với kiến trúc và trọng số của nó có sẵn để tải xuống. Đối với cộng đồng AI, điều này có nghĩa là tự do thử nghiệm lớn hơn.

Trong bài viết này, chúng ta sẽ tìm hiểu những gì Llama 3 có thể làm, quá trình hình thành và tác động của nó đối với lĩnh vực AI. Hãy bắt đầu ngay!

Sự phát triển của các mô hình Llama của Meta

Trước khi đi sâu vào Llama 3, hãy nhìn lại các phiên bản trước của nó.

Meta đã ra mắt Llama 1 vào tháng 2 năm 2023, với bốn biến thể có số lượng tham số từ 7 tỷ đến 64 tỷ. Trong học máy, "tham số" đề cập đến các yếu tố của mô hình được học từ dữ liệu huấn luyện. Do số lượng tham số nhỏ hơn, Llama 1 đôi khi gặp khó khăn với sự hiểu biết sắc thái và đưa ra các phản hồi không nhất quán.

Không lâu sau Llama 1, Meta đã ra mắt Llama 2 vào tháng 7 năm 2023. Nó được huấn luyện trên 2 nghìn tỷ token. Một token đại diện cho một đoạn văn bản, như một từ hoặc một phần của từ, được sử dụng làm đơn vị dữ liệu cơ bản để xử lý trong mô hình. Mô hình này cũng có các cải tiến như cửa sổ ngữ cảnh tăng gấp đôi lên 4096 token để hiểu các đoạn văn dài hơn và hơn 1 triệu chú thích của con người để giảm lỗi. Mặc dù có những cải tiến này, Llama 2 vẫn cần rất nhiều sức mạnh tính toán, điều mà Meta hướng tới việc khắc phục với Llama 3.

Giới thiệu Llama 3 của Meta

Llama 3 đi kèm với bốn biến thể được huấn luyện trên 15 nghìn tỷ token đáng kinh ngạc. Hơn 5% dữ liệu huấn luyện đó (khoảng 800 triệu token) đại diện cho dữ liệu bằng 30 ngôn ngữ khác nhau. Tất cả các biến thể Llama 3 đều có thể chạy trên nhiều loại phần cứng tiêu dùng và có độ dài ngữ cảnh là 8k token. 

Các biến thể của mô hình có hai kích thước: 8B và 70B, tương ứng với 8 tỷ và 70 tỷ tham số. Ngoài ra, còn có hai phiên bản, base và instruct. "Base" là phiên bản tiền huấn luyện tiêu chuẩn. "Instruct" là phiên bản tinh chỉnh được tối ưu hóa cho các ứng dụng hoặc lĩnh vực cụ thể thông qua quá trình huấn luyện bổ sung trên dữ liệu liên quan.

Đây là các biến thể mô hình Llama 3:

• Meta-Llama-3-8b: Mô hình 8B cơ bản cung cấp các khả năng AI cơ bản và lý tưởng cho các tác vụ chung như phát triển chatbot dịch vụ khách hàng.
  ‍
• Meta-Llama-3-8b-instruct: Một phiên bản đã được tinh chỉnh hướng dẫn của mô hình 8B được tối ưu hóa cho các tác vụ cụ thể. Ví dụ: nó có thể được sử dụng để tạo ra các công cụ giáo dục giải thích các môn học phức tạp.
  ‍
• Meta-Llama-3-70b: Mô hình 70B cơ bản được thiết kế cho các ứng dụng AI hiệu suất cao. Mô hình này sẽ hoạt động tốt cho các ứng dụng như xử lý tài liệu y sinh học mở rộng để khám phá thuốc.
  ‍
• Meta-Llama-3-70b-instruct: Phiên bản này được tinh chỉnh từ mô hình 70B cho các ứng dụng có độ chính xác cao, chẳng hạn như phân tích các tài liệu pháp lý hoặc y tế, nơi độ chính xác là rất quan trọng.

Kiến trúc mô hình Llama 3 của Meta

Giống như bất kỳ tiến bộ nào khác của Meta AI, các biện pháp kiểm soát chất lượng nghiêm ngặt đã được áp dụng để duy trì tính toàn vẹn của dữ liệu và giảm thiểu sai lệch trong khi phát triển Llama 3. Vì vậy, sản phẩm cuối cùng là một mô hình mạnh mẽ được tạo ra một cách có trách nhiệm. 

Kiến trúc mô hình Llama 3 nổi bật nhờ tập trung vào hiệu quả và hiệu suất trong các tác vụ xử lý ngôn ngữ tự nhiên. Được xây dựng dựa trên khung Transformer, nó nhấn mạnh hiệu quả tính toán, đặc biệt là trong quá trình tạo văn bản, bằng cách sử dụng kiến trúc chỉ có bộ giải mã. 

Mô hình tạo ra các đầu ra chỉ dựa trên ngữ cảnh trước đó mà không cần bộ mã hóa để mã hóa các đầu vào, giúp nó nhanh hơn nhiều.

Các mô hình Llama 3 có bộ mã hóa (tokenizer) với từ vựng gồm 128 nghìn mã thông báo (tokens). Từ vựng lớn hơn có nghĩa là các mô hình có thể hiểu và xử lý văn bản tốt hơn. Ngoài ra, các mô hình hiện sử dụng cơ chế grouped query attention (GQA) để cải thiện hiệu quả suy luận. GQA là một kỹ thuật mà bạn có thể coi như một đèn chiếu tập trung giúp các mô hình tập trung vào các phần liên quan của dữ liệu đầu vào để tạo ra các phản hồi nhanh hơn và chính xác hơn.

Dưới đây là một vài chi tiết thú vị hơn về kiến trúc mô hình của Llama 3:

• Xử lý Tài liệu Nhận biết Ranh giới: Llama 3 duy trì sự rõ ràng trên các ranh giới tài liệu, điều này rất quan trọng đối với các tác vụ như tóm tắt.
  ‍
• Hiểu Mã Lệnh Tốt Hơn: Dữ liệu huấn luyện của Llama 3 bao gồm số lượng mẫu mã lệnh nhiều gấp bốn lần, giúp tăng cường khả năng viết mã.
  ‍
• Kiểm soát chất lượng mạnh mẽ: Các biện pháp nghiêm ngặt, bao gồm bộ lọc heuristic và loại bỏ nội dung NSFW, đảm bảo tính toàn vẹn của dữ liệu và giảm thiểu sai lệch.

Llama 3 đang thay đổi cách chúng ta tiếp cận việc huấn luyện mô hình

Để huấn luyện các mô hình Llama 3 lớn nhất, ba loại song song hóa đã được kết hợp: song song hóa dữ liệu, song song hóa mô hình và song song hóa pipeline. 

Song song hóa dữ liệu chia dữ liệu huấn luyện trên nhiều GPU, trong khi song song hóa mô hình phân vùng kiến trúc mô hình để sử dụng sức mạnh tính toán của mỗi GPU. Song song hóa pipeline chia quá trình huấn luyện thành các giai đoạn tuần tự, tối ưu hóa tính toán và giao tiếp.

Việc triển khai hiệu quả nhất đã đạt được mức sử dụng tính toán đáng kể, vượt quá 400 TFLOPS trên mỗi GPU khi được huấn luyện trên 16.000 GPU đồng thời. Các lần huấn luyện này được thực hiện trên hai cụm GPU được xây dựng tùy chỉnh, mỗi cụm bao gồm 24.000 GPU. Cơ sở hạ tầng tính toán đáng kể này đã cung cấp sức mạnh cần thiết để huấn luyện các mô hình Llama 3 quy mô lớn một cách hiệu quả.

Để tối đa hóa thời gian hoạt động của GPU, một ngăn xếp huấn luyện mới tiên tiến đã được phát triển, tự động hóa việc phát hiện lỗi, xử lý và bảo trì. Độ tin cậy của phần cứng và các cơ chế phát hiện đã được cải thiện đáng kể để giảm thiểu rủi ro hỏng dữ liệu âm thầm. Ngoài ra, các hệ thống lưu trữ có khả năng mở rộng mới đã được phát triển để giảm chi phí kiểm tra và khôi phục. 

Những cải tiến này dẫn đến thời gian đào tạo tổng thể hiệu quả hơn 95%. Kết hợp lại, chúng đã tăng hiệu quả đào tạo Llama 3 lên khoảng ba lần so với Llama 2. Hiệu quả này không chỉ gây ấn tượng; nó đang mở ra những khả năng mới cho các phương pháp đào tạo AI. 

Mở ra những cơ hội với Llama 3

Vì Llama 3 là mã nguồn mở, các nhà nghiên cứu và sinh viên có thể nghiên cứu mã của nó, tiến hành các thử nghiệm và tham gia vào các cuộc thảo luận về các mối lo ngại và thành kiến về mặt đạo đức. Tuy nhiên, Llama 3 không chỉ dành cho giới học thuật. Nó đang tạo ra làn sóng trong các ứng dụng thực tế. Nó đang trở thành xương sống của Giao diện Meta AI Chat, tích hợp liền mạch vào các nền tảng như Facebook, Instagram, WhatsApp và Messenger. Với Meta AI, người dùng có thể tham gia vào các cuộc trò chuyện bằng ngôn ngữ tự nhiên, truy cập các đề xuất được cá nhân hóa, thực hiện các tác vụ và kết nối với những người khác một cách dễ dàng.

So sánh Llama 3 với các LLM khác

Llama 3 hoạt động đặc biệt tốt trên một số chuẩn quan trọng đánh giá khả năng lý luận và hiểu ngôn ngữ phức tạp. Dưới đây là một số chuẩn kiểm tra các khía cạnh khác nhau về khả năng của Llama 3:

• Massive Multitask Language Understanding (MMLU) - Đo lường kiến thức của nó trên nhiều lĩnh vực. 
  ‍
• General Purpose Question Answering (GPQA) (Trả lời câu hỏi mục đích chung) - Đánh giá khả năng của mô hình trong việc tạo ra các câu trả lời mạch lạc và chính xác cho một loạt các câu hỏi kiến thức tổng quát.
  ‍
• HumanEval - Tập trung vào các nhiệm vụ lập trình và giải quyết vấn đề, kiểm tra khả năng tạo mã lập trình chức năng và giải quyết các thách thức thuật toán của mô hình.

Kết quả vượt trội của Llama 3 trong các thử nghiệm này cho thấy sự khác biệt rõ ràng so với các đối thủ cạnh tranh như Gemma 7B của Google, Mistral 7B của Mistral và Claude 3 Sonnet của Anthropic. Theo thống kê đã công bố, đặc biệt là mô hình 70B, Llama 3 vượt trội hơn các mô hình này trong tất cả các chuẩn trên.

Meta Llama 3 đang được phổ biến rộng rãi

Meta đang mở rộng phạm vi tiếp cận của Llama 3 bằng cách cung cấp nó trên nhiều nền tảng khác nhau cho cả người dùng phổ thông và nhà phát triển. Đối với người dùng hàng ngày, Llama 3 được tích hợp vào các nền tảng phổ biến của Meta như WhatsApp, Instagram, Facebook và Messenger. Người dùng có thể truy cập các tính năng nâng cao như tìm kiếm theo thời gian thực và khả năng tạo nội dung sáng tạo trực tiếp trong các ứng dụng này. 

Llama 3 cũng đang được tích hợp vào các công nghệ đeo được như kính thông minh Ray-Ban Meta và kính VR Meta Quest để mang lại trải nghiệm tương tác.

Llama 3 có sẵn trên nhiều nền tảng khác nhau cho các nhà phát triển, bao gồm AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM và Snowflake. Bạn cũng có thể truy cập trực tiếp các mô hình này từ Meta. Phạm vi tùy chọn rộng rãi giúp các nhà phát triển dễ dàng tích hợp các khả năng mô hình AI tiên tiến này vào các dự án của họ, cho dù họ thích làm việc trực tiếp với Meta hay thông qua các nền tảng phổ biến khác.

Kết luận

Những tiến bộ trong học máy tiếp tục thay đổi cách chúng ta tương tác với công nghệ mỗi ngày. Llama 3 của Meta cho thấy rằng LLM không chỉ là tạo văn bản nữa. LLM đang giải quyết các vấn đề phức tạp và xử lý nhiều ngôn ngữ. Nhìn chung, Llama 3 đang làm cho AI trở nên dễ thích ứng và dễ tiếp cận hơn bao giờ hết. Trong tương lai, các nâng cấp dự kiến cho Llama 3 hứa hẹn nhiều khả năng hơn nữa, như xử lý nhiều mô hình và hiểu các ngữ cảnh lớn hơn. 

Xem kho lưu trữ GitHub của chúng tôi và tham gia cộng đồng của chúng tôi để tìm hiểu thêm về AI. Truy cập các trang giải pháp của chúng tôi để xem cách AI đang được ứng dụng trong các lĩnh vực như sản xuất và nông nghiệp.