Conociendo Llama 3 de Meta

Cuando recopilamos las innovaciones de inteligencia artificial (AI) del primer trimestre de 2024, vimos que distintas organizaciones estaban lanzando LLMs, o modelos de lenguaje de gran tamaño, continuamente. Siguiendo esta tendencia, el 18 de abril de 2024, Meta lanzó Llama 3, un LLM de código abierto de última generación.

Puede que estés pensando: Es solo otro LLM. ¿Por qué entusiasma tanto a la comunidad de AI?

Aunque puedes ajustar modelos como GPT-3 o Gemini para obtener respuestas personalizadas, no ofrecen una transparencia total sobre su funcionamiento interno, como los datos de entrenamiento, los parámetros del modelo o los algoritmos. En cambio, Llama 3 de Meta es más transparente, ya que su arquitectura y sus pesos están disponibles para su descarga. Para la comunidad de AI, esto significa mayor libertad para experimentar.

En este artículo, veremos qué puede hacer Llama 3, cómo surgió y cuál es su impacto en el campo de la AI. ¡Vamos al grano!

La evolución de los modelos Llama de Meta#

Antes de profundizar en Llama 3, echemos un vistazo a sus versiones anteriores.

Meta lanzó Llama 1 en febrero de 2023, con cuatro variantes cuyos parámetros iban de 7.000 a 65.000 millones. En aprendizaje automático, los «parámetros» son los elementos del modelo que se aprenden a partir de los datos de entrenamiento. Debido a su menor número de parámetros, Llama 1 a veces tenía dificultades para comprender los matices y ofrecía respuestas incoherentes.

Poco después de Llama 1, Meta lanzó Llama 2 en julio de 2023. Se entrenó con 2 billones de tokens. Un token representa un fragmento de texto, como una palabra o parte de una palabra, que se utiliza como unidad básica de datos para el procesamiento del modelo. El modelo también incorporaba mejoras, como una ventana de contexto duplicada de 4096 tokens para comprender pasajes más largos y más de un millón de anotaciones humanas para reducir los errores. A pesar de estas mejoras, Llama 2 seguía necesitando mucha potencia de cálculo, algo que Meta pretendía solucionar con Llama 3.

Presentamos Llama 3 de Meta#

Llama 3 cuenta con cuatro variantes entrenadas con la asombrosa cantidad de 15 billones de tokens. Más del 5 % de esos datos de entrenamiento, unos 800 millones de tokens, representaba datos en 30 idiomas diferentes. Todas las variantes de Llama 3 pueden ejecutarse en distintos tipos de hardware de consumo y tienen una longitud de contexto de 8.000 tokens.

Fig. 1. Llama 3 frente a Llama 2.

Las variantes del modelo están disponibles en dos tamaños: 8B y 70B, que indican 8.000 y 70.000 millones de parámetros, respectivamente. También hay dos versiones: base e instruct. «Base» hace referencia a la versión estándar preentrenada. «Instruct» es una versión ajustada y optimizada para aplicaciones o dominios específicos mediante un entrenamiento adicional con datos relevantes.

Estas son las variantes del modelo Llama 3:

• Meta-Llama-3-8b: el modelo base 8B ofrece capacidades fundamentales de AI y es ideal para tareas generales, como desarrollar chatbots de atención al cliente.
• Meta-Llama-3-8b-instruct: una versión instruct ajustada del modelo 8B, optimizada para tareas específicas. Por ejemplo, puede utilizarse para crear herramientas educativas que expliquen temas complejos.
• Meta-Llama-3-70b: el modelo base 70B está diseñado para aplicaciones de AI de alto rendimiento. Este modelo funcionaría bien en aplicaciones como el procesamiento de grandes volúmenes de literatura biomédica para el descubrimiento de fármacos.
• Meta-Llama-3-70b-instruct: esta versión se ha ajustado a partir del modelo 70B para aplicaciones que requieren una gran precisión, como el análisis de documentos jurídicos o médicos, donde la exactitud es fundamental.

Arquitectura del modelo Llama 3 de Meta#

Al igual que con cualquier otro avance de Meta AI, se implementaron rigurosas medidas de control de calidad para mantener la integridad de los datos y minimizar los sesgos durante el desarrollo de Llama 3. Por tanto, el resultado final es un modelo potente creado de forma responsable.

La arquitectura del modelo Llama 3 destaca por centrarse en la eficiencia y el rendimiento en tareas de procesamiento del lenguaje natural. Basada en un marco de trabajo Transformer, hace hincapié en la eficiencia computacional, especialmente durante la generación de texto, mediante el uso de una arquitectura que solo cuenta con un decodificador.

El modelo genera resultados basándose únicamente en el contexto precedente, sin un codificador que codifique las entradas, lo que lo hace mucho más rápido.

Fig. 2. Arquitectura responsable del modelo Llama 3.

Los modelos Llama 3 incorporan un tokenizador con un vocabulario de 128K tokens. Un vocabulario más amplio permite a los modelos comprender y procesar mejor el texto. Además, ahora utilizan la atención de consultas agrupadas (GQA) para mejorar la eficiencia de la inferencia. GQA es una técnica que puedes imaginar como un foco que ayuda a los modelos a centrarse en las partes relevantes de los datos de entrada para generar respuestas más rápidas y precisas.

Aquí tienes algunos detalles más interesantes sobre la arquitectura del modelo Llama 3:

• Procesamiento de documentos consciente de los límites: Llama 3 mantiene la claridad entre los límites de los documentos, algo clave para tareas como la generación de resúmenes.
• Mejor comprensión del código: los datos de entrenamiento de Llama 3 incluyen cuatro veces más ejemplos de código, lo que mejora sus capacidades de programación.
• Control de calidad sólido: unas medidas rigurosas, incluidos filtros heurísticos y la eliminación de contenido NSFW, garantizan la integridad de los datos y minimizan los sesgos.

Llama 3 está transformando nuestra forma de abordar el entrenamiento de modelos#

Para entrenar los modelos Llama 3 más grandes, se combinaron tres tipos de paralelización: paralelización de datos, paralelización de modelos y paralelización de canalización.

La paralelización de datos divide los datos de entrenamiento entre varias GPU, mientras que la paralelización de modelos particiona la arquitectura del modelo para utilizar la potencia computacional de cada GPU. La paralelización de canalización divide el proceso de entrenamiento en etapas secuenciales, optimizando el cálculo y la comunicación.

La implementación más eficiente logró un uso de los recursos computacionales extraordinario, superando los 400 TFLOPS por GPU al entrenarse simultáneamente en 16.000 GPU. Estas ejecuciones de entrenamiento se llevaron a cabo en dos clústeres de GPU construidos a medida, cada uno compuesto por 24.000 GPU. Esta importante infraestructura computacional proporcionó la potencia necesaria para entrenar eficientemente los modelos Llama 3 a gran escala.

Para maximizar el tiempo de actividad de las GPU, se desarrolló una nueva pila de entrenamiento avanzada que automatiza la detección, gestión y mantenimiento de errores. La fiabilidad del hardware y los mecanismos de detección mejoraron considerablemente para mitigar los riesgos de corrupción silenciosa de datos. Además, se desarrollaron nuevos sistemas de almacenamiento escalables para reducir la sobrecarga de los puntos de control y las reversiones.

Estas mejoras dieron lugar a un tiempo de entrenamiento con una eficacia global superior al 95 %. En conjunto, aumentaron aproximadamente tres veces la eficiencia del entrenamiento de Llama 3 en comparación con Llama 2. Esta eficiencia no solo es impresionante, sino que también abre nuevas posibilidades para los métodos de entrenamiento de AI.

Abriendo nuevas posibilidades con Llama 3#

Como Llama 3 es de código abierto, investigadores y estudiantes pueden estudiar su código, realizar experimentos y participar en debates sobre cuestiones éticas y sesgos. Sin embargo, Llama 3 no está dirigido únicamente al ámbito académico. También está causando sensación en aplicaciones prácticas. Se está convirtiendo en la base de la interfaz de chat Meta AI, integrándose perfectamente en plataformas como Facebook, Instagram, WhatsApp y Messenger. Con Meta AI, los usuarios pueden mantener conversaciones en lenguaje natural, acceder a recomendaciones personalizadas, realizar tareas y conectar fácilmente con otras personas.

Fig. 3. Meta AI: impulsada por Llama 3.

Comparación de Llama 3 con otros LLMs#

Llama 3 ofrece un rendimiento excepcional en varios benchmarks clave que evalúan capacidades complejas de comprensión y razonamiento lingüístico. Estos son algunos de los benchmarks que ponen a prueba distintos aspectos de las capacidades de Llama 3:

• Comprensión masiva del lenguaje multitarea (MMLU): mide sus conocimientos en diversos ámbitos.
• Respuesta a preguntas de propósito general (GPQA): evalúa la capacidad del modelo para generar respuestas coherentes y correctas a una amplia variedad de preguntas de conocimiento general.
• HumanEval: se centra en tareas de programación y resolución de problemas, y evalúa la capacidad del modelo para generar código de programación funcional y resolver desafíos algorítmicos.

Los excelentes resultados de Llama 3 en estas pruebas lo distinguen claramente de competidores como Gemma 7B de Google, Mistral 7B de Mistral y Claude 3 Sonnet de Anthropic. Según las estadísticas publicadas, especialmente en el caso del modelo 70B, Llama 3 supera a estos modelos en todos los benchmarks anteriores.

Fig. 4. Comparación de Llama 3 con otros LLMs.

Meta Llama 3 está ampliamente disponible#

Meta está ampliando el alcance de Llama 3 al ponerlo a disposición en diversas plataformas tanto para usuarios generales como para desarrolladores. Para los usuarios cotidianos, Llama 3 está integrado en plataformas populares de Meta, como WhatsApp, Instagram, Facebook y Messenger. Los usuarios pueden acceder a funciones avanzadas, como la búsqueda en tiempo real y la posibilidad de generar contenido creativo directamente desde estas aplicaciones.

Llama 3 también se está incorporando a tecnologías ponibles, como las gafas inteligentes Ray-Ban Meta y el visor de realidad virtual Meta Quest, para ofrecer experiencias interactivas.

Llama 3 está disponible en diversas plataformas para desarrolladores, como AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM y Snowflake. También puedes acceder a estos modelos directamente desde Meta. La amplia variedad de opciones facilita que los desarrolladores integren las capacidades avanzadas de estos modelos de AI en sus proyectos, tanto si prefieren trabajar directamente con Meta como a través de otras plataformas populares.

Conclusiones#

Los avances en aprendizaje automático siguen transformando nuestra forma de interactuar con la tecnología cada día. Llama 3 de Meta demuestra que los LLMs ya no se limitan a generar texto. Los LLMs abordan problemas complejos y procesan varios idiomas. En general, Llama 3 está haciendo que la AI sea más adaptable y accesible que nunca. De cara al futuro, las actualizaciones previstas para Llama 3 prometen aún más capacidades, como gestionar varios modelos y comprender contextos más amplios.

Consulta nuestro repositorio de GitHub y únete a nuestra comunidad para obtener más información sobre AI. Visita nuestras páginas de soluciones para ver cómo se aplica la AI en ámbitos como la fabricación y la agricultura.