Conociendo Llama 3 de Meta

Cuando reunimos las innovaciones en inteligencia artificial (IA) del primer trimestre de 2024, vimos que diferentes organizaciones estaban lanzando LLM, o modelos de lenguaje grandes, a diestro y siniestro. Continuando con esta tendencia, el 18 de abril de 2024, Meta lanzó Llama 3, un LLM de código abierto de última generación. 

Podrías estar pensando: Es solo otro LLM. ¿Por qué la comunidad de la IA está tan entusiasmada con él? 

Si bien puedes ajustar modelos como GPT-3 o Gemini para obtener respuestas personalizadas, no ofrecen total transparencia con respecto a su funcionamiento interno, como sus datos de entrenamiento, parámetros del modelo o algoritmos. En cambio, Llama 3 de Meta es más transparente, con su arquitectura y pesos disponibles para su descarga. Para la comunidad de la IA, esto significa mayor libertad para experimentar.

En este artículo, aprenderemos qué puede hacer Llama 3, cómo se creó y su impacto en el campo de la IA. ¡Vamos a ello!

La evolución de los modelos Llama de Meta

Antes de sumergirnos en Llama 3, echemos un vistazo a sus versiones anteriores.

Meta lanzó Llama 1 en febrero de 2023, que venía en cuatro variantes con parámetros que oscilaban entre 7 mil millones y 64 mil millones. En machine learning, los "parámetros" se refieren a los elementos del modelo que se aprenden de los datos de entrenamiento. Debido a su menor número de parámetros, Llama 1 a veces tenía dificultades con la comprensión matizada y daba respuestas inconsistentes.

Poco después de Llama 1, Meta lanzó Llama 2 en julio de 2023. Fue entrenado con 2 billones de tokens. Un token representa una porción de texto, como una palabra o parte de una palabra, utilizada como la unidad básica de datos para el procesamiento en el modelo. El modelo también presentaba mejoras como una ventana de contexto duplicada de 4096 tokens para comprender pasajes más largos y más de 1 millón de anotaciones humanas para disminuir los errores. A pesar de estas mejoras, Llama 2 todavía necesitaba mucha potencia informática, algo que Meta pretendía solucionar con Llama 3.

Presentamos Llama 3 de Meta

Llama 3 viene con cuatro variantes que fueron entrenadas con la asombrosa cantidad de 15 billones de tokens. Más del 5% de esos datos de entrenamiento (alrededor de 800 millones de tokens) representaban datos en 30 idiomas diferentes. Todas las variantes de Llama 3 se pueden ejecutar en varios tipos de hardware de consumo y tienen una longitud de contexto de 8k tokens. 

Las variantes del modelo vienen en dos tamaños: 8B y 70B, lo que indica 8 mil millones y 70 mil millones de parámetros, respectivamente. También hay dos versiones, base e instruct. "Base" se refiere a la versión estándar pre-entrenada. "Instruct" es una versión ajustada optimizada para aplicaciones o dominios específicos a través de entrenamiento adicional en datos relevantes.

Estas son las variantes del modelo Llama 3:

• Meta-Llama-3-8b: El modelo base de 8B proporciona capacidades fundamentales de IA y es ideal para tareas generales como el desarrollo de chatbots de atención al cliente.
  ‍
• Meta-Llama-3-8b-instruct: Una versión instruct ajustada del modelo de 8B que está optimizada para tareas específicas. Por ejemplo, se puede utilizar para crear herramientas educativas que expliquen temas complejos.
  ‍
• Meta-Llama-3-70b: El modelo base de 70B está diseñado para aplicaciones de IA de alto rendimiento. Este modelo funcionaría bien para aplicaciones como el procesamiento de extensa literatura biomédica para el descubrimiento de fármacos.
  ‍
• Meta-Llama-3-70b-instruct: Esta versión está ajustada a partir del modelo de 70B para aplicaciones de alta precisión, como el análisis de documentos legales o médicos, donde la precisión es fundamental.

Arquitectura del modelo Llama 3 de Meta

Al igual que con cualquier otro avance de Meta AI, se implementaron rigurosas medidas de control de calidad para mantener la integridad de los datos y minimizar los sesgos durante el desarrollo de Llama 3. Por lo tanto, el producto final es un modelo potente que se creó de manera responsable. 

La arquitectura del modelo Llama 3 destaca por su enfoque en la eficiencia y el rendimiento en tareas de procesamiento del lenguaje natural. Construida sobre un marco basado en Transformer, enfatiza la eficiencia computacional, especialmente durante la generación de texto, mediante el uso de una arquitectura de solo decodificador. 

El modelo genera salidas basadas únicamente en el contexto precedente sin un codificador para codificar las entradas, lo que lo hace mucho más rápido.

Los modelos Llama 3 cuentan con un tokenizador con un vocabulario de 128K tokens. Un vocabulario mayor significa que los modelos pueden comprender y procesar mejor el texto. Además, los modelos ahora utilizan atención de consulta agrupada (GQA) para mejorar la eficiencia de la inferencia. GQA es una técnica que se puede considerar como un foco que ayuda a los modelos a concentrarse en las partes relevantes de los datos de entrada para generar respuestas más rápidas y precisas.

Aquí hay algunos detalles más interesantes sobre la arquitectura del modelo de Llama 3:

• Procesamiento de Documentos con Reconocimiento de Límites: Llama 3 mantiene la claridad a través de los límites del documento, lo cual es clave para tareas como la creación de resúmenes.
  ‍
• Mejor Comprensión del Código: Los datos de entrenamiento de Llama 3 incluyen cuatro veces más muestras de código, lo que aumenta sus habilidades de codificación.
  ‍
• Control de Calidad Robusto: Medidas rigurosas, incluidos filtros heurísticos y eliminación de contenido NSFW, garantizan la integridad de los datos y minimizan los sesgos.

Llama 3 está transformando nuestra forma de abordar el entrenamiento de modelos.

Para entrenar los modelos Llama 3 más grandes, se combinaron tres tipos de paralelización: paralelización de datos, paralelización de modelos y paralelización de pipeline. 

La paralelización de datos divide los datos de entrenamiento entre varias GPU, mientras que la paralelización de modelos divide la arquitectura del modelo para utilizar la potencia computacional de cada GPU. La paralelización de pipeline divide el proceso de entrenamiento en etapas secuenciales, optimizando la computación y la comunicación.

La implementación más eficiente logró una notable utilización de la capacidad de cómputo, superando los 400 TFLOPS por GPU cuando se entrenó en 16.000 GPU simultáneamente. Estas ejecuciones de entrenamiento se llevaron a cabo en dos clústeres de GPU construidos a medida, cada uno con 24.000 GPU. Esta considerable infraestructura computacional proporcionó la potencia necesaria para entrenar los modelos Llama 3 a gran escala de manera eficiente.

Para maximizar el tiempo de actividad de la GPU, se desarrolló una nueva pila de entrenamiento avanzada, que automatiza la detección, el manejo y el mantenimiento de errores. La fiabilidad del hardware y los mecanismos de detección se mejoraron enormemente para mitigar los riesgos de corrupción silenciosa de datos. Además, se desarrollaron nuevos sistemas de almacenamiento escalables para reducir la sobrecarga de la creación de puntos de control y la reversión. 

Estas mejoras condujeron a un tiempo de entrenamiento general con una efectividad superior al 95%. En conjunto, aumentaron la eficiencia del entrenamiento de Llama 3 en aproximadamente tres veces en comparación con Llama 2. Esta eficiencia no es solo impresionante, sino que está abriendo nuevas posibilidades para los métodos de entrenamiento de la IA. 

Abriendo puertas con Llama 3

Debido a que Llama 3 es de código abierto, los investigadores y estudiantes pueden estudiar su código, realizar experimentos y participar en debates sobre preocupaciones éticas y sesgos. Sin embargo, Llama 3 no es solo para el público académico. También está causando sensación en aplicaciones prácticas. Se está convirtiendo en la columna vertebral de la interfaz Meta AI Chat, integrándose perfectamente en plataformas como Facebook, Instagram, WhatsApp y Messenger. Con Meta AI, los usuarios pueden participar en conversaciones en lenguaje natural, acceder a recomendaciones personalizadas, realizar tareas y conectarse con otros fácilmente.

Comparando Llama 3 con otros LLM

Llama 3 tiene un rendimiento excepcionalmente bueno en varios benchmarks clave que evalúan la comprensión del lenguaje complejo y las habilidades de razonamiento. Estos son algunos de los benchmarks que prueban varios aspectos de las capacidades de Llama 3:

• Massive Multitask Language Understanding (MMLU) - Mide su conocimiento en varios dominios. 
  ‍
• General Purpose Question Answering (GPQA) - Evalúa la capacidad del modelo para generar respuestas coherentes y correctas a una amplia gama de preguntas de conocimiento general.
  ‍
• HumanEval - Se centra en tareas de codificación y resolución de problemas, probando la capacidad del modelo para generar código de programación funcional y resolver desafíos algorítmicos.

Los excelentes resultados de Llama 3 en estas pruebas lo distinguen claramente de competidores como Gemma 7B de Google, Mistral 7B de Mistral y Claude 3 Sonnet de Anthropic. Según las estadísticas publicadas, particularmente el modelo 70B, Llama 3 supera a estos modelos en todos los benchmarks anteriores.

Meta Llama 3 está siendo ampliamente accesible

Meta está ampliando el alcance de Llama 3 poniéndolo a disposición en una variedad de plataformas tanto para usuarios generales como para desarrolladores. Para los usuarios cotidianos, Llama 3 está integrado en las plataformas populares de Meta, como WhatsApp, Instagram, Facebook y Messenger. Los usuarios pueden acceder a funciones avanzadas como la búsqueda en tiempo real y la capacidad de generar contenido creativo directamente dentro de estas aplicaciones. 

Llama 3 también se está incorporando a tecnologías portátiles como las gafas inteligentes Ray-Ban Meta y los auriculares Meta Quest VR para experiencias interactivas.

Llama 3 está disponible en una variedad de plataformas para desarrolladores, incluyendo AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM y Snowflake. También puede acceder a estos modelos directamente desde Meta. La amplia gama de opciones facilita a los desarrolladores la integración de estas capacidades avanzadas de modelos de IA en sus proyectos, ya sea que prefieran trabajar directamente con Meta o a través de otras plataformas populares.

Conclusión

Los avances en el aprendizaje automático continúan transformando la forma en que interactuamos con la tecnología todos los días. Llama 3 de Meta muestra que los LLM ya no se trata solo de generar texto. Los LLM están abordando problemas complejos y manejando múltiples idiomas. En general, Llama 3 está haciendo que la IA sea más adaptable y accesible que nunca. De cara al futuro, las actualizaciones planificadas para Llama 3 prometen aún más capacidades, como el manejo de múltiples modelos y la comprensión de contextos más amplios. 

Consulte nuestro repositorio de GitHub y únase a nuestra comunidad para obtener más información sobre la IA. Visite nuestras páginas de soluciones para ver cómo se está aplicando la IA en campos como la fabricación y la agricultura.