Conoce Llama 3.1: la última familia de modelos de código abierto de Meta

El 23 de julio de 2024, Meta presentó la nueva familia de modelos de código abierto Llama 3.1, que incluye el versátil modelo 8B, el potente modelo 70B y Llama 3.1 405B. Este último destacó por ser el modelo de lenguaje grande (LLM) de código abierto más grande en el momento de su lanzamiento.

Puede que te preguntes qué diferencia a estos nuevos modelos de sus predecesores. El lanzamiento de los modelos Llama 3.1 supone un hito importante en la tecnología de IA. Los nuevos modelos ofrecen mejoras considerables en el procesamiento del lenguaje natural y, además, incorporan funciones y mejoras que no estaban presentes en las versiones anteriores. Este lanzamiento promete cambiar la forma en que aprovechamos la IA para tareas complejas y ofrece un potente conjunto de herramientas tanto a investigadores como a desarrolladores.

En este artículo, exploraremos la familia de modelos Llama 3.1 y analizaremos su arquitectura, sus principales mejoras, sus usos prácticos y una comparación detallada de su rendimiento.

¿Qué es Llama 3.1?#

Llama 3.1 de Meta está dando pasos importantes en el ámbito de la IA y rivaliza con las capacidades de modelos de primer nivel como GPT-4o de OpenAI y Claude 3.5 Sonnet de Anthropic.

Aunque se podría considerar una actualización menor del modelo anterior Llama 3, Meta ha dado un paso más al introducir algunas mejoras clave en la nueva familia de modelos, que ofrece:

• Compatibilidad con ocho idiomas: inglés, alemán, francés, italiano, portugués, hindi, español y tailandés, lo que amplía su alcance a una audiencia mundial.
• Ventana de contexto de 128 000 tokens: Permite a los modelos procesar entradas mucho más largas y mantener el contexto a lo largo de conversaciones o documentos extensos.
• Mejores capacidades de razonamiento: permite a los modelos ser más versátiles y gestionar tareas complejas de forma eficaz.
• Seguridad rigurosa: se han realizado pruebas para mitigar riesgos, reducir sesgos y evitar resultados perjudiciales, promoviendo un uso responsable de la IA.

Además de todo lo anterior, la nueva familia de modelos Llama 3.1 destaca por un avance importante: su impresionante modelo de 405 000 millones de parámetros. Esta cantidad considerable de parámetros supone un gran paso adelante en el desarrollo de la IA y mejora notablemente la capacidad del modelo para comprender y generar textos complejos. El modelo 405B incluye una amplia variedad de parámetros, cada uno de los cuales representa los pesos y sesgos de la red neuronal que el modelo aprende durante el entrenamiento. Esto permite al modelo captar patrones lingüísticos más complejos, establecer un nuevo estándar para los modelos de lenguaje grandes y mostrar el potencial futuro de la tecnología de IA. Este modelo a gran escala no solo mejora el rendimiento en una amplia variedad de tareas, sino que también amplía los límites de lo que la IA puede conseguir en generación y comprensión de texto.

Arquitectura del modelo#

Llama 3.1 aprovecha la arquitectura de modelo Transformer solo con decodificador, un pilar de los modelos de lenguaje grandes modernos. Esta arquitectura es conocida por su eficiencia y eficacia al abordar tareas lingüísticas complejas. El uso de Transformers permite a Llama 3.1 destacar en la comprensión y generación de texto similar al humano, lo que le da una ventaja significativa frente a los modelos que usan arquitecturas más antiguas, como las LSTM y las GRU.

Además, la familia de modelos Llama 3.1 usa un Transformer denso estándar en lugar de la arquitectura de mezcla de expertos (MoE), una decisión deliberada que mejora la eficiencia y la estabilidad del entrenamiento. Evitar la arquitectura MoE garantiza un proceso de entrenamiento más uniforme y fiable, ya que MoE puede introducir a veces complejidades que afectan a la estabilidad y el rendimiento del modelo.

Fig. 1. Diagrama que ilustra la arquitectura del modelo Transformer de Llama 3.1.

La arquitectura del modelo Llama 3.1 funciona de la siguiente manera:

1. Tokens de texto de entrada: el proceso comienza con la entrada, compuesta por tokens de texto. Estos tokens son unidades individuales de texto, como palabras o subpalabras, que procesará el modelo.

2. Embeddings de tokens: a continuación, los tokens de texto se convierten en embeddings de tokens. Los embeddings son representaciones vectoriales densas de los tokens que capturan su significado semántico y las relaciones entre ellos en el texto. Esta transformación es fundamental, ya que permite al modelo trabajar con datos numéricos.

3. Mecanismo de autoatención: la autoatención permite al modelo ponderar la importancia de los distintos tokens de la secuencia de entrada al codificar cada token. Este mecanismo ayuda al modelo a comprender el contexto y las relaciones entre los tokens, independientemente de su posición en la secuencia. En el mecanismo de autoatención, cada token de la secuencia de entrada se representa mediante un vector de números. Estos vectores se usan para crear tres tipos distintos de representaciones: consultas, claves y valores.

El modelo calcula cuánta atención debe prestar cada token a los demás comparando los vectores de consulta con los vectores de clave. Esta comparación genera puntuaciones que indican la relevancia de cada token con respecto a los demás.

4. Red de propagación hacia delante: después del proceso de autoatención, los datos pasan por una red de propagación hacia delante. Esta red neuronal totalmente conectada aplica transformaciones no lineales a los datos, lo que ayuda al modelo a reconocer y aprender patrones complejos.

5. Capas repetidas: las capas de autoatención y de la red de propagación hacia delante se apilan varias veces. Esta aplicación repetida permite al modelo captar dependencias y patrones más complejos en los datos.

6. Token de texto de salida: por último, los datos procesados se usan para generar el token de texto de salida. Este token es la predicción del modelo de la siguiente palabra o subpalabra de la secuencia, según el contexto de entrada.

Rendimiento de la familia de modelos Llama 3.1 y comparación con otros modelos#

Las pruebas de referencia revelan que Llama 3.1 no solo está a la altura de estos modelos de última generación, sino que también los supera en determinadas tareas, lo que demuestra su gran rendimiento.

Llama 3.1 405B: gran capacidad#

El modelo Llama 3.1 se ha sometido a una evaluación exhaustiva en más de 150 conjuntos de datos de referencia, en los que se ha comparado rigurosamente con otros modelos de lenguaje grandes destacados. El modelo Llama 3.1 405B, reconocido como el más capaz de la nueva serie, se ha comparado con modelos líderes como GPT-4 de OpenAI y Claude 3.5 Sonnet. Los resultados de estas comparaciones muestran que Llama 3.1 tiene una ventaja competitiva y destaca por su rendimiento y sus capacidades superiores en diversas tareas.

Fig. 2. Tabla que compara el rendimiento del modelo Llama 3.1 405B con el de modelos similares.

La impresionante cantidad de parámetros y la arquitectura avanzada de este modelo le permiten destacar en tareas complejas de comprensión y generación de texto, y a menudo superar a sus competidores en pruebas de referencia específicas. Estas evaluaciones ponen de relieve el potencial de Llama 3.1 para establecer nuevos estándares en el campo de los modelos de lenguaje grandes y ofrecer a investigadores y desarrolladores una potente herramienta para diversas aplicaciones.

Llama 3.1 70B: gama media#

Los modelos Llama más pequeños y ligeros también ofrecen un rendimiento sólido en comparación con sus homólogos. El modelo Llama 3.1 70B se ha evaluado frente a modelos más grandes, como Mixtral 8x22B y GPT-3.5 Turbo. Por ejemplo, Llama 3.1 70B demuestra sistemáticamente un rendimiento superior en pruebas de razonamiento como ARC Challenge y en pruebas de programación como HumanEval. Estos resultados ponen de relieve la versatilidad y solidez de la serie Llama 3.1 en distintos tamaños de modelo, lo que la convierte en una herramienta valiosa para una amplia variedad de aplicaciones.

Llama 3.1 8B: ligero#

Además, el modelo Llama 3.1 8B se ha comparado con modelos de tamaño similar, como Gemma 2 9B y Mistral 7B. Estas comparaciones muestran que Llama 3.1 8B supera a sus competidores en varios conjuntos de datos de referencia y en distintos ámbitos, como el conjunto de datos GPQA para razonamiento y MBPP EvalPlus para programación. Esto demuestra su eficiencia y capacidad pese a tener menos parámetros.

Fig. 3. Tabla que compara el rendimiento de los modelos Llama 3.1 70B y 8B con el de modelos similares.

¿Cómo puedes aprovechar los modelos de la familia Llama 3.1?#

Meta ha habilitado los nuevos modelos para que los usuarios puedan aplicarlos de distintas formas prácticas y beneficiosas:

Ajuste fino#

Ahora los usuarios pueden ajustar los modelos Llama 3.1 para casos de uso específicos. Este proceso consiste en entrenar el modelo con nuevos datos externos a los que no había tenido acceso anteriormente, lo que mejora su rendimiento y su adaptabilidad para aplicaciones concretas. El ajuste proporciona al modelo una ventaja considerable, ya que le permite comprender y generar mejor contenido pertinente para determinados ámbitos o tareas.

Integración en un sistema RAG#

Ahora es posible integrar los modelos Llama 3.1 en sistemas de generación aumentada por recuperación (RAG). Esta integración permite que el modelo aproveche fuentes de datos externas de forma dinámica y mejore su capacidad para ofrecer respuestas precisas y pertinentes según el contexto. Al recuperar información de grandes conjuntos de datos e incorporarla al proceso de generación, Llama 3.1 mejora considerablemente su rendimiento en tareas que requieren muchos conocimientos y ofrece a los usuarios resultados más precisos e informados.

Generación de datos sintéticos#

También puedes utilizar el modelo de 405 000 millones de parámetros para generar datos sintéticos de alta calidad y mejorar el rendimiento de modelos especializados en casos de uso específicos. Este enfoque aprovecha las amplias capacidades de Llama 3.1 para producir datos específicos y pertinentes, lo que mejora la precisión y la eficiencia de las aplicaciones de IA adaptadas a cada caso.

Conclusiones clave#

El lanzamiento de Llama 3.1 supone un gran paso adelante en el campo de los modelos de lenguaje grandes y demuestra el compromiso de Meta con el avance de la tecnología de IA.

Gracias a su gran cantidad de parámetros, su extenso entrenamiento con diversos conjuntos de datos y su enfoque en procesos de entrenamiento sólidos y estables, Llama 3.1 establece nuevos referentes de rendimiento y capacidad en el procesamiento del lenguaje natural. Ya sea en generación de texto, resumen o tareas conversacionales complejas, Llama 3.1 demuestra una ventaja competitiva frente a otros modelos líderes. Este modelo no solo amplía los límites de lo que la IA puede conseguir hoy, sino que también sienta las bases para futuras innovaciones en el panorama de la inteligencia artificial, en constante evolución.

En Ultralytics, nos dedicamos a ampliar los límites de la tecnología de IA. Para explorar nuestras soluciones de IA y estar al día de nuestras últimas innovaciones, visita nuestro repositorio de GitHub. Únete a nuestra comunidad en Discord y descubre cómo estamos transformando sectores como los vehículos autónomos y la fabricación.