Conociendo Llama 3.1: la última familia de modelos de código abierto de Meta

El 23 de julio de 2024, Meta lanzó la nueva familia de modelos de código abierto Llama 3.1, que incluye el versátil modelo de 8B, el capaz modelo de 70B y los modelos Llama 3.1 405B, destacando este último como el modelo de lenguaje extenso (LLM) de código abierto más grande hasta la fecha.

Quizás te preguntes qué diferencia a estos nuevos modelos de sus predecesores. Pues bien, a medida que nos adentramos en este artículo, descubrirás que el lanzamiento de los modelos Llama 3.1 marca un hito importante en la tecnología de IA. Los modelos recién lanzados ofrecen mejoras significativas en el procesamiento del lenguaje natural; además, introducen nuevas características y mejoras que no se encontraban en versiones anteriores. Este lanzamiento promete cambiar la forma en que aprovechamos la IA para tareas complejas, proporcionando un potente conjunto de herramientas tanto para investigadores como para desarrolladores.

En este artículo, exploraremos la familia de modelos Llama 3.1, profundizando en su arquitectura, mejoras clave, usos prácticos y una comparación detallada de su rendimiento.

Link to this section¿Qué es Llama 3.1?#

El último modelo de lenguaje extenso de Meta, Llama 3.1, está avanzando significativamente en el panorama de la IA, rivalizando con las capacidades de modelos de primer nivel como OpenAI's Chat GPT-4o y Claude 3.5 Sonnet de Anthropic.

Aunque pueda considerarse una actualización menor del modelo Llama 3 anterior, Meta ha dado un paso más allá al introducir algunas mejoras clave en la nueva familia de modelos, ofreciendo:

• Soporte para ocho idiomas: Incluyendo inglés, alemán, francés, italiano, portugués, hindi, español y tailandés, ampliando su alcance a una audiencia global.
• Ventana de contexto de 128,000 tokens: Permitiendo a los modelos manejar entradas mucho más largas y mantener el contexto a lo largo de conversaciones o documentos extensos.
• Mejores capacidades de razonamiento: Permitiendo que los modelos sean más versátiles y capaces de gestionar tareas complejas de manera efectiva.
• Seguridad rigurosa: Se han implementado pruebas para mitigar riesgos, reducir sesgos y prevenir resultados dañinos, promoviendo un uso responsable de la IA.

Además de todo lo anterior, la nueva familia de modelos Llama 3.1 destaca un avance importante con su impresionante modelo de 405 mil millones de parámetros. Este sustancial recuento de parámetros representa un salto significativo en el desarrollo de la IA, mejorando enormemente la capacidad del modelo para comprender y generar texto complejo. El modelo 405B incluye una extensa matriz de parámetros donde cada parámetro se refiere a los pesos y biases en la red neuronal que el modelo aprende durante el entrenamiento. Esto permite al modelo capturar patrones de lenguaje más intrincados, estableciendo un nuevo estándar para los modelos de lenguaje extensos y mostrando el potencial futuro de la tecnología de IA. Este modelo a gran escala no solo mejora el rendimiento en una amplia gama de tareas, sino que también supera los límites de lo que la IA puede lograr en términos de generación y comprensión de texto.

Link to this sectionArquitectura del modelo#

Llama 3.1 aprovecha la arquitectura de modelo transformer solo de decodificador, una piedra angular para los modelos de lenguaje modernos. Esta arquitectura es famosa por su eficiencia y eficacia en el manejo de tareas de lenguaje complejas. El uso de transformers permite a Llama 3.1 sobresalir en la comprensión y generación de texto similar al humano, proporcionando una ventaja significativa sobre los modelos que utilizan arquitecturas más antiguas como LSTM y GRU.

Además, la familia de modelos Llama 3.1 utiliza un transformer denso estándar en lugar de la arquitectura de mezcla de expertos (MoE), una elección deliberada que mejora la eficiencia y la estabilidad del entrenamiento. Evitar la arquitectura MoE garantiza un proceso de entrenamiento más consistente y fiable, ya que MoE a veces puede introducir complejidades que pueden afectar la estabilidad y el rendimiento del modelo.

Fig 1. Un diagrama que ilustra la arquitectura del modelo transformer de Llama 3.1.

La arquitectura del modelo Llama 3.1 funciona de la siguiente manera:

1. Tokens de texto de entrada: El proceso comienza con la entrada, que consiste en tokens de texto. Estos tokens son unidades individuales de texto, como palabras o subpalabras, que el modelo procesará.

2. Embeddings de tokens: Los tokens de texto se convierten entonces en embeddings de tokens. Los embeddings son representaciones vectoriales densas de los tokens que capturan su significado semántico y sus relaciones dentro del texto. Esta transformación es crucial ya que permite al modelo trabajar con datos numéricos.

3. Mecanismo de auto-atención: La auto-atención permite al modelo sopesar la importancia de diferentes tokens en la secuencia de entrada al codificar cada token. Este mecanismo ayuda al modelo a comprender el contexto y las relaciones entre los tokens, independientemente de sus posiciones en la secuencia. En el mecanismo de auto-atención, cada token en la secuencia de entrada se representa como un vector de números. Estos vectores se utilizan para crear tres tipos diferentes de representaciones: consultas (queries), claves (keys) y valores (values).

El modelo calcula cuánta atención debe prestar cada token a otros tokens comparando los vectores de consulta con los vectores de clave. Esta comparación resulta en puntuaciones que indican la relevancia de cada token en relación con los demás.

4. Red feedforward: Después del proceso de auto-atención, los datos pasan a través de una red feedforward. Esta red es una red neuronal totalmente conectada que aplica transformaciones no lineales a los datos, ayudando al modelo a reconocer y aprender patrones complejos.

5. Capas repetidas: Las capas de auto-atención y red feedforward se apilan varias veces. Esta aplicación repetida permite al modelo capturar dependencias y patrones más complejos en los datos.

6. Token de texto de salida: Finalmente, los datos procesados se utilizan para generar el token de texto de salida. Este token es la predicción del modelo para la siguiente palabra o subpalabra en la secuencia, basada en el contexto de entrada.

Link to this sectionRendimiento de la familia de modelos Llama 3.1 y comparaciones con otros modelos#

Las pruebas de referencia (benchmarks) revelan que Llama 3.1 no solo mantiene su posición frente a estos modelos de vanguardia, sino que también los supera en ciertas tareas, demostrando su rendimiento superior.

Link to this sectionLlama 3.1 405B: Alta capacidad#

El modelo Llama 3.1 ha sido sometido a una evaluación exhaustiva a través de más de 150 conjuntos de datos de referencia, donde ha sido rigurosamente comparado con otros modelos de lenguaje extensos líderes. El modelo Llama 3.1 405B, reconocido como el más capaz de la serie recién lanzada, ha sido comparado con gigantes de la industria como GPT-4 de OpenAI y Claude 3.5 Sonnet. Los resultados de estas comparaciones revelan que Llama 3.1 demuestra una ventaja competitiva, mostrando su rendimiento y capacidades superiores en varias tareas.

Fig 2. Una tabla que compara el rendimiento del modelo Llama 3.1 405B frente a modelos similares.

El impresionante número de parámetros y la arquitectura avanzada de este modelo le permiten destacar en tareas complejas de comprensión y generación de texto, superando a menudo a sus competidores en benchmarks específicos. Estas evaluaciones destacan el potencial de Llama 3.1 para establecer nuevos estándares en el campo de los modelos de lenguaje extensos, proporcionando a investigadores y desarrolladores una herramienta potente para diversas aplicaciones.

Link to this sectionLlama 3.1 70B: Gama media#

Los modelos Llama más pequeños y ligeros también demuestran un rendimiento notable en comparación con sus homólogos. El modelo Llama 3.1 70B ha sido evaluado frente a modelos más grandes como Mistral 8x22B y GPT-3.5 Turbo. Por ejemplo, el modelo Llama 3.1 70B demuestra consistentemente un rendimiento superior en conjuntos de datos de razonamiento como el dataset ARC Challenge y conjuntos de datos de codificación como los datasets HumanEval. Estos resultados resaltan la versatilidad y robustez de la serie Llama 3.1 en diferentes tamaños de modelo, lo que la convierte en una herramienta valiosa para una amplia gama de aplicaciones.

Link to this sectionLlama 3.1 8B: Ligero#

Además, el modelo Llama 3.1 8B ha sido comparado con modelos de tamaño similar, incluyendo Gemma 2 9B y Mistral 7B. Estas comparaciones revelan que el modelo Llama 3.1 8B supera a sus competidores en varios datasets de referencia en diferentes géneros, como el dataset GPQA para razonamiento y el MBPP EvalPlus para codificación, mostrando su eficiencia y capacidad a pesar de su menor número de parámetros.

Fig 3. Una tabla que compara los rendimientos de los modelos Llama 3.1 70B y 8B frente a modelos similares.

Link to this section¿Cómo puedes beneficiarte de los modelos de la familia Llama 3.1?#

Meta ha permitido que los nuevos modelos se apliquen de diversas formas prácticas y beneficiosas para los usuarios:

Link to this sectionAjuste fino (Fine-tuning)#

Ahora puedes hacer ajuste fino de los últimos modelos Llama 3.1 para casos de uso específicos. Este proceso implica entrenar el modelo con nuevos datos externos a los que no había estado expuesto previamente, mejorando así su rendimiento y adaptabilidad para aplicaciones específicas. El ajuste fino le da al modelo una ventaja significativa al permitirle comprender y generar mejor contenido relevante para dominios o tareas concretas.

Link to this sectionIntegración en un sistema RAG#

Los modelos Llama 3.1 ahora pueden integrarse sin problemas en sistemas de Generación Aumentada por Recuperación (RAG). Esta integración permite al modelo aprovechar fuentes de datos externas de forma dinámica, mejorando su capacidad para proporcionar respuestas precisas y contextualmente relevantes. Al recuperar información de grandes conjuntos de datos e incorporarla al proceso de generación, Llama 3.1 mejora significativamente su rendimiento en tareas intensivas en conocimiento, ofreciendo a los usuarios resultados más precisos e informados.

Link to this sectionGeneración de datos sintéticos#

También puedes utilizar el modelo de 405 mil millones de parámetros para generar datos sintéticos de alta calidad, mejorando el rendimiento de modelos especializados para casos de uso específicos. Este enfoque aprovecha las amplias capacidades de Llama 3.1 para producir datos específicos y relevantes, mejorando así la precisión y eficiencia de las aplicaciones de IA personalizadas.

Link to this sectionConclusiones#

El lanzamiento de Llama 3.1 representa un salto significativo en el campo de los modelos de lenguaje extensos, demostrando el compromiso de Meta con el avance de la tecnología de IA.

Con su sustancial recuento de parámetros, su amplio entrenamiento en diversos conjuntos de datos y un enfoque en procesos de entrenamiento robustos y estables, Llama 3.1 establece nuevos estándares de rendimiento y capacidad en el procesamiento del lenguaje natural. Ya sea en generación de texto, resumen o tareas conversacionales complejas, Llama 3.1 demuestra una ventaja competitiva sobre otros modelos líderes. Este modelo no solo supera los límites de lo que la IA puede lograr hoy en día, sino que también prepara el terreno para futuras innovaciones en el panorama en constante evolución de la inteligencia artificial.

En Ultralytics, estamos dedicados a superar los límites de la tecnología de IA. Para explorar nuestras soluciones de IA de vanguardia y estar al día con nuestras últimas innovaciones, visita nuestro repositorio de GitHub. ¡Únete a nuestra vibrante comunidad en Discord y mira cómo estamos revolucionando industrias como los coches autónomos y la fabricación! 🚀