Phi-2: El sorprendente poder de los pequeños modelos lingüísticos

Los modelos lingüísticos han evolucionado considerablemente en los últimos años, gracias al aumento del tamaño de los modelos. Sin embargo, aún queda margen para la innovación y la investigación en modelos más pequeños pero igualmente potentes. El equipo de Fundamentos del Aprendizaje Automático de Microsoft Research ha desarrollado una serie de modelos lingüísticos denominados«Phi» que demuestran un rendimiento sobresaliente en diversos puntos de referencia. En particular, Phi-2, el modelo más reciente con 2.700 millones de parámetros, destaca por sus capacidades de razonamiento y comprensión del lenguaje.

Las claves de Phi-2

El objetivo del equipo de investigación de Microsoft es desarrollar modelos lingüísticos que alcancen un rendimiento comparable al de modelos mucho mayores. Para ello, se identificaron dos percepciones clave:

1. La calidad de los datos de entrenamiento desempeña un papel fundamental en el rendimiento del modelo. En particular, los datos de entrenamiento de alta calidad son esenciales para enseñar al modelo razonamientos de sentido común y conocimientos generales. Microsoft Research creó conjuntos de datos sintéticos diseñados específicamente para enseñar a Phi-2 el razonamiento de sentido común, que incluye la ciencia, las actividades cotidianas y la teoría de la mente. Además, se seleccionaron cuidadosamente datos de la web en función de su valor educativo y la calidad de su contenido.
2. El uso de técnicas innovadoras para ampliar el modelo. Phi-2 se desarrolló a partir del modelo Phi-1.5, que tiene 1.300 millones de parámetros. Esta transferencia de conocimientos aceleró la convergencia del entrenamiento y mejoró el rendimiento de Phi-2 en los puntos de referencia.

Detalles del entrenamiento de Phi-2

Phi-2 es un modelo basado en transformadores cuyo objetivo es predecir la siguiente palabra del texto. Se entrenó con 1,4 billones de tokens procedentes de conjuntos de datos sintéticos y de la web. El entrenamiento de Phi-2 duró 14 días utilizando 96 GPU A100. Es importante destacar que Phi-2 es un modelo de referencia que no ha sido sometido a mejoras mediante aprendizaje por refuerzo o entrenamiento específico. No obstante, Phi-2 muestra un mejor comportamiento en términos de toxicidad y sesgos que otros modelos de código abierto que han sido objeto de mejoras similares.

Evaluación de Phi-2

Phi-2 fue evaluado en varios puntos de referencia académicos, demostrando un rendimiento superior en comparación con modelos más grandes como Mistral y Llama-2. Por ejemplo, en tareas de razonamiento complejas como programación y matemáticas, Phi-2 supera al modelo Llama-2-70B, que es 25 veces mayor. Además, Phi-2 consigue resultados comparables a los del modelo Gemini Nano 2 de Google, a pesar de su menor tamaño.

Es importante destacar que la evaluación de los modelos lingüísticos sigue presentando desafíos, ya que muchos puntos de referencia públicos pueden haberse filtrado en los datos de entrenamiento. Sin embargo, Microsoft Research realizó un estudio exhaustivo para garantizar la calidad de los datos de entrenamiento de Phi-2, eliminando posibles contaminaciones.

Pruebas de casos de uso concretos

Para evaluar las capacidades de Phi-2, se realizaron numerosas pruebas sobre casos de uso concretos. Por ejemplo, Phi-2 fue capaz de resolver correctamente un problema de física, demostrando sus capacidades de razonamiento científico. Además, Phi-2 se puso a prueba en indicaciones comunes utilizadas por la comunidad investigadora, mostrando resultados coherentes con el rendimiento encontrado en los puntos de referencia.