Metrics
Categorías
Temas
Compar:IA es una plataforma pública francesa para la comparación a ciegas de modelos de inteligencia artificial conversacional. Desarrollada por el Servicio Digital del Ministerio de Cultura en colaboración con PEReN (Pôle d'Expertise de la Régulation Numérique), recoge los votos de preferencia de los usuarios para crear conjuntos de datos de alineación abiertos en lengua francesa.
Los modelos se clasifican mediante una puntuación Bradley-Terry y una puntuación de satisfacción, basadas en los comentarios de la comunidad. El benchmark evalúa actualmente 82 modelos, y los datos y resultados se publican en código abierto en Hugging Face, lo que lo convierte en un recurso de referencia para evaluar modelos lingüísticos en un contexto francófono.
Contexto y origen
Compar:IA es una iniciativa pública francesa lanzada por el Servicio Digital del Ministerio de Cultura, en colaboración con PEReN (Pôle d'Expertise de la Régulation Numérique). El proyecto se inscribe en una iniciativa institucional destinada a dotar a la comunidad francófona de herramientas de evaluación de modelos lingüísticos adaptados a sus especificidades lingüísticas y culturales. La plataforma se basa en el principio de la comparación ciega: los usuarios interactúan simultáneamente con dos modelos sin conocer su identidad y expresan a continuación su preferencia, lo que garantiza una evaluación no sesgada por la reputación de los sistemas comparados.
Funcionamiento y metodología
La clasificación de modelos en Compar:AI se basa en dos métricas principales:
- Puntuación Bradley-Terry: un modelo estadístico de comparaciones por pares utilizado para estimar la probabilidad de que un modelo sea preferido a otro, mediante la agregación de todos los votos recogidos.
- Puntuación de satisfacción: medida directa de la satisfacción de los usuarios con las respuestas producidas por los modelos.
Estos dos indicadores se calculan a partir de los comentarios de los usuarios de la plataforma, lo que constituye un proceso de evaluación participativa permanente. Hasta la fecha, la plataforma ha evaluado 82 modelos conversacionales, lo que la convierte en una de las referencias más completas en el ámbito del tratamiento automático del lenguaje en francés.
Contribución a los datos abiertos
Una de las principales contribuciones de Compar:IA es la creación de conjuntos de datos de alineación abiertos en lengua francesa. Los votos de preferencia recogidos de los usuarios se publican en código abierto en la plataforma Hugging Face, bajo la responsabilidad del Ministerio de Cultura francés. Estos datos constituyen un recurso escaso y valioso para la comunidad investigadora, ya que existen pocos corpus de alineación de alta calidad en francés en comparación con los disponibles en inglés. Este enfoque de transparencia y apertura es coherente con los principios de servicio público digital promovidos por las instituciones fundadoras.
Usos y alcance
Compar:IA se dirige a varios tipos de usuarios. Los investigadores y desarrolladores pueden utilizar la tabla de clasificación para comparar objetivamente el rendimiento de distintos modelos en un contexto francófono. Las instituciones y organismos públicos que deseen elegir un modelo conversacional adaptado a sus necesidades disponen de una referencia neutra e independiente. Por último, se invita al público en general a contribuir participando en las sesiones de comparación, enriqueciendo así la base de datos de preferencias.
La plataforma es accesible a través del dominio beta.gouv.fr, lo que demuestra su adscripción al ecosistema francés de servicios públicos digitales. Su naturaleza de código abierto, su gobernanza institucional y su arraigo en la lengua francesa la convierten en una iniciativa distintiva dentro del panorama mundial de las referencias de evaluación de modelos lingüísticos.