TangoIA Benchmarks
Metrics
Categorías
Temas
TangoIA Benchmarks es una iniciativa de evaluación de modelos de lenguaje orientada al español rioplatense y al contexto argentino. Consiste en un conjunto de pruebas de referencia tipo leaderboard que mide el desempeño de distintos modelos de inteligencia artificial mediante métricas de precisión y puntuación promedio.
Los dominios evaluados abarcan áreas diversas como conocimiento general, medicina clínica, derecho, noticias, humor y matemáticas, lo que permite obtener una visión amplia de las capacidades de cada modelo en tareas de texto. Esta iniciativa resulta especialmente relevante para investigadores, desarrolladores y organizaciones que buscan comparar modelos con foco en el español de Argentina, una variante lingüística y cultural que suele estar subrepresentada en los benchmarks internacionales más difundidos.
Benchmarks de TangoIA: Evaluar la IA en el contexto latinoamericano
La carrera por construir modelos regionales de lenguaje capaces tiene un nuevo terreno de prueba. Desarrollados por la startup latinoamericana de infraestructura de IA SuruS, los Benchmarks de TangoIA sirven como un ranking definitivo para evaluar Modelos de Lenguaje Grandes en español. El benchmark se enfoca específicamente en el dialecto del Río de la Plata y en el contexto cultural argentino. Tras el lanzamiento a finales de 2024 de Tango-70b, el primer modelo de 70 mil millones de parámetros entrenado para América Latina, el benchmark ganó una tracción significativa entre investigadores que miden qué tan bien los modelos de código abierto manejan matices localizados.
Qué mide y por qué importa
La mayoría de los benchmarks en español dependen de traducciones directas de conjuntos de datos en inglés o recurren al español peninsular por defecto. TangoIA rompe con ese molde. Evalúa el dominio de los modelos sobre modismos regionales, referencias culturales locales y conocimientos institucionales específicos relevantes para Argentina y para el mercado latinoamericano en general.
Para los ingenieros de machine learning, esta distinción importa. Los modelos genéricos de español a menudo fallan en tareas localizadas. Un modelo entrenado con muchos datos de España podría malinterpretar textos legales argentinos o no captar el humor regional. TangoIA ofrece una métrica cuantificable para esa alineación cultural y lingüística.
Metodología de evaluación y métricas clave
El benchmark se ejecuta sobre un banco de evaluación de Hugging Face personalizado. Calcula un promedio no ponderado a través de 23 tareas de evaluación distintas, generando 46 valores métricos en total. La metodología prioriza la reproducibilidad, permitiendo a los desarrolladores ejecutar el script de evaluación localmente mediante un entorno virtual de Python.
Las categorías de tareas son densas y variadas. Incluyen:
- Clínico: ClinDiagnosES y ClinTreatES evalúan el razonamiento de diagnóstico y tratamiento en español.
- Noticias e información: NoticIA y Fake News ES evalúan la resumición y la detección de desinformación.
- Razonamiento y matemáticas: COPA_es para razonamiento alternativo plausible y MGSM_es para matemáticas escolares multilingües.
- Cultura y matiz: HumorQA y pruebas de aceptabilidad lingüística como EsCoLA.
Aspectos destacados del ranking y modelos evaluados
El ranking actual destaca una brecha enorme de rendimiento entre los modelos localizados y los modelos abiertos generalistas. El propio Tango-70b de SuruS domina actualmente el benchmark con una puntuación promedio de 59.90 por ciento. Destaca especialmente en comprensión lectora y razonamiento, con 92.00 en Belebele Spa y 89.60 en COPA_es.
Los modelos abiertos estándar se quedan significativamente atrás cuando se prueban en estos matices regionales. Por ejemplo, gemma-2-9b-it de Google obtuvo solo 33.62 por ciento en las mismas 23 tareas, revelando un déficit de casi 26 puntos. El benchmark ahora se usa de forma rutinaria para evaluar ajustes finos de las arquitecturas Llama 3.1, Mistral y Gemma orientadas al mercado latinoamericano.
Limitaciones y críticas
A pesar de su utilidad, TangoIA enfrenta críticas estructurales válidas. Su enfoque hiperrregional es de doble filo. Si bien captura perfectamente el español del Río de la Plata, los investigadores señalan que no refleja con precisión el rendimiento del modelo para usuarios de español mexicano, colombiano o peninsular.
Esta limitación impulsó directamente el lanzamiento en julio de 2025 de La Leaderboard, una iniciativa más amplia impulsada por la comunidad que se amplió sobre la base de TangoIA para incluir 66 conjuntos de datos que cubren múltiples variedades de español y lenguas regionales como catalán y euskera. Además, algunos de los conjuntos de datos subyacentes de TangoIA dependen de traducciones modificadas. Los críticos argumentan que estos conjuntos de datos pueden introducir ocasionalmente artefactos de traducción que sesgan los resultados de la evaluación.
Incluso con estas restricciones, TangoIA sigue siendo una herramienta crítica. Obliga a la comunidad de IA a ir más allá de las capacidades genéricas del lenguaje y a medir la competencia cultural de los modelos de lenguaje modernos.