Android Bench 2.0 incorpora tareas de largo plazo y evaluación continua

  • PublicPublic
  • 18 Sep, 2026
Android Bench 2.0 incorpora tareas de largo plazo y evaluación continua

Google ha lanzado Android Bench 2.0, una actualización importante de su benchmark, que evalúa hasta qué punto los grandes modelos de lenguaje ayudan a los desarrolladores en el trabajo real con Android. La principal novedad es el primer conjunto de tareas de largo plazo (long-horizon tasks, LHT): trabajos complejos que a un ingeniero suelen llevarle varios días y, en ocasiones, hasta una semana. La versión también incluye evaluación agéntica (de momento con agentes de los respectivos proveedores de modelos) y la adaptación del framework al framework Harbor. Las primeras versiones del benchmark se centraban en cambios pequeños, sobre todo corrección de errores y solicitudes de funciones menores, lo que reflejaba las limitaciones que tenían entonces los asistentes de IA.

Las nuevas tareas de largo plazo están pensadas para reproducir el trabajo ambicioso que los desarrolladores delegan realmente en la IA. Entre ellas figuran actualizar dependencias, añadir nuevas funciones, crear aplicaciones desde cero y migrar una aplicación multiplataforma a Android. Para evaluar estos esfuerzos de varios días, Google abandona el sistema binario de «aprobado/suspenso», que, en su opinión, oculta la capacidad real del modelo. Una ejecución que migra 40 pantallas a Jetpack Compose, configura las tablas de la base de datos y cumple el 90 % de los requisitos, pero falla en una sola comprobación de un caso límite, con el sistema anterior obtendría un 0 %. La evaluación continua arroja ahora un porcentaje de cumplimiento, calculado a partir de factores como la funcionalidad, la fidelidad visual y la ausencia de regresiones, con penalizaciones objetivas por desviarse de las instrucciones de evaluación o de las restricciones estructurales.

Los resultados muestran fortalezas y debilidades claras. La mayor tasa de éxito en las tareas de largo plazo ronda el 28%, muy por debajo del 91% aproximado que se obtiene en las tareas originales del benchmark. En todos los niveles de modelos se observa que la IA escribe mejor código nuevo que el que refactoriza el código existente: la refactorización y las migraciones dependen de la complejidad de la arquitectura, no del volumen de código. Los modelos resuelven con fiabilidad las transformaciones deterministas y bien establecidas, por ejemplo convertir Java a Kotlin, sustituir Retrofit por Ktor o introducir una capa ViewModel, y aplican estos patrones de forma coherente incluso en más de 125 archivos y más de 8000 líneas de código. En cambio, se atascan cuando la tarea exige validación en tiempo de ejecución (por ejemplo, grafos de inyección de dependencias ausentes), implica cambios incompatibles en el framework o se topa con lagunas de conocimiento sobre bibliotecas aún no publicadas.

La migración de aplicaciones multiplataforma a Android sigue siendo un reto abierto: ningún modelo alcanza una tasa de éxito del 100%, y los mejores modelos tocan techo en torno al 80% de finalización. La evaluación agéntica ya forma parte del benchmark, empezando por los modelos emparejados con los agentes de sus proveedores, por ejemplo GPT 5.6 Sol en Codex y Gemini 3.8 Flash en Google Antigravity. Este emparejamiento demuestra que el diseño del harness importa: el almacenamiento en caché de prompts y el uso de ventanas compactas de herramientas reducen el consumo de tokens. La tabla de clasificación también se ha ampliado: se han añadido Gemini 3.8 Flash, Gemini 3.7 Flash, GPT-6, Fable 5.1, Kimi K3 y Qwen 3.8 Max; GPT-6 Astra, de OpenAI, lidera con un 28% de éxito.