Android Bench 2.0 présente des tâches de longue durée et une évaluation continue

Google a publié Android Bench 2.0, une mise à jour majeure de son benchmark qui évalue dans quelle mesure les grands modèles de langage aident les développeurs à travailler réellement sur Android. La principale nouveauté est le premier ensemble de tâches de longue durée (long-horizon tasks, LHT) : des tâches complexes qui prennent habituellement plusieurs jours à un ingénieur, parfois jusqu'à une semaine. Cette version inclut également une évaluation agentique (d'abord sur les agents des fournisseurs de modèles correspondants) et l'alignement du framework sur le framework Harbor. Les premières versions du benchmark étaient axées sur de petites modifications — principalement des corrections de bugs et de petites demandes de fonctionnalités —, ce qui reflétait les limites des assistants IA de l'époque.

Les nouvelles tâches de longue durée visent à reproduire le travail ambitieux que les développeurs délèguent réellement à l'IA. On y trouve notamment la mise à jour des dépendances, l'ajout de nouvelles fonctionnalités, la création d'applications à partir de zéro et le portage d'une application multiplateforme vers Android. Pour évaluer ces efforts de plusieurs jours, Google s'éloigne du système binaire « réussi/échoué » qui, selon elle, masque les capacités réelles du modèle. Un passage qui convertit 40 écrans en Jetpack Compose, configure des tables de base de données et satisfait 90 % des exigences, mais trébuche sur une seule vérification de cas limite, aurait obtenu 0 % dans l'ancien système. L'évaluation continue fournit désormais un pourcentage d'achèvement, calculé à partir de facteurs tels que la fonctionnalité, la fidélité visuelle et l'absence de régressions, avec des pénalités objectives en cas d'écart par rapport aux instructions d'évaluation ou aux contraintes structurelles.

Les résultats révèlent des forces et des faiblesses évidentes. Le meilleur taux de réussite sur les tâches de longue durée est d'environ 28 %, bien en dessous des quelque 91 % observés sur les tâches originales du benchmark. À tous les niveaux de modèles, on constate que l'IA écrit mieux du nouveau code qu'elle ne refactore le code existant : la refactorisation et les migrations butent sur la complexité de l'architecture, et non sur le volume de code. Les modèles gèrent de manière fiable les transformations déterministes bien établies — par exemple la conversion de Java en Kotlin, le remplacement de Retrofit par Ktor ou l'ajout d'une couche ViewModel —, en appliquant ces modèles de manière cohérente même sur plus de 125 fichiers et plus de 8 000 lignes de code. En revanche, ils peinent lorsqu'une tâche nécessite une validation à l'exécution (par exemple, des graphes d'injection de dépendances manquants), entraîne des changements cassants dans le framework ou bute sur des lacunes de connaissances concernant des bibliothèques encore non publiées.

Le portage d'applications multiplateformes vers Android reste un défi ouvert : aucun modèle n'atteint un taux de réussite de 100 %, et les modèles de pointe plafonnent à environ 80 % de taux d'achèvement. L'évaluation agentique fait désormais partie du benchmark, à commencer par les modèles associés aux agents de leurs fournisseurs — par exemple GPT 5.6 Sol sur Codex et Gemini 3.8 Flash sur Google Antigravity. Ce jumelage montre que la conception du harness compte : la mise en cache des prompts et le fenêtrage compact des outils réduisent la consommation de jetons. Le classement s'est également élargi, avec l'ajout de Gemini 3.8 Flash, Gemini 3.7 Flash, GPT-6, Fable 5.1, Kimi K3 et Qwen 3.8 Max ; GPT-6 Astra d'OpenAI arrive en tête avec un taux de réussite de 28 %.