Android Bench 2.0 stellt langfristige Aufgaben und kontinuierliche Bewertung vor

Google hat Android Bench 2.0 veröffentlicht — ein umfangreiches Update seines Benchmarks, der bewertet, wie gut große Sprachmodelle Entwicklern bei realer Android-Arbeit helfen. Die wichtigste Neuerung ist der erste Satz langfristiger Aufgaben (Long-Horizon Tasks, LHT): komplexe Aufgaben, die bei einem Ingenieur normalerweise mehrere Tage und manchmal bis zu einer Woche dauern. Das Release umfasst außerdem die agentische Bewertung (zunächst mit Agenten der jeweiligen Modellanbieter) und die Angleichung des Frameworks an das Harbor-Framework. Frühere Versionen des Benchmarks waren auf kleine Änderungen zugeschnitten — hauptsächlich Bugfixes und kleine Feature-Anfragen —, was die damaligen Einschränkungen von KI-Assistenten widerspiegelte.

Die neuen langfristigen Aufgaben sollen die ambitionierte Arbeit nachbilden, die Entwickler tatsächlich an KI delegieren. Dazu gehören das Aktualisieren von Abhängigkeiten, das Hinzufügen neuer Funktionen, das Erstellen von Apps von Grund auf und das Portieren einer plattformübergreifenden App auf Android. Um solche mehrtägigen Anstrengungen zu bewerten, entfernt sich Google vom binären System „bestanden/nicht bestanden“, das seiner Ansicht nach die tatsächlichen Fähigkeiten des Modells verschleiert. Ein Lauf, der 40 Screens auf Jetpack Compose umstellt, Datenbanktabellen einrichtet und 90 % der Anforderungen erfüllt, aber an einer einzigen Randfall-Prüfung scheitert, hätte im alten System 0 % erhalten. Die kontinuierliche Bewertung liefert nun einen Abschlussprozentsatz, der sich aus Faktoren wie Funktionalität, visueller Übereinstimmung und dem Vermeiden von Regressionen zusammensetzt, mit objektiven Abzügen für Abweichungen von den Bewertungsanweisungen oder strukturellen Einschränkungen.

Die Ergebnisse zeigen klare Stärken und Schwächen. Die beste Erfolgsquote bei den langfristigen Aufgaben liegt bei rund 28 %, weit unter den rund 91 % bei den ursprünglichen Aufgaben des Benchmarks. Über alle Modellklassen hinweg ist zu erkennen, dass KI neuen Code besser schreibt als bestehenden refaktoriert: Refactoring und Migrationen hängen von der architektonischen Komplexität ab, nicht vom Codeumfang. Modelle bewältigen etablierte, deterministische Transformationen zuverlässig — etwa die Übersetzung von Java nach Kotlin, den Wechsel von Retrofit zu Ktor oder das Hinzufügen einer ViewModel-Schicht — und wenden diese Muster selbst bei mehr als 125 Dateien und über 8.000 Codezeilen konsequent an. Dafür geraten sie ins Stocken, wenn eine Aufgabe eine Laufzeitprüfung erfordert (etwa fehlende Dependency-Injection-Graphen), Breaking Changes im Framework umfasst oder auf Wissenslücken zu noch nicht veröffentlichten Bibliotheken stößt.

Die Portierung plattformübergreifender Apps auf Android bleibt eine offene Aufgabe: Kein Modell erreicht 100 % Erfolg, und die besten Modelle stoßen bei rund 80 % Abschluss an ihre Grenze. Die agentische Evaluierung gehört nun zum Benchmark, beginnend mit Modellen in Paarung mit den Agenten ihrer Anbieter — etwa GPT 5.6 Sol auf Codex und Gemini 3.8 Flash auf Google Antigravity. Diese Kombination zeigt, dass das Harness-Design entscheidend ist: Prompt-Caching und kompakte Tool-Fensterung senken den Token-Verbrauch. Auch die Bestenliste wurde erweitert: Hinzu kamen Gemini 3.8 Flash, Gemini 3.7 Flash, GPT-6, Fable 5.1, Kimi K3 und Qwen 3.8 Max; angeführt wird sie von GPT-6 Astra von OpenAI mit 28 % Erfolg.