【朗報】Google、Android開発AIの実力を測る「Android Bench 2.0」公開　トップは「Codex」と組んだ「GPT-6Astra」で達成率28.0％

1: 管理人★

AIは新規開発より既存改修が苦手？より得意？　Android開発の実力を測る「Android Bench 2.0」が公開

米Googleは9月17日（現地時間）、「Android Bench 2.0」を発表した。Androidアプリ開発におけるAIモデルやAIエージェントの実力を測るベンチマーク「Android Bench」の後継となる。これまでの小規模な修正中心の評価では、フロンティアモデルの合格率が90％を超えるなど不十分となったことをうけ、より実務的な長期間タスク（Long-Horizon Tasks：LHT）を評価するように拡張されているという。

【画像】LHTのリーダーボード。合格率（Pass rate）と達成率（Completion rate）が併記されている

「Android Bench 2.0」で新たに追加されたLHT課題は、中級～上級の開発者でも数日から数週間を要する規模になっており、評価方法の説明によると、以下の4カテゴリーで全30タスクが用意されている。

・新規アプリの開発（9タスク）：デザインモックをもとに、多画面のフードデリバリーアプリ「Food Vibes」…

元記事を読む