Astraの進化は、
これまでと違う。

新しいモデルが出ると、前より賢くなったと言われる。実際そうなのだが、その一語の中に性質の違うものが混ざっていると思う。

同じ表の中に、2種類ある

9月3日にGPT-6 Astraが出た。ベンチマークの表が公開されていて、前の世代であるGPT-5.6 Solとの差が並んでいる。他社のモデルも同じ表に載っているが、評価の条件が揃っていない列があるとOpenAI自身が注記しているので、ここでは同じ作り手の前世代との差だけを見る。

推論や開発の列は、数ポイントの動きだ。DeepSWEは72.7%から74.1%。FrontierCode 1.1 Mainは47.5%から53.3%。どちらもまだ上限には遠く、伸びる余地が残っている列で、その中での数ポイントになっている。世代が1つ進んだ、という見え方をする数字だと思う。

同じ表に、ARC-AGI-3がある。7.8%から99.9%。

これは伸びたという言い方が合わない。数ポイントの列と、この列が、1枚の表の中に並んでいる。私たちが引っかかったのはここだった。

ARC-AGI-3は、知識を問う試験ではない。見たことのない環境に放り込まれて、そこで何が起きるのかを自分で確かめながら解いていけるか、そしてどれだけ少ない手数で要領をつかめるかを測る評価だ。運営しているARC Prize Foundationは、Astraが行動の効率でも人間の基準を上回り、実質的に人間と同等の水準に達したとしている。前の世代が7.8%だったところに、この数字が入っている。

動いたのは、成果物の側ではない

桁が変わった列だけを抜き出すと、共通点がある。ScreenSpot-Proは76.9%から92.7%。AutomationBenchは18.1%から41.4%。Terminal-Bench Scienceは22.4%から64.6%。SRE-Benchは、1回で解けた割合が55.9%から88.0%。全部、コンピュータを操作する側の評価だ。

動いているのは正答率だけではない。OSWorldという操作系の評価では、前の世代が1タスクあたり約75分かけて65.7%だったのに対し、Astraは約40分で72.6%だとしている。時間が半分近くになって、精度のほうも上がっている。片方を犠牲にして片方を取った、という形をしていない。

公開されている事例も同じ方向を向いている。KiCadで回路図を基板のレイアウトに落として配線を引く。Blenderで住宅をモデリングして、それをUnreal Engine 5で歩ける空間にする。科学ソフトを操作してシーケンスの品質を確認する。作ったものを自分で見て、違っていれば直す、というところまで入っている。

これまでAIが伸びてきたのは、人間が作る成果物の側だった。文章、コード、画像、動画。作れるものが増えていく進化で、前回との差から次が読めた。今回伸びたのは、人間が道具を使う位置のほうだと思う。

作れるものが増えたのではなく、AIが立っている場所が変わった。

だから、地続きに見えない。

できるようになる前に、やらないが要る

画面を操作させるというのは、取り返しのつかない操作を許すということでもある。文章や画像なら、気に入らなければ捨てればいい。操作は残る。送られたメールも、書き換えられたレコードも、戻らない。

だからこの領域は、性能が足りていても任せられない時期が続いたのだと思う。実際、今回OpenAIが能力の数字と一緒に出しているのは、範囲を超えなかったかどうかの数字だ。本番向けの保護を外した状態で、困難あるいは実行不可能なタスクに当たったとき、前世代のSolは48%のケースで許可された対象の範囲を超えた。Astraは0%だとしている。コンピュータ利用の安全性を測る社内評価でも、22.0%から2.4%に下がっている。

もう1つ、性質がよく出ている評価がある。OpenAIは自動レビューの仕組みを持っていて、モデルの操作がそこで差し止められることがある。その評価では、設定の側に抜け道をわざと残してある。抜ければタスクは完了できるが、抜けたら失敗と数える。社内評価で、Astraがその抜け道を通ろうとしたことは一度もなかったとしている。

つまり今回動いたのは、できることの範囲だけではない。やらないことの精度のほうも、同時に動いている。画面を渡せるかどうかは、そこが揃うかで決まっていた。

そしてこの列は、能力のベンチマークには出てこない。総合スコアにも入らない。

だから、総合点では見えない

複数の評価を1つにまとめた総合指数のような列もある。そこではAstraが他社の最新モデルを下回っている項目もある。平均に均すと、桁が変わった1列は薄まって消える。

私たちは、AIの出力は平均に収束すると書いてきた。同じことが、AIを測る数字の側でも起きている。総合点は、多くの列の平均だからだ。

平均に収束するのはモデルの出力だけではなく、それを測る数字の側でも起きている。

モデルを選ぶときも、私たちは総合的な評判では決めていない。最上位のモデルは、価格差ほどの性能差が自分たちの用途で出なかったので、候補から外した。今回の表は、その見方をもう一段はっきりさせたと思う。見るのは全体の点ではなく、前の世代と桁が変わった列が1つでもあるかどうか。そこだけが、次に何ができるようになったのかを指している。

Astraの進化がこれまでと違うというのは、点が高いという話ではない。上がった場所が違うという話だ。

その1列が自社のどの業務に当たるのかは、業務の側を分かっていないと結び付けられない。私たちがクライアントの現場に入っているのは、その結び付けが外からでは書けないからです。