検証が効くほど、
人は見なくなる。

記事を書くAIと、それを検めるAIを分けている。分けてから、出てくるものは明らかに良くなった。

ただ、良くなったのは事実の正しさの方だけだった。

検めるAIは、効いている

私たちが運営しているAIメディアでは、記事を作る工程をエージェントに割ってある。一次情報を集める役、書く役、書かれたものを元の情報と照合する役、読者として疑う役。書く役と検める役は、別のモデルで走らせている。同じ系統に自己申告させても、同じ盲点が返ってくるからだ。

これは効いた。以前は、数字の出どころが辿れない、前半と後半で違うことを言っている、引用元が実在しない、といったものが普通に出てきた。検める役を分けてから、そういうものは目に見えて減った。

検める役が見ているのは、たとえばこういうところだ。本文の数字が、一次情報のどの行から来たものか。引用したページが今も存在するか。前段で増えたと書いたものを、後段で横ばいと書いていないか。どれも、人がやれば必ずどこかで飛ばす種類の確認になる。

そして速い。人が同じ照合をやれば半日かかるものが、数分で終わる。しかも、疲れて緩むということがない。三十本目でも一本目と同じように当たりにいく。人手でやると、まず誰がやるのかで止まる工程だった。

だから、検証を重ねること自体は正しいと思っている。ここは疑っていない。以前、書く担当を増やしても文章はよくならず、足すべきは書けない役の方だったと書いた。あの結論は変わっていない。

通ったものは、さらっと見る

変わったのは、その後ろだ。

二重で検められたものを、最後に人が見る。工程としては、ちゃんと残っている。ただ、そこに来るのは既に通ったものだ。指摘は潰されていて、体裁は整っていて、根拠らしきものも添えられている。その状態で渡されたものを、端から端まで疑う人はいない。さらっと見て、通す。

ちゃんと見るなら、時間がかかる。数字を一つずつ元の資料に当たり直して、主張の順序を追い直して、書かれていないことを探す。実際にやれば数時間になる。そして、ほとんどの回は何も出ない。検証が効いているのだから、当然そうなる。

何も出ない数時間を、人は繰り返せない。三回続けて何も出なければ、四回目は流す。これは気の緩みというより、確率に対する素直な反応だと思う。

同じ話が、外の現場でも出た。AIの出力をAIに検証させて、そのあと人が確認する。その確認が、どうしてもさらっとになる。ちゃんとやれば数時間かかり、AIに任せれば数分で終わる。自分たちで動かしたうえで、そこまで分かっていた。

これは、検証が効いていないから起きているのではない。効いているから起きている。

検証が効いているということは、そのあと人が見なくなるということでもある。

落ちるのは、合っているかではない

では、省かれた数時間の中身は何だったのか。

事実の照合ではない。それはAIが数分で終わらせている。人がその時間をかけていたとき、実際に見ていたのは別のことだと思う。これは誰に出すのか。受け取った相手は、これを読んで何をするのか。そもそも、これを作る必要があったのか。

この三つは、検証項目にならない。

検証項目にできるのは、出てきたものを見れば判定がつくことに限られる。数字が合っているかは、元の資料と突き合わせれば分かる。前後で矛盾していないかも、読めば分かる。要るのかどうかは、出てきたものをいくら読んでも分からない。判断の材料が、そもそも別の場所にあるからだ。

以前、手順を細かく書くのをやめて、合否の条件を先に書くようにしたと書いた。何をどの順でやるかは任せて、何が満たされたら通ったことにするかだけを、こちらが決める。あれは今も有効だと思っている。ただ、合否の条件は工程の内側にしか置けない。条件そのものが妥当かどうかは、その工程を何周回しても出てこない。

合否の条件を先に書くということは、その条件の外側は誰も見ないということでもある。

検証は、出てきたものを受け取るところから始まる。受け取った時点で、それが作られたこと自体は前提になっている。

だから、始める前に決める

検証をもう一段足しても、この位置は変わらない。足した役もまた、出てきたものを受け取るところから始まる。三段目も四段目も同じで、何段重ねても、作る前には戻らない。

以前、私たちのMCPサーバーは計算を一切しないと書いた。合計も比率も返さず、生の値だけを渡す。分母をどこに置くかは案件ごとの判断で、それを取得の口に埋めると、由来が追えなくなるからだ。判断を、道具の側に持たせない。

同じことが、判断する側でも起きていた。工程を増やすと、判断したような感じになる。三重で検めた、別のモデルで検めた、と言えるようになる。ただ、増えているのは検める回数であって、何のためにやるかを決める工程は一つも増えていない。

だから、人が持つのはそこだと思う。工程を足すことではなく、始める前に、これは誰に何のために出すのかを決めること。決まらないまま走らせると、後ろの工程は全部正常に動いて、正常に完成する。完成しているので、なおさら引っかからない。

未確認は未確認と書き込ませる。結論の形をとらせない。それに加えて、作る前に一度、これは要るのかを人が決める。この一手だけは、後ろに回せない。

その一手は、業務が分かっていないと持てません。何のために出すのかは、現場の側にしかないからです。私たちが自分たちの仕事で毎日同じ道具を使いながら、同時にクライアントの現場に入っているのは、その両方がないとこの一手が持てないからです。