AIが間違えることは、
問題ではない。

事実を取り違えたのなら、照合すれば分かる。元の資料に当たれば済む。

分からないのは、事実を組み立てて結論に至る途中で、何が置かれたかの方だ。

答えを間違えるのと、組み立てを間違えるのは違う

AIは間違える。だから人が見る工程を置く。この点に異論を聞いたことはない。導入の相談でも、最初に出てくる不安はたいていここにある。

ただ、そこで想定されているのは、聞いたことに違う答えが返ってくる種類の間違いだと思う。数字が違う、名前が違う、出典が実在しない。

これは照合で終わる。割合も数えられる。十のうち一つ外れるなら、十を確認する工程を組めばいい。分量が読めれば、時間もコストも見積もれる。

いま任せているのは、そういう仕事ではなくなっている。いくつかの事実を並べて、突き合わせて、こうだから、こうなる、と組み立てる仕事を渡している。

その工程では、必要なパーツが一つ欠けたときに止まらない。近い事例で代える。ありそうな数値を置く。隣で似た構成があれば、それを当てる。そうやって先へ進んで、結論まで到達する。

出てくるのは結論だけだ。途中で何を土台にしたのか、それが確かめた事実だったのか、置いただけのものだったのかは、結論の形には出ない。

確かめたことと、埋めたことが、同じ顔をしている

先日、こういうことがあった。公開しているページの状態を確認して、まだ直っていない、と報告が上がった。実際に見ていたのは配信の途中に残っていた古い写しで、手元のファイルはとっくに直っていた。

このとき土台になっていたのは、取得した、という事実だ。それ自体は本当だ。ただ、取得したものが今の中身かどうかは確かめられていない。そこが埋められたまま、直っていない、という結論まで組み上がっている。

同じ日に、もう一つあった。ファイルの置き場所を聞かれて、ここです、と場所を指定した。土台は、隣で動いている別のプロジェクトが同じ形だったこと。これは事実ではなく類推だ。実際には別の方法で運用されていて、指定した場所は存在しなかった。

二つに共通しているのは、どちらにも「たぶん」が付いていなかったことだ。確かめて置いた土台と、近いところから当てた土台が、同じ語尾で並ぶ。

しかも、どちらにも根拠らしきものが添えてある。読む側から見ると、根拠が付いているという点でも同じに見える。

同じ報告の中で、実際に開いて数えた箇所は正確だった。五つのファイルに散っていた同じ数字を、要約ファイルまで含めて漏れなく拾っている。当たっているところと外れているところが、一本の文章の中に混ざる。全部が信用できないなら、まだ扱いやすい。

以前、情報が足りないときにAIが止まらなくなったと書いた。止まっていた頃は、その停止位置が指示の穴を示していた。止まらなくなると、空欄は推定で埋まって完成する。あれは工程の内側で起きる話として書いたが、同じことが、人に渡す報告の文面でも起きている。

さらに前には、確定値と分析と提案を同じ棚に置かないとも書いた。あれは渡す側の話で、入力を種類で分ける設計だった。返ってくる側にも同じ区別が要る、という話をしていなかった。

結論は、検算できない

その日、二つとも潰れた。ただ、潰した人は、結論を読んで合っているかを判定したのではない。結論だけを見ても、合っているかどうかは分からない。もっともらしく組み上がっているからだ。

見ていたのは、その結論が何を土台にしているかの方だった。土台は一つではない。三つのこともあれば、十のこともある。それを一つずつ、これは確かめたものか、置いただけのものか、と当たり直していく。

十のうち九つが事実でも、一つが埋められたものなら、結論は変わる。一つで足りる。

だから、結論の側からは潰せない。潰せるのは、土台を一つずつ当たり直せる人だけになる。

潰せる人は、増えない

そして、当たり直せるのは、その業務を端から端まで知っている人だ。使っている道具の癖も、過去に同じところで何が起きたかも、十年分の経緯も持っている。だから、その土台は違う、と即座に言える。

ただ、これは再現しない。同じやり取りを、引き継いだばかりの担当者がしたらどうなるか。文面は同じで、根拠らしきものも添えてある。通る。通ったまま、報告が上に上がる。上がった先で、それが社外に出る。

導入の相談でよく聞くのは、AIが間違えるのが不安だ、という話だ。ただ、話を進めると、詰まるのはたいてい別のところにある。誰がその土台を当たり直せるのか。その人は何人いるのか。増やせるのか。

潰せる人が一人しかいない状態は、その一人が見ていない案件では誰も見ていないということでもある。

人を増やして解こうとすると、その水準の人を増やす話になる。判断できる人は、業務を分かっている人だ。採用と育成の話になり、数ヶ月から数年かかる。導入の速度とは合わない。

そして、範囲が広がるほど薄くなる。一人が全部を見ていられるのは、案件が数えられるうちだけだ。部署が増え、拠点が増え、扱う業務が増えると、その人が見ていない場所の方が多くなる。導入が進むほど、この状態に近づいていく。

だから、根拠を文の中に置かせる

そこで、当たり直し方の方を、人の頭の外に出せないかを考えた。

今のところ、他人に渡せる形になったものが一つある。土台が、結論と同じ文の中に書かれているか、という一点だ。

これは実際に取得して確かめた。これは資料を読んだだけ。これは一般論。この区別を、別行の注釈ではなく、主張と同じ文に埋めさせる。

別行にすると後から足せるし、足したことに書いた側も気づかない。同じ文に入れさせると、土台が無い場合はその文自体が書けなくなる。

効き方は地味だ。出力が正しくなるわけではない。外れる割合も変わらない。変わるのは、読む側が、十ある土台のうちどれが埋められたものかを見つけられることだ。見つかれば、そこだけ当たり直せばいい。全部を疑う必要がなくなる。

そして、この判定には中身の知識がいらない。十年分の経緯を持っていなくても、文を見れば分かる。中身を知っている人にしかできなかった仕事の、一部だけが外に出る。

運用してみると、書けない文が出る。そこが、これまで見えていなかった土台になる。先の例でいえば、公開中のページを見たという文に、いつ取得したものかを同じ文に書かせていれば、その時点で止まっていた。

完全ではないと思う。根拠らしきものを添えて書いてくることはある。それでも、確かめた土台と置いた土台が同じ顔で並ぶ状態よりは、確率が下がる。ルールを一つ渡せたということは、その分だけ、判断が一人に貼り付いていない状態に動いたということでもある。

この線引きは、外から眺めていても出てきません。私たちが自分の仕事で毎日同じ道具を使い、同時にクライアントの現場に入っているのは、どこで嘘が通ったかを自分で踏まないと、人に渡せる形にならないからです。