事実と提案と雑談を、
同じ棚に置いてはいけない。

私たちのAI基盤には、いろいろなものが入っている。クライアントの実績数値。そこから導いた分析。社内のブレストのログ。出す前の提案書。外から拾った参考記事。投稿前に立てた予測値。

これらは、テキストとしては同じ形をしている。日本語の文章で、長さも似たようなもので、見分けがつかない。区別せずに放り込めば、AIにも見分けはつかない。

ボツ案が、方針の顔をして出てくる

最初に気づいたのは、答えの中身がおかしいときだった。

去年ボツになった案が、確定した方針と同じ調子で出てくる。ブレストの途中で誰かが言っただけの思いつきが、実績のように語られる。試して合わなかったやり方が、推奨として並ぶ。

厄介なのは、文章としては何も破綻していないことだ。日本語は整っているし、根拠として引いている記述も実在する。ただ、その記述がどういう性質のものかを、AIは知らない。

人が読めば分かる。これは決まったこと、これは言ってみただけ、これは没にしたやつ。その判断は、書かれた文章の中にはない。書いた人と、その場にいた人の頭の中にある。

検索の仕組みは、意味が近いものを拾ってくる。だから、去年の議論と今年の方針が同じ話題を扱っていれば、両方とも同じくらい近いものとして上がってくる。近さは測れても、確からしさは測れない。

同じ形をしているからといって、同じ重さで扱っていいわけではなかった。

情報に、性質を持たせる

やったのは、一つひとつに種類のラベルを持たせることだった。

確定した数値や実績は、事実。そこから導いた解釈は、分析。まだ結論の出ていない会話は、議論。実行前のものは、提案。外部から拾ったものは、参考。出す前に立てた数字は、予測。この六つに分けている。

分け方そのものに正解があるわけではない。私たちの仕事の形に合わせて、この粒度に落ち着いた。大事なのは数ではなく、保存する時点で決めておくことだと思う。あとから見分けようとしても、もう手がかりが残っていない。

この作業は、地味だが軽くはない。入れる時に毎回、これは何なのかを決めることになる。ただ、ここを飛ばすと、後段でどれだけ工夫しても答えの質は上がらなかった。

一つ気をつけているのは、性質と正しさを混同しないことだ。事実だから常に優先されるわけではない。数字が正確でも、去年のものなら今の判断には使えない。性質は、その情報が何であるかを示すだけで、いつ効くかは別に決めている。

質問によって、引き方を変える

性質を持たせると、質問の種類に応じて引き方を変えられるようになる。

来期の戦略を考えるときなら、実績と分析を主軸に置く。関連する議論と過去の提案は、補助として添える。別の案件の数値は、混ざると邪魔になるので外す。

事実だけを知りたいときなら、議論と提案は要らない。逆に、案を広げたいときは、議論や、一度ボツにしたものも見たい。ボツになった理由の中に、次の手がかりがあることがある。

同じデータベースを使っていても、引き方が違えば、返ってくるものは別物になる。情報を足すのではなく、その都度どれを主役にするかを決めている。

前回、検索の前に対象を絞るという話を書いた。あれが場所を決める作業だとすれば、こちらは重さを決める作業になる。二つは別のもので、片方だけでは足りなかった。

外れた記録が、次をつくる

副産物として、学習のループが回るようになった。

投稿の前に予測値を出す。あとから実際の数値が出る。予測と実測を別の性質として持っているので、この二つを突き合わせられる。ずれた幅と、ずれた理由が、次の分析になる。

これは、実測しか残していないと成立しない。多くの現場では、結果だけが記録され、事前に何を見込んでいたかは残らない。だから外れたことに気づけないし、なぜ外れたのかも分からない。

AIが賢くなる条件は、データの量ではなく、間違いが残っているかどうかなのだと思う。正解だけを集めた基盤は、正解を繰り返すだけで、更新されない。

残すべきは、うまくいった記録より、外した記録のほうだった。

情報を集めるのは、始まりに過ぎない。集めたものが何なのかを決めておかないと、AIはそれを平等に扱う。そして平等に扱われた瞬間、事実も雑談も同じ重さになる。

事実と提案と雑談を、同じ棚に置いてはいけない。少なくとも私たちの場合、そこを分けるまで、答えは本物にならなかった。