1つのモデルに
寄せない理由。

1つに寄せた方が、設計も管理も楽になる。実際に使ってみて、そうしない方がいいと判断した理由が2つある。

モデルには、癖がある

同じ質問を複数のモデルに投げると、返ってくるものが違う。事実関係が違うのではなく、組み立て方が違う。

箇条書きで整理してくるもの。前置きを長く取るもの。断定を避けるもの。逆に言い切るもの。どれが正しいという話ではなく、それぞれに傾向がある。

1つのモデルに全部を任せると、その傾向が会社の出力全体に乗る。企画書も、分析も、メールの下書きも、同じ組み立て方になる。使っている本人は気づきにくい。毎回そう返ってくるので、それが普通に見えてくる。

第1回で、AIは平均に収束すると書いた。あれはモデルの内部で起きる話だったが、1つに寄せると、その平均が組織の出力にも広がる。

1社の出力が、1つのモデルの癖で染まる。効率化ではなく、均質化に近い。

問いには、重さの違いがある

もう一つの理由は、問いの重さが違うことだ。「先週の投稿の数字を出して」と「来期の戦略を考えて」は、同じ質問の形をしているが、必要なものがまったく違う。前者は事実の取り出しで、後者は判断を含む。

軽い問いに重いモデルを当てても、答えはほとんど変わらない。時間とコストだけが増える。逆に、複数の案件を横断して考えるような問いに軽いモデルを当てると、文章としては整っているが中身の薄いものが返ってくる。

だから、問いの側を見て振り分けている。判定に使っているのは、質問の長さと、含まれている語だ。全クライアント、比較、戦略、来期、中長期、横断、総合。こうした語が入っていて、なおかつ問い自体が長い場合だけ、重いモデルに回す。

短くて分析系の語も含まない問い合わせは、軽いモデルで十分だった。実際、この振り分けを入れても答えの質は落ちなかった。落ちたのはコストの方だけだ。

一番高いモデルを、外した

振り分けを設計する過程で、最上位のモデルを候補から外した。性能は確かに高い。ただ、私たちの業務で扱う問いに対しては、その一段下のモデルとの差が、価格差ほどには開かなかった。差が出る場面はあるが、限られている。

高い方が良い、という前提を持ったままだと、この判断はできない。実際に同じ問いを両方に投げて、返ってきたものを並べて比べる必要がある。手間はかかるが、一度やれば済む。

加えて、フォールバックの順序も決めてある。1つのモデルに寄せていると、そこが止まったときに業務も止まる。用途ごとに、第一候補が使えないときは何へ回すかを事前に決めている。これは思想の話ではなく、運用上の現実だ。

平均から、離れるために

5回に分けて書いてきたことは、ひとつの話につながる。AIは放っておくと平均に寄る。学習の仕組みがそうなっているので、何もしなければ、どの会社が使っても似た答えが出てくる。

そこから離れるために、渡す情報を絞り、性質を持たせ、外れた記録を残し、答える側のモデルを分けた。どれも地味な作業で、一度にできるものでもない。

どの情報がどの場面で効くのか、何を良しとするのか。この5回で書いてきたことは、結局その判断をどう仕組みに移すかという話でした。