AIチャットボットが「わからない」と言わずに作り話をする理由

AIチャットボットに答えられない事実質問をすると、めったに「わからない」とは答えない。多くの場合、自信に満ち、流暢で、完全にでっち上げられた回答を生成する。研究者はこれを幻覚と呼び、科学者が初期の成果を共有するプレプリントサーバーarXivに投稿された新しい論文が、なぜそれが起こるのかについて情報理論的な説明を提供している。

核心的な主張は驚くほど直感的だ。言語モデルがもっともらしく聞こえるテキストを生成するように訓練されると、もっともらしい何かを推測することは、拒否するよりも安全な賭けであることが多い。単調な「わからない」はほとんど情報を含まず、訓練データでは流暢な回答よりもはるかに少ない頻度でしか現れない。論文はこの問題を可能な出力の空間という観点から定式化している。モデルは目にするテキストでの誤差を最小化するように最適化され、その目的は正直な沈黙よりも自信に満ちた作り話を静かに報いる。

この研究の詳細な議論が、しばしば中国版Quoraと称される中国のQ&AプラットフォームZhihuに登場し、論文の著者の一人が読者に研究の動機を説明した。著者は、プロジェクトがモデル行動に関する先行研究の批判的読解から始まり、言語モデルがなぜ幻覚を起こすかの分析を含み、情報理論の抽象的な限界から、無知を認めないチャットボットという実践的な難問へと徐々に移行した経緯を述べた。

この説明が重要なのは、幻覚がAIシステムを信頼する上での最大の障害の一つだからだ。法的引用、医療用量、歴史的な日付をでっち上げるモデルは、簡単に確認する方法を持たないユーザーを誤導する可能性がある。その傾向がこれらのシステムの訓練と評価の方法に組み込まれているなら、単にユーザーに「すべてを検証せよ」と言うだけでは完全な解決策にはならない。

一つの含意は、修正が訓練段階から始まる必要があるかもしれないということだ。モデルが不確実性を表現することで報われたり、回答を拒否することが有効で望ましい結果として扱われたりすれば、でっち上げる誘因は弱まるだろう。一部の研究者は、モデルにもっと頻繁に「確信がない」と言うように教えることを提案しているが、役に立たないほど慎重にすることなくそれを行うのは微妙なバランスだ。

Zhihuのスレッドはまた、より広いテーマにも触れた。技術研究がどのように公衆の理解へと伝わるかである。専門家向けに書かれた論文は、著者や知識のあるコメンテーターが平易な言葉に翻訳すると、何百万人もの読者に届くことがある。この場合、議論が注目を集めたのは製品発表のためではなく、「なぜ私のAIは作り話をするのか」という問いが普通のユーザーが毎日尋ねるものだからだ。

現時点でこの論文はプレプリントであり、正式な査読をまだ完了しておらず、その結論は他の研究者によって検証され議論されるだろう。しかし、この枠組みは有用だ。幻覚は単にパッチを当てて取り除けるバグではないかもしれない。それはこれらのシステムがどのように構築され評価されるかの予測可能な結果かもしれず、それを理解することが、自分が知っていることの限界を知るAIを構築する第一歩である。