生成AIの回答に、存在しない事実が混ざっていませんか?

生成AIが作り出す虚構の世界

生成AIは、自然で説得力のある文章を作ります。そのため、間違った内容であっても「きっと正しい」と感じてしまうことがあります。

文章が上手であることと、事実が正しいことは別です。

情報が不足している場合でも、AIはもっともらしい回答を生成する

生成AIは不足した情報を推測で補い、もっともらしい回答を作ることがあります。
存在しない制度や規則、実際には書かれていない契約条件、架空の調査結果、誰も発言していない要望、存在しない関数やプログラムなどが、自然な文章の中に混ざることがあります。

これは一般に「ハルシネーション」と呼ばれています。

詳しい文章ほど、正しいとは限らない

数字、日付、専門用語が入っていると、回答の信頼性が高いように見えます。しかし、具体的であることは正しさの証明にはなりません。

AIに「根拠も示してください」と頼んでも、実在しない出典や、内容と一致しないページを提示する場合があります。

重要な情報ほど一次情報へ戻る

AIの回答を確認するときは、別のAIに同じ質問をして終わりにしてはいけません。両方のAIが同じような誤情報を答える可能性があるからです。

官公庁の公式情報、法令や規則の原文、メーカーの公式マニュアル、契約書、本人の発言、システムの実際の動作、元データなどで確認します。

AIは調査の入口にはなりますが、最終確認の場所ではありません。

出力を3つに分けて扱う

確認できた事実

一次情報と照合できた内容です。

確認が必要な情報

可能性はありますが、根拠を確認できていない内容です。

AIによる提案・推測

アイデアや仮説として参考にする内容です。

AIを疑うことは、AIを否定することではない

計算結果を検算することは、電卓を否定することではありません。
同じように、AIの回答を確認することも、AIを否定する行為ではありません。

「AIがそう言っている」から、「元の情報ではどうなっているか」へ。
その一歩を踏み出せることが、これからのITリテラシーです。

この記事を書いた人

sakurathanks