生成AIの「ハルシネーション（誤回答）」を防ぐ運用のコツ

「AIが堂々と嘘をつくんです」という相談が一番多い

私のところに来る相談で、ここ最近もっとも多いのが「ChatGPTに聞いたら、ありもしない制度を自信満々で答えてきた」という話です。先日も天神の社労士事務所の方から、「補助金の要件をAIに聞いたら実在しない条文番号を出してきて、危うくお客様に渡すところだった」とご連絡をいただきました。

これがいわゆるハルシネーション（誤回答）です。結論から言うと、現在の生成AIで誤りを完全にゼロにすることはできません。ただし、使い方の「型」を決めるだけで、業務で困るレベルの誤りは大幅に減らせます。この記事では、私がKOKORASHI AI（ココラシエーアイ）の導入支援で実際にお伝えしている運用のコツを順番に書いていきます。

そもそもハルシネーションはなぜ起きるのか

博多の不動産会社さんから「AIはネットで調べて答えてるんですよね？」と聞かれたことがあります。実はここに誤解があります。多くの生成AIは、その場で検索しているわけではなく、学習した膨大な文章から「次に来そうな言葉」を確率で組み立てているだけなのです。

だから、もっともらしい文章を作るのは得意でも、それが事実かどうかは保証されていません。特に誤りが出やすいのは次のような場面です。

• 固有名詞や数字：条文番号、価格、日付、人名など「正解が一つ」のもの
• 最新情報：学習時期より後の制度改正や料金改定
• 社内固有の情報：自社の規定、料金表、お客様情報など外部に存在しないもの

私がいつもお伝えするのは、「AIは博識な新人」だと思ってください、ということです。会話は上手だけれど、御社の事情は知らないし、知ったかぶりもする。だから渡し方と確認の仕組みが必要になります。

コツ1：情報源を「渡してから」聞く

誤回答を防ぐ一番効く方法は、AIに自由に答えさせず、こちらが正しい情報を渡したうえで処理させることです。これは記憶に頼らせないので、最も再現性が高い対策です。

春日市の士業の方の例では、就業規則について「一般論で答えて」と聞くと曖昧でしたが、規則のPDFを貼り付けて「この文書の中だけを根拠に答えて」と指示したら、精度が一気に上がりました。具体的にはこう使い分けます。

• 悪い聞き方：「育児休業の取得条件を教えて」（AIの記憶任せ＝誤りが出やすい）
• 良い聞き方：「以下の規程の本文だけを根拠に答えて。書いていないことは『記載なし』と答えて」と前置きして資料を貼る

この「資料を渡して、その範囲で答えさせる」やり方は、AIの仕組みとして近年RAG（検索拡張生成）と呼ばれます。社内マニュアルや料金表をAIに参照させる仕組みは、私の導入支援でも問い合わせ対応のチャットでよく組んでいる構成です。

コツ2：「書いていないことは書かない」と先に縛る

糸島のサロンオーナーさんから「メニュー紹介文を作らせたら、やってもいない施術を勝手に足された」という相談がありました。AIは空欄を埋めたがる性質があるので、放っておくと"創作"します。

これを防ぐには、プロンプトの最初に「縛り」を入れます。私が定番でお渡ししている一文がこれです。

• 「情報が不足している場合は、推測で補わず『情報が足りません』と答えてください」
• 「事実かどうか確信が持てない箇所には【要確認】と印を付けてください」

たったこれだけで、AIが自信のない部分を自己申告してくれるようになります。サロンさんの場合は、この一文を入れてから「事実と違う紹介文」がほぼ出なくなり、確認の手間が大きく減りました。完璧ではありませんが、人がチェックすべき箇所を教えてくれるだけで運用は楽になります。

コツ3：用途で「AIに任せる範囲」を分ける

大事なのは、すべての業務を同じ温度でAIに任せないことです。誤っても影響が小さい仕事と、誤ると事故になる仕事を分けて考えます。久留米の製造業の方には、いつもこの表でご説明しています。

• 気軽に任せてよい：メール下書き、文章のたたき台、要約、アイデア出し（最後に人が読めば十分）
• 渡した資料の範囲だけで使う：社内規定の問い合わせ、料金案内、FAQ回答
• 下書きどまりにする：契約・法令・医療・お金・補助金など、間違いが損害につながるもの

「AIに全部やらせたい」という相談はとても多いのですが、私がお勧めするのは小さく始めることです。まず誤っても怖くない仕事から自動化し、効果を確認してから範囲を広げる。この順番が、結局いちばん早く定着します。

コツ4：人の最終チェックを「仕組み」にする

誤回答対策で見落とされがちなのが、チェックを個人の気合いに頼ってしまうことです。これだと忙しい日に必ず抜けます。私はチェックを"作業の流れの中"に組み込むようにしています。

大野城市の通販事業者さんでは、AIが作ったお客様返信を、いったん下書きフォルダに溜めて担当者が承認してから送る形にしました。AIに任せきりにせず、必ず人が一度目を通す関所を作るわけです。具体的にはこうした仕組みです。

• AIの出力は「送信」ではなく「下書き保存」までにする
• 数字・固有名詞・日付は、元資料と突き合わせて確認する欄を作る
• 誤りを見つけたら記録し、同じ間違いが出る箇所をプロンプトに追記する

LINE公式アカウントのBot開発でも、私は最初から「迷ったら有人につなぐ」導線を必ず入れます。AIが分からない質問に無理やり答えて事故を起こすより、人に渡すほうが安全だからです。

コツ5：効果は「感覚」でなく記録で見る

最後に、対策がちゃんと効いているかを数字で見える化することをお勧めしています。「なんとなく減った気がする」では改善が続きません。

糟屋郡の事業者さんでは、AIの回答に対して「修正なしで使えた／一部修正／使えなかった」の3段階を1日5分だけ記録してもらいました。すると、どの種類の質問で誤りが多いかが見えてきて、その質問だけ資料を追加で渡す、という改善につながりました。

私がいつもお伝えするのは、ハルシネーション対策はツール選びより運用の設計が9割だということです。誤りを前提に、渡す・縛る・確認する流れを業務に埋め込めば、生成AIは十分に実務で頼れる相棒になります。福岡で「自社の業務でどう仕組み化すればいいか分からない」という方は、KOKORASHI AIにご相談ください。初期費用0円・月額4,800円（税込）から、御社の業務に合わせた使い方の設計からお手伝いしています。

まとめ

• ハルシネーションはゼロにはできないが、運用の型で業務で困るレベルの誤りは大きく減らせる
• 情報源を渡してから聞く（記憶任せにしない）のが最も効く対策
• 「書いていないことは書かない」と先に縛る、誤っても怖くない仕事から小さく始める
• 人の最終チェックを仕組みにし、効果を記録で見える化する。ツール選びより運用設計が9割

よくある質問

Q. ハルシネーション（誤回答）は完全になくせますか？
現在の生成AIでは完全にゼロにはできません。ただし、正しい資料を渡してから答えさせる、書いていないことは書かないと先に指示する、人が最終チェックする、という運用を組み込めば、業務で困るレベルの誤りは大幅に減らせます。誤りを前提にした仕組み作りが現実的な対策です。

Q. どんな業務だと誤回答が特に危険ですか？
契約・法令・補助金・医療・お金に関わる業務など、間違いが損害や信用問題につながるものは要注意です。これらはAIに最終判断をさせず、必ず下書きどまりにして人が確認する運用をお勧めします。逆にメールのたたき台や要約など、人が後で読めば済む仕事は気軽に任せて大丈夫です。

Q. 福岡でAIを業務に入れたいのですが、何から相談できますか？
KOKORASHI AI（ココラシエーアイ）では、どの業務をAIに任せ、どこを人が確認するかという運用設計からお手伝いしています。初期費用0円・月額4,800円（税込）から、社内マニュアルを参照させる問い合わせ対応や、LINE公式アカウントのBotなど、御社の業務に合わせて小さく始められます。