AIの「もっともらしい嘘」を業務で防ぐ5つの型｜福岡の中小事業者が今日から回せる運用

「AIが作った案内文をそのままお客様に送ったら、書いていない割引が書いてあった」——福岡の小売店さんから受けた相談です。生成AIは、事実と違う内容を、いかにも正しそうな文章で書いてしまいます。業界ではハルシネーション（幻覚）と呼ばれる現象です。私はKOKORASHI AI（ココラシエーアイ）という屋号で福岡の中小事業者のAI導入をお手伝いしていますが、導入がうまくいかない原因の上位は、精度そのものより誤りが出る前提で運用を組んでいないことです。結論を先に書くと、ハルシネーションはゼロにできませんが、実務での被害は運用でほぼ防げます。

なぜAIは自信たっぷりに間違えるのか

生成AIは、事実のデータベースを検索して答えているわけではありません。大量の文章から学んだ「次に来そうな言葉」を選んでつなげています。だから、知らないことを聞かれても空欄にはせず、もっともらしい言葉で埋めてしまいます。間違いを間違いだと認識していないので、口調は常に自信満々です。

仕組みが分かると、対策の方向も見えてきます。「もっと賢いAIに変える」より、AIが埋めなくて済むように材料を渡すほうが効きます。

実害が出るのは3つの場面に集中する

相談を受けてきた範囲で、実際にトラブルになるのはほぼ次の3つです。

• お客様に出す文章：料金・営業時間・キャンペーン条件を勝手に作る
• 社内の判断材料：法令や制度の名称、締切、要件を実在しない形で書く
• 公開したAIチャットボットの回答：扱っていないサービスを「対応しています」と答える

逆に、アイデア出し・下書き・言い換えのように、人が必ず手を入れる工程では実害はほとんど出ません。力を入れる場所を3つに絞れば、チェック負担は現実的な量に収まります。

型1：先に資料を渡してから質問する

いちばん効果が大きい対策です。料金表・営業時間・FAQ・過去の案内文を、質問と一緒に貼り付けてから「貼った内容だけを根拠に書いて」と指示します。材料が手元にあれば、AIは推測で埋める必要がなくなります。

福岡市内の整体院さんでは、料金メニューとキャンセル規定をテキストで貼ってから案内文を作らせる運用に変えたところ、料金の書き間違いの相談が来なくなりました。ファイルをアップロードできるプランなら、PDFのままでも構いません。

型2：出力の形を先に決めておく

自由に書かせるほど、余計な情報が混ざります。項目を先に指定すると、埋めるべき欄が明確になり、事実確認もしやすくなります。

• 「見出し・本文3行・料金・注意書き・問い合わせ先、の順で書いて」
• 「箇条書き5つ以内。1項目は40字以内」
• 「料金と日付は、渡した資料に書かれている数字だけを使って」

形が決まっていれば、確認する人も、見るべき欄が一目で分かります。チェックが属人的にならないのが利点です。

型3：「分からない」と言わせる指示を必ず入れる

指示文の最後に1行足すだけで、でっち上げは目に見えて減ります。私がテンプレートに固定している文章は次のものです。

• 「渡した資料に書かれていない項目は、推測せず『資料に記載なし』と書いてください」
• 「確信が持てない箇所には、行末に【要確認】と付けてください」

【要確認】が付いた行だけ人が見ればよくなるので、確認作業そのものが軽くなります。AIに完璧を求めるのではなく、危ない箇所を自己申告させるという発想です。

型4：人が最後に見る箇所を1つに絞る

「全部よく読んで確認してください」という運用は、必ず形骸化します。忙しい現場では3日で読み飛ばしが始まります。代わりに、絶対に目視する対象を1つだけ決めます。

• 案内文なら「数字（金額・日付・時間）だけは必ず原本と突き合わせる」
• 制度の説明なら「固有名詞と締切だけは公式サイトで確認する」
• 見積もりなら「合計金額だけは電卓で検算する」

糸島の工務店さんでは、AIが作った見積もり説明文について「金額欄だけ原本と照合」という1行のルールを貼り出しました。作業は1分もかかりませんが、いちばん被害が大きい間違いが確実に止まります。

型5：出た間違いを記録して指示文に戻す

同じ種類の誤りは繰り返し出ます。見つけた間違いをスプレッドシートに1行ずつ記録し、月1回、指示文のテンプレートに禁止事項として追記してください。

例えば「存在しない割引を書いた」という誤りが出たなら、指示文に「割引・特典は資料に明記されたものだけを書き、無い場合は書かない」と足します。指示文は使い捨てではなく、育てる資産です。3か月も回すと、初期と比べて手直しの量がはっきり減ります。

公開するAIチャットボットには、追加で3つ

お客様が直接触るチャットボットは、間違いがそのまま外に出るので基準を一段上げます。

• 回答の元になる情報をFAQとして用意し、載っていない質問は人へ引き継ぐ設計にする
• 料金・在庫・予約可否など、変動する情報は断定させず、確認方法を案内する形にする
• 公開後もログを見て、誤答した質問をFAQへ追加する運用を続ける

作って終わりにせず、月1回ログを見る時間を確保できるかで、公開後の精度は変わります。

まとめ

• ハルシネーションはAIの仕組み上ゼロにできない。前提として運用を組む
• 資料を先に渡し、出力の形を決め、分からないときは「記載なし」と書かせる
• 目視する対象を1つに絞ると、チェックが形骸化しない
• 出た誤りを記録して指示文へ戻すと、手直しの量が減っていく
• 公開チャットボットはFAQを土台にし、変動情報は断定させない

よくある質問

Q. ハルシネーションとは何ですか？
生成AIが、事実と違う内容を正しそうな文章で書いてしまう現象です。生成AIは事実のデータベースを検索しているのではなく、学習した文章から次に来そうな言葉を選んでつないでいるため、知らないことを聞かれても空欄にせず、もっともらしい言葉で埋めてしまいます。

Q. ハルシネーションを完全になくすことはできますか？
仕組み上、完全にゼロにはできません。ただし実務での被害は運用で防げます。料金表やFAQなど根拠となる資料を先に渡す、出力の項目を指定する、資料に無い項目は「記載なし」と書かせる、といった手順で誤りは大きく減ります。

Q. 忙しくて全文を確認する時間がありません。どう運用すればよいですか？
全文確認は形骸化しやすいので、必ず目視する対象を1つに絞ってください。案内文なら金額・日付・時間などの数字だけを原本と突き合わせる、見積もりなら合計金額だけを検算する、という形にすると1分ほどで済み、被害の大きい間違いを確実に止められます。