AIカスタマーサービスのリスク：誤回答、法的責任、ブランド毀損

著者: Linh Ngo · 更新日: 2026年10月11日

AIカスタマーサービスのリスクとは、AIエージェントが顧客に誤った情報、有害な情報、ブランドにそぐわない情報を伝えたり、誤った操作を実行したりして、その責任を自社が問われる可能性のことです。 重要なのは「自社が」という点です。ボットが自社のウェブサイト上で話せば、顧客は、そして今では裁判所も、その発言を自社の発言として扱います。

これが、これまでで最もよく知られた事例の教訓です。2024年2月、カナダの審判所は、チャットボットが運賃について誤った情報を伝えたとして、エア・カナダに乗客への支払いを命じました。金額は小さなものでしたが、判断の論理は決して小さくありませんでした。このガイドでは、この事例と他の3つの事例を取り上げ、リスクをチェックリストとして使える表にまとめ、法務チームを待たずにサポートマネージャーが講じられる対策で締めくくります。実務的な概要であり、法的助言ではありません。ご自身の市場に固有の事項については、弁護士にご確認ください。コレクション全体像については、カスタマーサービスにおけるAIをご覧ください。

重要なポイント

• 2024年2月14日、ブリティッシュコロンビア州のCivil Resolution Tribunalは、Moffatt v. Air Canadaの裁定で、航空会社が自社のチャットボットが顧客に伝えた内容に責任を負うと判断しました（Daily Hive）。
• 金額は少額で、損害賠償が$650.88、利息が$36.14、審判所の手数料が$125、合計で約$812でした。金額よりも、先例としての価値のほうがはるかに大きいといえます。
• 審判所は、ボットは別個の法人であるという主張を退け、エア・カナダはチャットボットの正確性を確保するための合理的な注意を払わなかったと認定しました（Manatt）。
• すべての失敗が法的な問題になるわけではありません。DPDのチャットボットは悪態をつき、会社を批判し、そのスクリーンショットは100万回以上閲覧されました（Yahoo News）。
• 米国のConsumer Financial Protection Bureauは2023年に、チャットボットが消費者金融法を遵守しない場合、企業が責任を問われる可能性があると警告しました（CFPB）。

AIサポートの失敗の4つのタイプ

ほとんどのインシデントは4つの類型のいずれかに当てはまり、それぞれ必要な対策が異なります。

1. 誤回答。 AIが事実でないポリシー、価格、ルールを述べてしまうものです。これはハルシネーションの問題であり、最もよく起こります。
2. 誤操作。 AIが話すだけでなく、返金の実行、アカウントの変更、配送日の約束といった操作まで行うものです。ここでの誤りは、お金を動かしたり、約束を生んだりします。
3. ブランドにそぐわない振る舞い。 AIが悪態をついたり、侮辱したり、悲劇を冗談にしたり、会社を批判したりするものです。事実の誤りはありませんが、信頼が傷つきます。
4. 閉じ込められる顧客。 AIが顧客を堂々巡りに閉じ込め、人間に引き継ぐ手段を与えないため、不満が苦情や規制上の問題に発展します。

以下の4つの事例は、これらに対応しています。ACEの用語でいえば、1つ目と3つ目はGenerate（モデルによるテキスト生成）に由来し、2つ目はExecute（モデルがシステムを操作すること）が加わるため、ガバナンスが最も重要になります。

事例1：エア・カナダと忌引運賃

Jake Moffatt氏は、祖母が亡くなった後、エア・カナダのウェブサイトのチャットボットに忌引運賃について尋ねました。チャットボットは、チケット購入から90日以内であれば、さかのぼって割引運賃を申請できると答えました。その後、エア・カナダの担当者は、さかのぼっての申請はできないと伝え、同社のウェブサイトのポリシーにも、忌引運賃は搭乗済みの旅行には適用されないと記載されていました（Fox Business）。同氏は約$880の一部返金を求めました。

興味深いのは、エア・カナダの抗弁です。同社は、チャットボットが提供した情報について責任を問われることはなく、正確なポリシーは自社サイトの別の場所に掲載されていたと主張しました。審判所のメンバーであるChristopher Rivers氏は、どちらの主張も退けました。審判所は、エア・カナダがMoffatt氏に対して注意義務を負っており、チャットボットの正確性を確保するための合理的な注意を払わず、過失による不実表示を行ったと認定しました（Manatt）。また、チャットボットは航空会社のウェブサイトの一部であり、静的なページから来た情報であれ、チャットボットから来た情報であれ、サイト上のあらゆる情報に航空会社が責任を負うと判断しました（Daily Hive）。この事例はMoffatt v. Air Canada, 2024 BCCRT 149として報告されています。

公平を期すため、2つの留意点があります。これは1つの州の少額裁判の審判所による判断であり、他の地域の裁判所を拘束しません。また、請求の範囲も限定的で、顧客が特定の誤った発言を信頼し、金銭的な損失を被ったというものでした。それでも、実務上のメッセージは広く通用します。「ボットが言ったことで、会社の意思ではない」「正しい答えは別のページにあった」という主張は、この件では抗弁として通用しませんでした。ご自身の場合も通用しないと考えておくべきです。

事例2：DPDと台本から外れたチャットボット

2024年1月、DPDの顧客であるAshley Beauchamp氏は、配送会社のチャットボットに悪態をつかせ、「DPDは世界最悪の配送会社だ」と言わせました。同氏は2024年1月18日にスクリーンショットを投稿し、100万回以上閲覧されました。DPDは、システムの更新後にエラーが発生したこと、「AIの部分はただちに無効化された」こと、そしてその部分は人間のカスタマーサービスと並行して数年間問題なく稼働していたことを説明しました（Yahoo News）。

ここでは誰もお金を失っていません。被害は評判に対するもので、顧客が意図的にボットを誘導していました。そこが要点です。ブランドリスクに被害者は必要なく、スクリーンショットが1枚あれば十分です。きっかけも見逃せません。日常的なシステム更新でした。モデル、プロンプト、設定のどれを変更しても、先月テストした振る舞いが崩れる可能性があります。

事例3：Cursorと存在しないポリシー

2025年4月、コーディングツールCursorのユーザーが、複数のマシンで次々とログアウトされる理由を尋ねたところ、同社のAIサポートボットから、それは想定された動作だというメールが届きました。そのようなポリシーは存在しませんでした。共同創業者のMichael Truell氏はRedditに「そのようなポリシーはありません」と投稿し、この返信を最前線のAIサポートボットによる誤った回答だと述べて謝罪しました。Cursorは、メールサポートに使うAIの回答には今後はっきりとラベルを付けると説明し、問題を指摘した開発者には返金しました（The Register）。

これは、別の業界で起きたエア・カナダと同じパターンです。自信に満ちた、具体的で、作り話のルールでした。AIは「分かりません」とは言わず、もっともらしいもので空白を埋めました。会社の対応も参考になります。迅速な公開訂正、返金、AI返信へのラベル付けは、自社で同じことが起きた日の対応策として妥当です。

事例4：ニューヨーク市のMyCityチャットボットと違法なアドバイス

2023年10月、ニューヨーク市はMyCityポータルに、事業者が市の規則を調べる手助けをするAIチャットボットを公開しました。2024年3月、The Markupは、このボットが不完全または誤った回答を頻繁に返していると報じました。家主はSection 8のバウチャーを受け入れる必要がない、入居者の締め出しは合法である、現金の受け入れを義務づける2020年の市条例があるにもかかわらずレストランは現金不可にできる、雇用主は従業員のチップの一部を取ってよい、といった回答です。回答にもばらつきがあり、ある記者には家主はバウチャーを受け入れなければならないと答え、他の10人のスタッフには受け入れなくてよいと答えました。市の広報担当者は、このボットは試験運用であり、今後改善されると説明しました（The Markup）。

これは企業のヘルプデスクではありませんが、誤回答の最悪の形を示しています。従えば法律違反になるアドバイスです。AIが契約、価格に関する法律、安全、健康、雇用についての質問に答えるなら、同じ領域にいることになります。回答のばらつきもそれ自体がリスクです。同じ質問でも、日によって答えが変わりうるからです。

リスク表：リスク、事例、対策、責任者

最初のチェックリストとしてお使いください。「責任者」とは、そのリスクについて説明責任を負える役割のことで、実務をすべて担う人ではありません。

最後の2行は、国によってルールが異なり、変更も頻繁なため、それぞれ独立したガイドがあります。この記事は全体像を示すマップとして、詳細はそちらをご覧ください。

規制当局が注目する理由

リスクを実感するのに、訴訟は必要ありません。CFPBの2023年6月の消費者金融におけるチャットボットに関するレポートは、チャットボットは関連するすべての連邦消費者金融法を遵守することが求められ、遵守しない場合は企業が責任を問われる可能性があると述べています。懸念事項として、不正確な情報、紛争の認識漏れ、人間への経路がない「抜け出せない堂々巡り」、プライバシーリスクを挙げています。レポートは、新たな義務を課すものではないとしています（CFPB）。これは米国の金融サービスについての指摘である点にご注意ください。他の地域や他の業界で事業を行う場合、細部は異なりますが、方向性は同じです。チャネルが変わっても、義務は変わりません。

リスクを減らす方法：8つのステップ

1. AIにさせないことを決める。 禁止するトピックと操作の短いリストを作成します。法的助言、医療や安全に関する指導、一定額を超える返金に関わるものなどです。何を自動化し、何を支援にとどめるかから始めてください。
2. すべての回答を承認済みコンテンツに基づかせる。 エア・カナダでは、ページとチャットボットの内容が食い違い、航空会社がそのずれの代償を払いました。最新の情報源を1つに絞り、AIがそこから読み取るようにします。方法はAIのためのサポートデータの準備で解説しています。
3. AIに「分かりません」と言わせる。 一致するソースがない場合は、その場しのぎで答えるのではなく、引き継ぐように設定します。回答を控えるコストは数分で済みます。作り話のポリシーは、はるかに高くつく可能性があります。
4. できることを制限する。 お金を動かしたり、約束をしたりする操作には、上限を設け、上限を超える場合は人間の承認を必須とし、すべての操作を、きっかけとなった会話とともに記録します。
5. 見える出口を残す。 顧客がボットと言い争わなくても人につながれるようにします。顧客がAIサービスに期待することでは、これがコンプライアンスを超えて重要な理由を解説しています。
6. 変更の前後でテストする。 50〜100件の実際の質問を用意します。侮辱、ジェイルブレイクの試み、過去の苦情から出たエッジケースなど、悪意ある質問も含めてください。モデル、プロンプト、ナレッジベースが変わるたびに実行します。DPDのインシデントは、システム更新の後に起きました。
7. 指標だけでなく会話をレビューする。 AIの会話を毎週サンプリングして評価します。サポートの会話をレビューする方法はサポートのためのAI品質保証で解説しています。あわせて、誤回答が成功として数えられないよう、正直な解決率の測定を組み合わせてください。
8. 必要になる前にインシデント対応計画を書く。 AIを停止できる人、顧客と話す人、訂正を公表する人、返金の扱いを決めておきます。CursorとDPDはどちらも迅速に動き、回復の大部分はそのスピードによるものでした。

初めて導入する場合は、後から追加するのではなく、最初から立ち上げ計画に組み込んでください。導入ガイドでは、それぞれをどこに入れるべきかを示しています。

避けるべき落とし穴

免責事項に頼る。 NYCのボットのページのように、ボットが「不正確なコンテンツを生成することがある」と記載しても、批判は止まらず、エア・カナダの助けにもなりませんでした。免責事項は管理策ではありません。

正確なページがあれば守られると考える。 エア・カナダの件で、審判所は、正しいウェブページがあれば誤ったチャットボットが免責されるとは認めませんでした。顧客は先に目にしたほうを信じるため、ドキュメントとボットは一致している必要があります。

立ち上げ時に一度だけテストする。 モデル、プロンプト、コンテンツが変わるたびに、振る舞いは変化します。テストは、責任者を置いた継続的な業務として扱ってください。

制限を設けないままAIにツールを与える。 回答から操作へ踏み出すところで、小さな誤りが高くつくものになります。操作は1つずつ、上限とログを付けて追加してください。

AIであることを隠す。 ボットを人間のように見せかけると、あらゆる誤りが欺瞞のように受け取られがちです。トーンの問題も現実にあります。個性を持たせる前に、怒っている顧客にボットがどう対応するかを決めておいてください。

リスクを法務だけの話題として扱う。 法務はルールを定められますが、会話を見ているのはサポートオペレーションです。上の表の責任者の列は、すべての行に名前が入っているべきです。

簡単な始め方

量が多いと感じる場合は、今月、3つのことから始めてください。まず、最近のAIの会話を30件読み、自社のドキュメントに裏付けられていない発言をすべてマークします。次に、手順1で挙げたトピックについて、確実な引き継ぎを設定します。最後に、午前2時にAIを停止できる人を決めます。この3つは、上の4つの事例すべての失敗に対処するもので、防げるはずの最悪の1日に比べて、はるかに少ないコストで済みます。