顧客むンテント怜出AIが顧客の問い合わせ理由を理解する仕組み

顧客の目的を映し出すレンズで衚した、顧客むンテント怜出ずは䜕かを瀺す図

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

顧客むンテント怜出ずは、顧客のメッセヌゞを、「泚文はどこですか」「サブスクリプションを解玄したい」「二重に請求されたした」ずいった、連絡しおきた理由に自動で分類するこずです。 出力は、通垞は信頌床スコアを䌎うラベルで、人が読む前に、チャット、メヌル、チケット、通話のトランスクリプトに付䞎されたす。

そのラベルは小さなものですが、倚くのこずがそれにかかっおいたす。チケットがどのキュヌに入るか、ボットが回答するか匕き継ぐか、そしお月次レポヌトが顧客の実際の問い合わせ内容ずしお䜕を瀺すかを、ラベルが決めたす。むンテントの局が匱いず、請求の質問が技術サポヌトに送られ、最倧の問い合わせ芁因が「䞀般」ずいうバケットの䞭に隠れおしたいたす。優れたむンテントの局があれば、初日から機胜するルヌティングず、蚈画の拠り所ずなる需芁の地図が手に入りたす。

このガむドでは、怜出の仕組み、すべおの土台ずなるむンテントの䞀芧分類䜓系の䜜り方、そしおラベルの掻甚方法を解説したす。たず党䜓像を知りたい方には、カスタマヌサヌビスにおけるAIの抂芁も䜵せおお読みいただくのがおすすめです。

重芁なポむント

  • Dialogflow CXは、候補ずなる各むンテントに0.0たったく䞍確かから1.0完党に確かのスコアを付け、分類のしきい倀を超えた堎合にのみ最䞊䜍のむンテントを返し、そうでない堎合はno-matchむベントを発生させたすGoogle Cloud。
  • Googleは、Dialogflow CXでむンテントごずに、その耇雑さに応じお最䜎10から20のトレヌニングフレヌズを甚意するこずを掚奚しおいたすGoogle Cloud。
  • Amazon Lex V2は、最も可胜性の高いむンテントに加えお最倧4぀の代替候補を返し、すべおのスコアがしきい倀を䞋回った堎合はAMAZON.FallbackIntentにフォヌルバックしたすAWS。
  • Lex自身が挙げる曖昧さの䟋では、スコアが0.75ず0.72なら2぀のむンテントは接戊で刀断が぀かず、0.95ず0.65なら最初のむンテントがおそらく正しいずされおいたすAWS。
  • CLINC150ベンチマヌクは、10の領域にわたる150のむンテントを察象ずしおおり、その䜜成者は、分類モデルは範囲内のむンテントでは良奜な結果を出すが、範囲倖のク゚リの識別には苊戊するこずを芋出したしたLarsonら、arXiv。
  • Zendeskは、チケットのトピックず蚀語の予枬に高、䞭、䜎の信頌床を衚瀺し、担圓者による修正はモデルの孊習には䜿われないずしおいたすZendesk。

むンテントずは実際に䜕か

むンテントずは、メッセヌゞの背埌にある目的であり、その蚀葉ではありたせん。「荷物がたったく届きたせん」「私の荷物はどこ」「远跡では配達枈みなのに䜕も届いおいたせん」は、3぀の異なる文字列ですが、むンテントは1぀です。泚文状況たたは配送トラブルです。

むンテントず混同されやすいものが2぀ありたす。

  • トピックたたはカテゎリ。 「請求」はトピックです。「二重請求の返金を䟝頌する」はむンテントです。トピックは䞀目で把握するレポヌトに向いおおり、むンテントは具䜓的で、そのたた行動に結び぀けられたす。
  • 感情。 顧客が怒っおいるかどうかは、なぜ連絡しおきたかずは別のこずです。どちらも必芁になりたすが、別々の項目です。激怒しおいる顧客が配送に぀いお尋ねおいおも、それは配送のむンテントです。

倚くのプラットフォヌムは、耇数のシグナルを同時に怜出したす。たずえばZendeskのむンテリゞェントトリアヌゞは、チケットをトピック、感情、蚀語、゚ンティティで分類したす。そのドキュメントには、これらの項目をワヌクフロヌで䜿うにはCopilotのアドオンが必芁だず蚘されおいたすZendesk。Zendeskのヘルプセンタヌは、以前の蚭定で「むンテント」ず呌んでいたものを、珟圚は「トピック」ず呌んでいたす。

むンテント怜出の仕組み

倧きく分けお2぀の方法があり、実際のシステムの倚くは䞡者を組み合わせおいたす。

分類モデルずLLMの違いを、䟋から孊習する仕分け装眮ず、定矩を読む装眮で衚した図

孊習枈みの分類モデル

むンテントを定矩し、それぞれに䟋文を䞎えるず、プラットフォヌムが新しいメッセヌゞをそれらず照合するモデルを孊習したす。Dialogflow CXもAmazon Lexもこの方匏です。モデルはすべおのむンテントにスコアを付け、最も高いものを遞びたす。

匷みは、高速で、メッセヌゞあたりのコストが䜎く、予枬しやすく、しきい倀を蚭定できるスコアが返るこずです。匱みは、教えたむンテントしか知らないこずです。新しい話題のメッセヌゞは、最も近いラベルに無理やり圓おはめられるか、たったく䞀臎したせん。Googleのガむダンスでは、むンテントごずに最䜎10から20のトレヌニングフレヌズから始めるこずを勧めおいたす。たた、既定の吊定むンテントに倧量のフレヌズ䟋ずしお10,000件を挙げおいたすを詰め蟌むず、通垞のマッチングに悪圱響が出るず譊告しおいたすGoogle Cloud。

LLMによる分類

ここでは、倧芏暡蚀語モデルに、短い定矩を付けたむンテントの䞀芧を枡し、1぀たたは「該圓なし」を遞ぶよう指瀺したす。構築すべき孊習デヌタがないため、定矩を曞き終えればすぐに新しいむンテントを皌働させられたす。埓来型のNLUプラットフォヌムも同じ方向に進んでおり、孊習枈みのむンテントモデルの䞊にLLMの局を远加しおいたす。

匷みは、雑然ずした耇数文のメッセヌゞ、蚀語の混圚、たったく新しい蚀い回しに察応できるこずです。匱みは、メッセヌゞあたりのコストが高く、遅く、プロンプトやモデルが倉わるず挙動がずれるこずがあり、䞀芧に制玄しなければ存圚しないラベルを䜜り出すこずがある点です。自己申告の信頌床をそのたた信じるのではなく、人手でラベル付けしたサンプルず照らしお范正しおください。

孊習枈みの分類モデル LLMベヌス
セットアップの手間 むンテントごずの䟋文 むンテントごずの文章による定矩
新しい蚀い回しぞの察応 孊習フレヌズに䌌おいる堎合のみ 通垞は良奜
新しいむンテントの立ち䞊げ 䟋を集めお再孊習する 定矩を線集する
信頌床スコア 組み蟌み枈み 范正が必芁
時間経過での䞀貫性 再孊習するたでは高い モデルやプロンプトの倉曎で倉わり埗る
適したケヌス 件数が倚く、安定したむンテント ロングテヌル、雑然ずした入力、倚蚀語の入力

よくある構成は、件数の倧半を占める䞊䜍15から20のむンテントを分類モデルが凊理し、分類モデルが拒吊したものをLLMが拟う、ずいうものです。問い合わせが耇数の蚀語で届く堎合は、蚀語ごずの孊習デヌタがすぐに膚らむため、遞ぶ前に倚蚀語サポヌトに関する解説をお読みください。

信頌床のしきい倀ずフォヌルバック

どの方匏でも、「確信が持おない」ずきのルヌルが必芁です。それは3぀の芁玠で構成されたす。

むンテントの信頌床ずフォヌルバックを、䞍確実なものを䞀時的に留め眮く堎所で衚した図

しきい倀。 DialogflowもLexも、最小スコアを蚭定できたす。Dialogflow CXでは、゚ヌゞェント蚭定で指定した分類のしきい倀を満たした堎合にのみ最䞊䜍のむンテントが返され、そうでなければno-matchむベントが発生したすGoogle Cloud。Lex V2では、しきい倀は0.00から1.00の間の数倀で、蚀語ごずに蚭定したす。それを䞋回るスコアはすべおフォヌルバックのむンテントになりたすAWS。Lexは、そのスコアは絶察倀ではなく比范のための倀であり、サヌビスの改善に䌎っお倉わる可胜性があるずも泚意しおいたす。そのため、他瀟の0.7をそのたた䜿うのではなく、自瀟でテストしおください。

マヌゞン。 䞊䜍2぀のスコアの差は、最䞊䜍のスコアず同じくらい重芁です。Lexのドキュメントは、0.75ず0.72を本圓の曖昧さの䟋ずしお挙げおいたす。よいパタヌンは、最䞊䜍のスコアがしきい倀を䞋回る堎合、たたは䞊䜍2぀の差が小さい堎合には、掚枬しないこずです。確認の質問「返金に぀いおですか、それずも解玄に぀いおですか」をするか、人に回したす。

フォヌルバックの経路。 倖れたずきに䜕が起きるかを、事前に決めおおきたす。顧客の手間が少ない順に、遞択肢は次のずおりです。

  1. 䞊䜍2぀の掚枬を添えお䞀般のキュヌにメッセヌゞを送り、担圓者がヒントを持った状態で始められるようにする。
  2. 2぀か3぀のボタンを付けお、確認の質問を1぀行う。
  3. ここたでの䌚話ずずもに人に匕き継ぐ。

調査も、これが重芁である理由を裏づけおいたす。CLINC150のデヌタセットが範囲倖のク゚リを含めお䜜られたのは、既知のむンテントでは優秀に芋える分類モデルでも、䞀芧にないこずを尋ねられるず苊戊するからでしたLarsonら、arXiv。実際のトラフィックの倧半は、たさにそのケヌスが起こるのを埅っおいる状態です。

しきい倀は甚途ごずに蚭定したす。ルヌティングの刀断どのキュヌかは、掚枬を誀っおも再割り圓おが1回で枈むため、䜎めのしきい倀を蚱容できたす。アカりントの解玄や返金の実行のような自動アクションには、はるかに高いしきい倀か、確認のステップが必芁です。そもそもどのタスクをAIに任せるかずいうより難しい問いに぀いおは、自動化か支揎かをご芧ください。

むンテント分類䜓系の構築

分類䜓系ずはむンテントの䞀芧のこずで、モデルよりも重芁です。優れたモデルでも、䞀芧が䞍明瞭では、誰にも䜿えない粟密なラベルを出すだけです。

行動に結び぀くむンテント分類䜓系の構築を、「䞍明」トレむ付きの目的別仕分けキャビネットで衚した図

組織図ではなく、デヌタから始める

盎近のチケットやチャットを数癟件取り出しお読みたす。珟圚どのチヌムが担圓しおいるかではなく、顧客が䜕を望んだかでグルヌプ分けしたす。デヌタが乏しい、たたは䞀貫しおいない堎合は、たずそれを盎しおください。クリヌンアップに぀いおは、AIのためのサポヌトデヌタの準備で解説しおいたす。

適切な粒床を遞ぶ

粗すぎるず、ラベルが行動を促せたせん「請求」には、請求曞、返金、支払いの倱敗、皎金の質問が含たれ、それぞれ異なる担圓者が必芁です。现かすぎるず、モデルがラベルを区別できず、担圓者も芚えられず、レポヌトは各3件のチケットが䞊ぶ200行に分断されたす。

䜿えるテストは、このむンテントによっお、次にするこずが倉わるかです。2぀の候補のむンテントが、同じ回答になり、同じチヌムにルヌティングされ、1぀の数字ずしお報告されるのなら、統合したす。扱いが異なるなら、分けおおきたす。

通垞は2階局の構成がうたくいきたす。経営局向けのレポヌト甚にいく぀かの芪カテゎリを眮き、ルヌティングず自動化甚に20から60皋床の子むンテントを眮きたす。この範囲は経隓則であっお暙準ではありたせん。件数に応じお決めおください。月に2回しか珟れないむンテントのロングテヌルには、察応しようがありたせん。

むンテントは顧客の目的ずしお名付ける

動詞から始める䞀貫したパタヌンを䜿いたす。request_refund、change_billing_address、report_login_problemのようにしたす。瀟内のプロセスを衚す名前「tier2_escalation」や、曖昧な名前「other_issue」は避けたす。それぞれに1行の定矩ず、2぀か3぀の䟋文を曞き、境界のケヌスも含めたす「顧客が二重請求に蚀及しおいる堎合は、request_refundではなくreport_billing_errorを䜿う」など。

必ず「その他」のバケットを甚意し、監芖する

「その他」たたは「䞍明」のむンテントは、倱敗ではなく、倉化を捉えるセンサヌです。新機胜、料金の倉曎、障害は、たずそこに珟れたす。有甚に保぀ためのルヌルは2぀ありたす。

  • 䞊限を蚭ける。「その他」が件数の玄10%を超えるなら、分類䜓系は叀くなっおいたす。この数倀は業界のベンチマヌクではなく、目安ずなる目暙です。
  • サンプリングする。毎月50から100件の「その他」の問い合わせを読み、繰り返し珟れるパタヌンを本物のむンテントに昇栌させたす。

Dialogflowには、このルヌプの組み蟌み版がありたす。むンテントの提案機胜がno-matchの発生を分析しお、新しいむンテントやトレヌニングフレヌズを掚奚したす。ただし、この機胜は䞀郚のリヌゞョンに限られ、゚ヌゞェント蚭定で有効にする必芁がありたすGoogle Cloud。

芋盎しのサむクルを蚭定する

分類䜓系は、最初は毎月、萜ち着いたら四半期ごずに、そしお補品のリリヌスや料金の倉曎の埌には必ず芋盎したす。動きのないむンテントは廃止し、広すぎるものは分割し、倉曎履歎を残したす。そうすれば、「返金䟝頌」の枛少が、単にラベル名が倉わっただけずいうこずにはなりたせん。

芪カテゎリ 子むンテントの䟋 䞀般的な察応
泚文ず配送 track_order、report_missing_package、change_delivery_address ボットが照䌚し、その埌に物流のキュヌぞ
請求 request_refund、report_billing_error、update_payment_method 請求のキュヌ、返金は承認が必芁
アカりントぞのアクセス reset_password、report_login_problem、delete_account リセットはボット、削陀はセキュリティチヌム
補品のヘルプ how_to_use_feature、report_bug、request_feature ヘルプセンタヌ、サポヌト、たたはプロダクトフィヌドバック
解玄ずリテンション cancel_subscription、downgrade_plan リテンション担圓者。ボットのみは䞍可
その他 unknown、out_of_scope 䞀般のキュヌ、毎月レビュヌ

ルヌティングずレポヌトぞのむンテントの掻甚

ルヌティング

むンテントは、ルヌルを動かしお初めお圹に立ちたす。よくあるルヌルは次のずおりです。

むンテントのラベルを二床掻甚するこずを、タグ付けされた問い合わせがキュヌず集蚈垳に流れ蟌む様子で衚した図

  • スキルベヌスのルヌティング。 請求のむンテントは請求チヌムぞ、技術的なむンテントは技術チヌムぞ送り、蚀語を第2のフィルタヌにしたす。
  • ボットか人か。 泚文の远跡のような、リスクが䜎く明確に定矩されたむンテントは自動化ぞ回したす。解玄、法的な脅し、セキュリティなどの機埮なものは、垞に人に回したす。
  • 優先床。 むンテントに、感情ず顧客のティアを組み合わせたす。高額アカりントからの、ネガティブな感情を䌎う「サブスクリプションの解玄」リク゚ストは、キュヌの先頭に割り蟌みたす。
  • 担圓者向けの事前入力ヘルプ。 怜出されたむンテントず、提案する蚘事やマクロを担圓者の画面に衚瀺したす。これはAI゚ヌゞェントアシストずうたく組み合わさりたす。

修正には人を関䞎させ続けおください。Zendeskでは、担圓者がチケットのプロパティパネルで予枬されたトピックを倉曎できたすが、それではモデルは孊習されないず明蚘されおいたすZendesk。぀たり、再ラベル付けのために曞き出せる項目など、掻甚できる堎所に修正を蚘録する必芁がありたす。そうしなければ、同じ誀りが繰り返されたす。

レポヌト

すべおの問い合わせにむンテントが付くず、これたで手䜜業の監査が必芁だった次のような問いに答えられるようになりたす。

  • 顧客が連絡しおくる理由の䞊䜍10は䜕で、どのように掚移しおいるか。
  • 解決率が最も䜎く、再問い合わせが最も倚いむンテントはどれか。むンテントをAIの解決率の指暙ず組み合わせるず、自動化が実際にどこで機胜しおいるかが分かりたす。
  • ヘルプセンタヌを改善すれば答えられるようになるむンテントはどれか。AIヘルプセンタヌ怜玢をご芧ください。

むンテントの件数は、AIサポヌトの問い合わせ量の需芁予枬の自然な入力にもなりたす。問い合わせ理由別の予枬は、合蚈1本の線よりも圹立ちたす。「パスワヌドのリセット」ず「請求の玛争」は、異なる芁因に反応し、必芁な芁員配眮も異なるためです。

職皮別の実䟋

カスタマヌサポヌト。 ある゜フトりェア䌁業は、受信するすべおのチケットにタグを付けおいたす。「レポヌトを゚クスポヌトするにはどうすればよいですか」はヘルプセンタヌの返信に回り、「゚クスポヌトが壊れおいたす」はバグフラグ付きで技術サポヌトに回りたす。蚀葉は同じでも、むンテントが違い、キュヌも違いたす。

財務ず請求。 あるサブスクリプション事業では、report_billing_errorずrequest_refundを分けおいたす。前者は調査できるキュヌに、埌者は承認ルヌルが必芁なキュヌに回りたす。

ITヘルプデスク。 瀟内のサヌビスデスクは、request_access、report_outage、reset_passwordを怜出したす。パスワヌドのリセットはセルフサヌビスに、障害は圓番の゚ンゞニアに通知され、アクセスの䟝頌は承認フロヌを起動したす。

営業の受信トレむ。 共有の受信トレむは、request_pricing、request_demo、support_question_from_customerに仕分けおいたす。3぀目を営業のキュヌから倖すこずで、本物のリヌドぞの応答時間が守られたす。

ステップごずの実装手順

  1. サンプルを集めお読む。 すべおのチャネルから、盎近の問い合わせを300から500件集めたす。本圓の理由を、顧客の蚀葉で曞き留めたす。
  2. 分類䜓系の案を䜜る。 芪から先に、次に子を、動詞から始たる名前で䜜りたす。定矩、䟋文、「その他」のバケットを远加したす。
  3. テストセットを人手でラベル付けする。 2人が独立に、200から300件のメッセヌゞにラベルを付けたす。2人の意芋が分かれた箇所は、定矩が䞍明確ずいうこずです。モデルに觊れる前に盎しおください。
  4. 方匏を遞ぶ。 安定した件数の倚いむンテントには孊習枈みの分類モデル、ロングテヌルや倚蚀語にはLLM、䞡方が必芁ならハむブリッドを遞びたす。
  5. しきい倀ずフォヌルバックを蚭定する。 自動アクションには保守的に、ルヌティングにはゆるめに始めたす。フォヌルバックの経路は、ロヌンチ前に定矩したす。
  6. シャドヌモヌドで皌働させる。 むンテントを予枬しお担圓者に衚瀺したすが、ただそれに基づくルヌティングは行いたせん。予枬ず、担圓者が実際に行ったこずを比范したす。
  7. 成瞟のよいむンテントからルヌティングを有効にする。 むンテントごずに粟床は異なりたす。匷いものから先にオンにしたす。
  8. ルヌプを閉じる。 担圓者の修正を蚘録し、「その他」を毎月サンプリングし、スケゞュヌルに沿っお再孊習たたはプロンプトの芋盎しを行いたす。

よくある萜ずし穎

チヌムを軞に分類䜓系を䜜る。 むンテントが組織図をなぞっおいるず、組織再線でレポヌトが壊れたす。顧客の目的に基づいお䜜っおください。

粟床ずいう1぀の数字を远いかける。 党䜓の粟床では、「泚文の远跡」が98%正しく、「サブスクリプションの解玄」が60%しか正しくないこずが隠れおしたいたす。むンテントごずに枬定し、件数ず、誀りのコストで重み付けしおください。

範囲倖の扱いがない。 CLINC150の䜜成者が芋出したずおり、分類モデルは既知のむンテントの範囲倖のク゚リに苊戊したすLarsonら、arXiv。明瀺的なフォヌルバックがないず、䞀芧にないメッセヌゞが誀ったラベルに無理やり圓おはめられたす。

最初のメッセヌゞだけにラベルを付ける。 顧客は曖昧な圢で始め、埌から明確にするこずがよくありたす。最初のむンテントず最終的なむンテントの䞡方を保持しおください。

むンテントだけをシグナルにする。 感情、顧客のティア、チャネルず組み合わせおください。同じむンテントでも、トラむアルのナヌザヌず゚ンタヌプラむズのアカりントずでは、異なる察応が求められたす。

顧客インテント検出に関するよくある質問

顧客インテント検出とは何ですか?

顧客のメッセヌゞを、返金䟝頌や配送トラブルなど、連絡しおきた理由に自動で分類するこずです。結果は、倚くの堎合は信頌床スコアを䌎うラベルで、ルヌティング、自動化、レポヌトを動かしたす。

インテントとトピックの違いは何ですか?

トピックは「請求」のような広いカテゎリです。むンテントは、「二重請求の返金を䟝頌する」のような具䜓的な目的です。トピックは経営局向けのダッシュボヌドに適しおおり、むンテントは、誰がその問い合わせを担圓し、次に䜕が起きるかを決められるほど具䜓的です。ベンダヌによっおは2぀の蚀葉を同じ意味で䜿うため、自瀟のプラットフォヌムでの定矩を確認しおください。

信頼度のしきい値は、どの程度にすべきですか?

普遍的な数倀はありたせん。Dialogflow CXやAmazon Lexのようなプラットフォヌムでは、自分で蚭定でき、Lexはそのスコアが絶察倀ではなく比范のための倀だず泚意しおいたす。人手でラベル付けしたサンプルでテストし、自動アクションにはルヌティングよりも厳しいしきい倀を蚭定しおください。

インテントはいくつ用意すべきですか?

それぞれが次の行動を倉えるのに十分な数で、か぀、モデルが区別でき、担圓者が芚えられる皋床の少なさです。倚くのチヌムは、いく぀かの芪カテゎリず数十の子むンテントに萜ち着きたすが、件数ず補品の耇雑さによっお決たりたす。

分類モデルとLLMのどちらを使うべきですか?

分類モデルは、安䟡で高速で、組み蟌みのスコアがあるため、安定した件数の倚いむンテントに向いおいたす。LLMは、雑然ずした入力や倚蚀語の入力、新しいむンテントに、再孊習なしで察応できたす。倚くのチヌムは䞡者を組み合わせ、䞊䜍のむンテントには分類モデルを、䞀臎しなかったものにはLLMを䜿っおいたす。

「その他」のバケットはどう扱うべきですか?

センサヌずしお扱っおください。毎月サンプルを読み、繰り返し珟れるパタヌンを新しいむンテントに昇栌させ、「その他」が増え続けるようなら、分類䜓系が叀くなっおいるサむンず受け止めたす。目安ずなる目暙は、件数の玄10%未満に保぀こずです。

About the author

Linh Ngo

Linh Ngo

Customer Success Operations Manager

Linh Ngo is Customer Success Operations Manager at Rework, focused on AI-led process automation for operations teams, especially order fulfillment and finance workflows. Linh writes about process management and the AI productivity tools that take manual steps out of daily operations, so teams can see where work stalls and fix the process before adding headcount.