ループを閉じる:AIでサポートの知見をプロダクトに届ける

閉じたループの作業台で表したAIによるサポートからプロダクトへのフィードバックループ

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

AIによるサポートからプロダクトへのフィードバックループとは、言語モデルがすべてのサポートの会話を読み、その中の機能リクエストとバグ報告を抜き出し、重複をまとめ、それぞれを要望したアカウントに結び付け、バックログ項目に紐付け、のちにリリース内容をそれらの顧客へ伝える手助けをするワークフローです。 読み取り、グループ化、記録の管理を担うのはモデルです。何を作るかを決めるのは、これまでどおり人です。

サポートは、多くの企業にとって最も豊かなフィードバックチャネルでありながら、最も活用されていません。顧客は、アカウント、プラン、緊急度が添えられた状態で、実際の問題を自分の言葉で語ります。ところがチケットが閉じられると、その知見は埋もれたままになります。「この機能を求めている顧客は何社ありますか」と尋ねたプロダクトマネージャーが受け取るのは、逸話です。誰も数えられなかったからです。

AIは、この数え方を変えます。本記事では、何を抽出するのか、どう重複を排除して重み付けするのか、どうバックログに紐付けるのか、そしてどう顧客とのループを閉じるのかを解説します。同じプロセスの人間側の面については、サポートチケットをプロダクトバックログにと顧客の声のパイプラインの記事で、役割とリズムを扱っています。本記事では、モデルが何を加えるのかを扱います。

重要なポイント

  • Linearのドキュメントによると、顧客リクエストは、Intercom、Zendesk、Front、Asksの連携からイシューが作成または紐付けられたときに自動で作成され、リクエストには元のメッセージが引用され、元の会話へのリンクが付きます(Linear Docs)。
  • Linearでは、顧客名、リクエスト数、ステータス、ティア、収益、規模でイシューやプロジェクトを絞り込めるため、「エンタープライズの顧客から最も多く要望されたもの」で並べ替えることができます(Linear Docs)。
  • Linearでは、リクエストを特定の顧客にとって重要なものとしてマークすることもできます。そのため、同じことを求める5社と、それが導入の阻害要因になっている1社を区別できます(Linear Docs)。
  • Productboardのドキュメントは、フィードバックと機能の間の3種類のリンクを説明しています。手動、「AI to verify」、「AI verified」です。AIが作成した新しいリンクは、人が確認するまで未確認のままです(Productboard Support)。
  • 同じドキュメントでProductboardは、自動リンクをオフにするとAIが作成したリンクを元に戻せること、1件のフィードバックが複数の項目にリンクされることがあることを述べています(Productboard Support)。

ループが途切れやすい理由

サポートとプロダクトの間のフィードバックループは、予測できる4か所で途切れます。AIは、そのどこでも役に立ちます。

キャプチャ。 担当者のタグ付けは一貫していないか、まったく行われていません。請求に関するスレッドの4通目に埋もれた要望には、ラベルが付くことがありません。モデルは会話全体を読み、それでも見つけ出します。

重複。 50社の顧客が、同じエクスポートのオプションを50通りの言い回しで求めます。「CSVでダウンロード」「データを取り出したい」「Excelにエクスポート」「一括レポート」といった具合です。キーワード検索で見つかるのは、ほんの一握りです。意味でグループ化するモデルなら、ほとんどを見つけられます。

重み。 件数を数えるだけでは、すべての顧客が同じ扱いになります。更新の時期にある戦略的なアカウントからの1件と、無料プランのユーザーからの10件は同じではありません。しかし、チケットをアカウントデータと結合しなければ、プロダクトチームにはその違いが見えません。

クロージャー。 機能がリリースされても、要望した人たちが知らされることはまれです。要望を記録した担当者は別の仕事に移り、フォローアップを担う人は誰もいません。顧客は、フィードバックがどこにも届かないと結論づけます。こうして機能リクエストの墓場ができあがります。

ステップ1:会話からリクエストとバグを抽出する

最初の仕事は、自由記述のテキストを構造化されたレコードに変えることです。モデルは会話ごとに、少数のフィールドを出力します。

ニーズを抽出し、証拠を残すことを、根底にある目的の証拠の鍵で表した図

フィールド 例 重要な理由
種類 機能リクエスト、バグ、使い勝手への不満、質問 適切な担当者に振り分ける
要約 「定期的なエクスポートをスケジュールしたい」 数える単位となる1行
顧客の言葉 記録からの短い引用 プロダクト向けに元の言葉を残す
根底にある目的 「アプリを開かずに、週次レポートを経理へ送りたい」 ニーズと、提案された解決策を切り分ける
重大度のシグナル 作業が止まっている、回避策がある、あれば嬉しい 優先順位付けに活用する
アカウントとプラン 推測ではなく、CRMから結合する 後で重み付けできるようにする

これを機能させるのは、2つの設計上の選択です。1つ目は、顧客が名指しした機能だけでなく、根底にある目的を抽出することです。本当のニーズが成果であるにもかかわらず、顧客は解決策(「ボタンを追加して」)を述べます。プロダクトの意思決定には、ジョブ理論(jobs-to-be-done)の視点のほうが、より明快な単位になります。2つ目は、モデルに「リクエストなし」と返させることです。すべてのチケットから無理に結果を出させるとノイズが生まれ、ノイズはプロダクト側の信頼を損ないます。

チケットが長いスレッドの場合は、先に要約し、その後で抽出します。前半は、AIによるチケット要約が担います。また、要望は、表向きの問い合わせ理由の裏に隠れていることが多いため、顧客のインテント検出が、「Xをするにはどうすればよいか」(ドキュメントの不足)と「Xができればいいのに」(プロダクトの不足)を切り分ける助けになります。

ステップ2:セマンティックなグループ化で重複を排除する

重複排除は、AIの真価が発揮される場面です。標準的な方法は、抽出した要約をそれぞれ埋め込み(エンベディング)と呼ばれる数値表現に変換し、その空間で近くにある要約をグループ化するというものです。これはクラスタリングの一種で、言葉が違っていても、似た意味のものは同じグループに入ります。同じ技術が、要望ではなく不満をグループ化するサポートのためのAIによる根本原因分析にも使われています。

意味でリクエストをグループ化することを、セマンティックなリクエストのかごで表した図

実践的な手順は、次のようになります。

  1. 新しいリクエストを、それぞれ既存のグループと比較する。 十分に近いグループがあれば、そこに追加します。なければ、新しいグループを作ります。
  2. モデルにグループ名を付けさせる。 「クラスター47」より、「定期的なエクスポートのスケジュール」のような短いラベルのほうが話し合いやすくなります。
  3. 判断の微妙なケースは、人がレビューする。 「PDFへのエクスポート」と「CSVへのエクスポート」は、プロダクトによって1つの要望にも2つの要望にもなります。しきい値ではその判断はできず、誤ってまとめれば、別個のニーズが隠れてしまいます。
  4. 証拠を紐付けたままにする。 どのグループも、所属するチケットを一覧にして、PMがクリックして元の言葉を読めるようにします。

マージの誤りは、どちら側にも生じます。積極的すぎると、性質の異なる要望が、誰も行動に移せない曖昧な巨大テーマにまとまってしまいます。控えめすぎると、1つの本当のニーズが、それぞれ小さすぎて予算が付かない十数個の弱い要望として現れます。数週間ごとにグループのサンプルをレビューし、調整してください。

ステップ3:収益と重大度で重み付けする

単純な件数が答えるのは、「何件のチケットか」です。プロダクト側が通常必要とするのは、「それがどれだけ重要か」です。そのためには、各リクエストをアカウントデータと結合し、重大度のシグナルと組み合わせます。

複数の視点でフィードバックの優先順位を付けることを、4つのレンズのフィードバック検査台で表した図

Linearのドキュメントは、実際に動いているプロダクトでこの考え方を示しています。顧客は収益、ティア、規模の属性を持ち、リクエストはそれらで絞り込めます。また、リクエストを特定の顧客にとって重要なものとしてフラグ付けでき、必須のニーズと、あれば嬉しいものを区別できます(Linear Docs)。同じロジックは、どのスタックでも構築できます。シンプルな仕組みは次のとおりです。

シグナル 取得方法 使い方
要望している個別のアカウント グループごとに、チケットではなくアカウントを数える 声の大きい1社が、要望を水増しするのを防ぐ
アカウントの価値 CRMの年間経常収益(ARR)またはティア グループに重みを付ける。ARRで重み付けしたフィードバックを参照
重大度 モデルがタグ付け:作業が止まっている、回避策がある、あれば嬉しい バグと阻害要因を、願望より上に位置付ける
更新や解約の背景 アカウントが更新の時期にある、またはリスクありとフラグ付けされている 根底にあるニーズは変えずに、緊急度を高める
新しさ 直近30〜60日のチケットの割合 問題が拡大しているのか、薄れているのかが分かる

収益による重み付けには注意が必要です。それはレンズであって、判決ではありません。アカウントの価値だけで順位を付ければ、最大の顧客のために作り、成長させたいセグメントを無視することになります。プロダクトには、件数別、収益別、重大度別、セグメント別と、複数のビューを見せ、その上で議論をしてもらってください。その議論の進め方は、顧客フィードバックの優先順位付けに関する記事で扱っています。

ステップ4:バックログ項目に紐付ける

スプレッドシートの中にあるクラスターは、忘れられます。プロダクトがすでに追跡しているものに、結び付ける必要があります。ここでは2つの動きがあります。

AIのリンクをプロダクトバックログと照合して確認することを、人が確認する留め具で表した図

既存の項目と照合する。 モデルは、クラスターを未着手のバックログ項目と比較し、一致するものを提案します。クラスターが「定期的なエクスポートのスケジュール」で、バックログに「レポートの自動配信」があれば、そのリンクを提案し、理由を示します。一致するものがなければ、クラスターから新しいバックログ項目の案を作成します。タイトル、根底にある目的、個別のアカウント数、代表的な引用です。

リンクの中に人を残す。 Productboardのドキュメントは、これを安全に行う方法のよい手本になります。AIが作成したリンクは「AI to verify」から始まり、メーカーが確認して初めて「AI verified」として数えられます。管理者は、対象とするフィードバックのソースとプロダクト階層の範囲を選び、デフォルトの重要度を設定でき(または不明のままにして手動で割り当てることもでき)、自動リンクをオフにすればAIのリンクを元に戻せます(Productboard Support)。このパターンは一般化できます。未確認の機械的なリンクは見えて絞り込める状態にしておき、人がそれを昇格させるのです。

同じドキュメントには、1件のフィードバックが複数の項目にリンクされうることも記されており、これは顧客の話し方に合っています。1通のチケットにバグと機能リクエストの両方が含まれることもあり、それぞれを、あるべき場所で数えなければなりません。

作業がチケット管理ツールで行われる場合、リンクは双方向の参照にすべきです。Linearでは、ZendeskやIntercomの会話から作成されたイシューは、元の会話を指すリクエストを自動的に持つため、プロダクトは会話を読むことができ、サポートはそれがどこへ行ったかを確認できます(Linear Docs)。この逆参照は、次のステップを可能にするものでもあります。CSプラットフォームとバックログの連携に関する記事では、その仕組みをより深く扱っています。

ステップ5:リリース時に顧客へ伝える

ループを閉じることは、多くのチームが省略するステップであり、顧客が最も気付くステップでもあります。バックログ項目がリリースされたら、それに紐付けられたすべてのチケットは、それを求めた人です。

プロダクトのリリース後にループを閉じることを、リリースから要望者への帰り道で表した図

AIは、フォローアップを低コストで正確なものにすることで役立ちます。

  1. 対象者を見つける。 どのクラスターもチケットとアカウントを一覧にしているため、「スケジュールされたエクスポートを求めた全員」を数秒で抽出できます。
  2. メッセージを下書きする。 モデルは、顧客の状況に合わせた短い連絡を書きます。「週次レポートを経理に自動で送りたいとおっしゃっていました。その機能が公開されました。設定方法はこちらです」といった具合です。一般的なお知らせではなく、引用したニーズを使います。
  3. 関係性に応じて振り分ける。 戦略的なアカウントには、アカウントマネージャーから、編集できる下書きを添えた連絡を送ります。ロングテールの顧客には、自動のメールまたはアプリ内メッセージを送ります。
  4. 「やらない」という判断も伝える。 プロダクトが何かを作らないと決めた場合は、そう伝えてください。モデルは、判断を説明し、回避策を提案する、礼儀正しい連絡を下書きできます。明確な「ノー」より、沈黙のほうが悪い結果になります。
  5. 結果を記録する。 誰に伝え、その機能を採用したかどうかを記録します。そのデータは、リリースした機能が、本来解決するはずだった問題を解決しているかを教えてくれます。

最初の数回は、送信前にすべて確認してください。実際には近い別のものを求めた人に「Xをご要望でした」と伝えるメッセージは、何も送らないよりも悪い結果になります。この自動化の元になる人間のプロセスは、各メッセージを誰が担当するかも含めて、顧客とのフィードバックループを閉じるの記事に整理されています。

職種別の実例

B2BのSaaSサポート。 プロジェクト管理ツールに、「期日を誰が変更したか分からない」「監査証跡が必要」「私のタスクを誰が動かしたのか」というチケットが届きます。モデルはこれらを「タスクの変更履歴」にグループ化します。アカウントによる重み付けでは、要望しているアカウントの大半が、同社が狙うミッドマーケットのセグメントにあることが分かります。代表的な引用を3件添えて、バックログ項目になります。B2Bのサポートがどう異なるかという背景は、B2BカスタマーサポートにおけるAIを参照してください。

カスタマーサクセス。 更新に備えるCSMは、担当アカウントのクラスター化された要望を引き出します。未解決のバグ2件と、機能リクエスト1件です。確認できない日付を約束するのではなく、どの項目がすでに予定された作業に紐付いているかを把握したうえで、商談に臨みます。

プロダクトマネジメント。 四半期の計画の前に、PMはクラスターをセグメントと重大度で絞り込み、上位5件の代表的な引用を読み、利用データと照らし合わせます。読むのはモデルが行い、判断するのはPMです。

エンジニアリング。 バグのクラスターには、会話から抜き出した再現の詳細、影響を受けるバージョン、個別のアカウント数が付いてきます。そのため、トリアージは、「顧客から不満が出ています」という曖昧な話ではなく、証拠から始まります。

マーケティングとドキュメント。 「Xができればいいのに」ではなく「Xをするにはどうすればよいか」とラベル付けされたクラスターは、ヘルプコンテンツの不足、または見つけにくさを示しています。これはプロダクトの変更ではなくドキュメントの修正であり、正しく振り分けることでバックログを整理された状態に保てます。

避けるべき落とし穴

モデルのグループ化をグラウンドトゥルースとして扱う。 クラスターは仮説です。サンプルを抜き出し、所属するチケットを読み、誤ったマージを修正してください。

アカウントではなく、チケットを数える。 12回連絡してきた顧客は、1人の声です。個別のアカウントを数えてください。

収益にすべてを決めさせる。 重み付けは有用ですが、単一の視点による順位付けは、知らず知らずのうちに、現在の顧客基盤を軸にプロダクトを形作ります。

確認のステップを省く。 機械が作成したリンクには、目に見える「未確認」の状態と、それを昇格させる人が必要です。さもなければ、バックログは自信ありげな不一致であふれます。

人のレビューなしで顧客にメッセージを送る。 最初のうちは、リリース通知の誤りが失う信頼のほうが、自動化で節約できるものより大きくなります。

汚れた入力。 重複したチケット、欠けたアカウントID、一貫しないプロダクト名が、グループ化の失敗の大半を引き起こします。これを機能させるためのクリーンアップは、AIのためのサポートデータの準備で扱っています。

オーナー不在。 名前の付いたオーナーがいないループは、劣化します。クラスターのレビュー、バックログへの紐付け、リリース通知を担う個人またはチームを1つ決め、定期的なリズムに組み込んでください。

シンプルな導入計画

  1. プロダクトの領域を1つ選ぶ。 サポートの件数とプロダクトの注目が重なる場所から始めます。
  2. 上の表をもとに抽出スキーマを定義し、種類のラベルについてプロダクトと合意します。
  3. 過去の数百件のチケットで抽出を実行する。 出力をPMと一緒に読み、プロンプトを修正します。
  4. グループ化を追加し、判断の微妙なマージは人がレビューします。
  5. アカウントデータを結合し、件数、収益、重大度のビューを作ります。
  6. クラスターをバックログに紐付け、人が確認するまでは「未確認」の状態にしておきます。
  7. リリース済みの機能1つで、リリース通知をパイロットする。 各メッセージは人が承認します。
  8. 毎月レビューする。 誤ったマージ、古くなったクラスター、紐付いていないリクエスト、そして何人の顧客に伝えられたかを確認します。

サポートの知見をプロダクトに届けることに関するよくある質問

AIによるサポートからプロダクトへのフィードバックループとは何ですか?

モデルがサポートの会話を読み、機能リクエストとバグ報告を抽出し、重複をグループ化し、アカウントに結び付け、バックログ項目に紐付け、リリース時の顧客への連絡を手助けするワークフローです。優先順位を決め、何を作るかを承認するのは、これまでどおり人です。

AIはどのように機能リクエストの重複を排除しますか?

各リクエストの要約を数値表現に変換し、言い回しが違っていても意味が似ているものをグループ化します。モデルには、「PDFへのエクスポート」と「CSVへのエクスポート」が、御社のプロダクトで1つのニーズなのか2つなのかが分からないため、判断の微妙なマージは人がレビューしてください。

リクエストは収益でランク付けすべきですか?

収益は視点の1つとして使い、唯一のものにはしないでください。個別のアカウント数、収益、重大度、セグメントを、並べてプロダクトに示します。収益だけでランク付けすると、現在の最大の顧客に最適化されがちで、成長させたいセグメントのニーズが隠れてしまうことがあります。

サポートのリクエストを、どうプロダクトバックログに紐付けますか?

モデルに、未着手のバックログ項目との照合を提案させるか、どれも合わない場合は新しい項目を下書きさせ、プロダクトマネージャーが確認するまで、リンクを未確認のままにしておきます。チケットとバックログ項目の間に双方向の参照を持たせ、プロダクトが元の会話を読めるようにしてください。

顧客が求めた機能がリリースされたことを、どう伝えればよいですか?

チケットのリンクを使って要望した全員を見つけ、元のニーズを引用した短いメッセージを下書きし、関係性に応じて振り分けます。主要なアカウントには個別の連絡を、それ以外には自動のメールまたはアプリ内メッセージを送ります。送信前にメッセージを確認し、リクエストが実現しない場合も顧客に伝えてください。

始める前に、どんなデータが必要ですか?

最低限、一貫したアカウントIDが付いたチケットのテキストと、CRMのプランまたは収益のデータが必要です。プロダクト名が整理されていて、チケットの重複が排除されていると、大いに助けになります。完璧なデータセットは必要ありませんが、アカウントIDが欠けていると、重み付けのステップが機能しなくなります。

About the author

Linh Ngo

Linh Ngo

Customer Success Operations Manager

Linh Ngo is Customer Success Operations Manager at Rework, focused on AI-led process automation for operations teams, especially order fulfillment and finance workflows. Linh writes about process management and the AI productivity tools that take manual steps out of daily operations, so teams can see where work stalls and fix the process before adding headcount.