Ergebnisse an Nicht-ML-Stakeholder kommunizieren: Wie DS ICs aufhören, die Kernaussage zu vergraben

Das letzte Mal, als ich einem Data Scientist beim Vortrag vor einem CFO zuhörte, war die erste Folie eine Konfusionsmatrix. Der CFO fragte höflich, was er sich anschaue. Zwölf Minuten später wusste er immer noch nicht, was er am Montag tun sollte. Das Modell war gut. Die Präsentation war eine kleine Katastrophe.

Das ist das Muster des Kernsatz-Vergrabens, und es bringt mehr DS-Arbeit zum Scheitern als schlechter Code je könnte. Sie haben sechs Wochen an einem Abwanderungsmodell gearbeitet. Die Führungskraft hat acht Minuten auf der Agenda. Wenn Ihre erste Folie nicht die Frage beantwortet, derentwegen sie gekommen sind, endet das Meeting mit einem höflichen „lass uns nochmal darüber reden," und Ihr Modell wandert in die Schublade mit den anderen.

Dieser Leitfaden ist das Framework, das ich nutze, und das, in das ich Junior-DS-ICs in meinem Team einarbeite. Es geht nicht darum, zu vereinfachen. Es geht darum, anzuerkennen, dass die Führungskraft entscheiden soll, nicht ML lernen. Ihre Folie hilft ihr entweder bei der Entscheidung oder nicht.

Die „Was hat sich verändert?"-Kernaussage

Jede Executive-Präsentation beantwortet zuerst eine Frage: Was ist jetzt anders als letztes Quartal?

Nicht „so haben wir das Modell gebaut." Nicht „die ROC-Kurve sieht gut aus." Was hat sich im Unternehmen verändert, und was sollten wir dagegen tun.

Der Kernsatz ist der erste Satz, den die Führungskraft hört oder liest. Wenn man scrollen muss, um ihn zu finden, haben Sie bereits verloren. Vergleichen Sie diese zwei Einstiege für dieselbe Abwanderungsanalyse:

Vergraben: „Wir haben ein Gradient-Boosting-Modell auf 18 Monaten Kontotelemtrie trainiert und dabei einen AUC von 0,87 mit 5-facher Kreuzvalidierung erreicht. Die Merkmalswichtigkeit deutet darauf hin, dass die Support-Ticket-Geschwindigkeit das stärkste Signal ist."

Klar: „4,2 Mio. \(ARR ist in Q2 mit hohem Abwanderungsrisiko behaftet, gegenüber 2,8 Mio.\) im letzten Quartal. Der Anstieg konzentriert sich auf 12 Accounts über 100.000 $. Wir müssen heute entscheiden, welche 5 das CSM-Team diese Woche anruft."

Gleiches Modell. Gleiche Daten. Das Zweite eröffnet das Meeting. Das Erste beendet es.

Wenn Sie den „Was hat sich verändert"-Satz nicht in 30 Sekunden schreiben können, ist die Arbeit noch nicht präsentationsfertig. Gehen Sie zurück an Ihren Laptop. Die Präsentation kann keine These reparieren, die Sie noch nicht benannt haben.

Eine nützliche Übung: Schreiben Sie die E-Mail-Betreffzeile, die Sie schicken würden, wenn die Führungskraft fragt „Was haben Sie herausgefunden?", bevor Sie eine einzige Folie erstellen. Wenn die Betreffzeile „Q2-Abwanderungsanalyse-Update" lautet, ist das ein Statusbericht, kein Befund. Wenn sie „4,2 Mio. $ ARR exponiert über 47 Accounts; Empfehlung: jetzt mit den Top 12 handeln" lautet, ist das ein Befund. Bauen Sie das Deck um die Betreffzeile herum.

Die 1-Folien-Antwort

Gehen Sie davon aus, dass das Meeting auf 90 Sekunden gekürzt wird. Das passiert häufiger als Sie denken. Der CRO wird zu einem Kundengespräch gerufen. Der CFO hat die Board-Vorbereitung um 14 Uhr. Sie haben eine Folie und eineinhalb Minuten.

Was steht darauf?

Drei Dinge, immer:

1. Die Headline-Zahl. Eine fettgedruckte Zeile. Der Dollarbetrag, der Lift, die Veränderung. Nicht die Methodik.
2. Die erforderliche Entscheidung. Was bitten wir die Führungskraft zu genehmigen, zu finanzieren oder zu ändern? Formulieren Sie es als Verbsatz: „2 zusätzliche CSMs für den Hochrisiko-Pod genehmigen" oder „den Pricing-Test für das SMB-Segment bis nächste Woche pausieren."
3. Der Verantwortliche und das Datum. Wer tut was, bis wann. Ohne das endet das Meeting mit guten Vorsätzen.

Alles andere ist Anhang. Die Modellkarte, die Merkmalswichtigkeit, die Holdout-Leistung, die Schichtanalyse: Diese kommen auf Folien 5 bis 30, und Sie zeigen sie nur, wenn man danach fragt.

Ich lasse mein Team die 1-Folien-Antwort zuerst erstellen, vor jeder anderen Folie. Wenn Sie sie nicht schreiben können, haben Sie noch keinen Befund. Sie haben einen Projektstatus. Das sind verschiedene Artefakte und sie gehen in verschiedene Räume.

Eine gute 1-Folien-Antwort liest sich wie ein Entscheidungsmemo, nicht wie eine Forschungszusammenfassung. Der CFO kann sie zu ihrem Vorgesetzten nehmen. Der CRO kann sie an seine VPs weiterleiten. Wenn Ihre Folie nicht aus dem Kontext gerissen Sinn ergibt, ist sie nicht fertig.

Wann Konfidenzintervalle zeigen (und wann weglassen)

Hier die Ketzerei: Meistens gehören Konfidenzintervalle nicht auf die Folie.

Ich weiß. Wir wurden trainiert, Unsicherheit immer zu zeigen. Und in einem DS-Peer-Review sollten Sie das. So wird die Arbeit auf Herz und Nieren geprüft. Aber in einem Executive-Raum tut ein Konfidenzintervall oft das Gegenteil von dem, was Sie beabsichtigt haben. Sie meinen „ich bin rigoros." Sie hörten: „Sie wissen es eigentlich nicht." Die Entscheidung friert ein. Niemand handelt. Das Modell hat nichts verändert.

Die Regel, die ich anwende: Zeigen Sie das Intervall, wenn die Entscheidung an der unteren Grenze kippt. Verbergen Sie es, wenn das nicht der Fall ist.

Zwei Beispiele.

Zeigen. Ein Pricing-Test zeigt einen 4%-Umsatzlift, 95% CI [-1%, 9%]. Die untere Grenze ist negativ. Die Entscheidung kippt absolut daran. Wenn der wahre Effekt -1% beträgt, setzen Sie nicht um. Das CI ist der gesamte Punkt. Beginnen Sie damit.

Verbergen. Ein Abwanderungsmodell sagt, 47 Accounts sind mit hohem Risiko behaftet, mit einem Kalibrierungsintervall, das besagt: „zwischen 41 und 53 werden tatsächlich in den nächsten 90 Tagen abwandern." Die Entscheidung (diese Woche anrufen) ändert sich nicht, ob die Zahl 41 oder 53 ist. Das Intervall lenkt ab. Stecken Sie es in den Anhang, erwähnen Sie es einmal, wenn man fragt: „Das Band beträgt plus oder minus 6 Accounts bei 90% Konfidenz, ändert aber nichts an der Handlung."

Die Unschärfe-Steuer ist real, aber die Unsicherheits-Steuer ist genauso real. Ein CI von [-1%, 9%] neben einer Richtungsempfehlung gibt der Führungskraft exakt das falsche Signal: dass Sie absichern, weil Sie Ihrer eigenen Zahl nicht glauben. Wenn Sie dem Richtungsurteil vertrauen, fällen Sie das Richtungsurteil. Das CI lebt im Anhang, wo DS-Kollegen es untersuchen können.

Im Zweifel fragen Sie sich: „Wenn die untere Grenze 20% schlechter wäre, würde sich die Empfehlung ändern?" Wenn ja, zeigen Sie das Intervall. Wenn nein, zeigen Sie es für sich selbst, nicht für den Raum.

Die Spannung: „Das Modell sagt X, aber das Geschäft weiß Y"

Das ist der Moment, der Junior-DS-ICs bricht. Das Modell sagt eine Sache. Die Vertriebsleitung widerspricht: „Das entspricht nicht dem, was ich im Feld sehe." Der Raum schaut Sie an. Was jetzt?

Kämpfen Sie nicht auf der Folie dagegen an. Sie werden verlieren, und das sollten Sie auch. Die Vertriebsleitung hat Kontext, den das Modell nicht hatte.

Tun Sie stattdessen drei Dinge, in dieser Reihenfolge:

1. Den Konflikt laut benennen. „Das Modell sagt voraus, dass Mid-Market-Deals über 50.000 $ 30% schneller abschließen, wenn wir mit der Integrations-Demo führen. Mike, Sie sagen, das stimmt nicht mit dem überein, was Sie im Feld sehen. Lassen Sie uns das aufgreifen. Das ist wichtig."

Das klingt einfach. Es ist tatsächlich der schwierigste Teil. Die meisten DS-ICs werden still oder, schlimmer, defensiv. Den Konflikt zu benennen sagt: Ich vertraue meinem Modell, ich vertraue Ihrem Bauchgefühl, und einer von uns übersieht etwas. Lassen Sie uns herausfinden was.

2. Die Daten zeigen, die das Modell gesehen hat. Nicht den Algorithmus. Die Daten. „Hier sind die 340 Deals aus den letzten 12 Monaten, die in dieses Modell eingeflossen sind." Das löst den Konflikt oft sofort. Die Vertriebsleitung schaut auf die Daten und sagt: „Oh, das sind überwiegend Inbound-Deals, mein Einwand bezog sich auf Outbound, das das Modell nicht gesehen hat." Jetzt haben Sie einen echten Befund: Das Modell ist richtig für Inbound, das Bauchgefühl ist richtig für Outbound, und der Fahrplan sieht vor, ein separates Modell für Outbound zu bauen oder das bestehende auf Inbound zu beschränken.

3. Fragen, was das Geschäft weiß, das die Daten nicht kennen. „Mike, was müssten Sie im Feld sehen, damit die Empfehlung des Modells Sinn für Sie ergibt?" Das dreht das Gespräch von Verteidigung zu Zusammenarbeit. Sie kämpfen nicht mehr für Ihr Modell. Sie sammeln Features.

Neun von zehn Mal hat das Bauchgefühl bei etwas recht, das die Daten nicht erfasst haben: eine kürzliche Strategieänderung, ein Wettbewerber, der in das Segment eingetreten ist, eine Provisionsplanänderung vor drei Monaten, die die Daten noch nicht vollständig absorbiert haben. Behandeln Sie den Widerspruch als kostenloses Signal. Schreiben Sie es auf. Das ist Ihr nächstes Feature.

Der einzige Fall, in dem Sie die Linie halten sollten: Wenn der Einwand der Vertriebsleitung „Ich glaube es einfach nicht" lautet. Das ist kein Gegensignal. Das ist Unbehagen damit, gemessen zu werden. Bleiben Sie ruhig, reichen Sie ihnen die Daten, und lassen Sie sie damit sitzen.

Modellwahrscheinlichkeit in Geschäftshandlungen übersetzen

Ein Propensity Score von 0,73 bedeutet einem CFO nichts. Hören Sie auf, Wahrscheinlichkeiten auf Executive-Folien zu setzen, sofern Sie sie nicht übersetzt haben.

Übersetzen Sie in eines von drei Dingen, je nach Publikum:

• Dollar (für CFOs, CEOs, Finance-Partner)
• Deals oder Accounts (für Vertriebsleiter, CROs)
• Headcount oder Stunden (für COOs, Operations-Leiter)

Ein Abwanderungsmodell, das sagt „23% der Accounts sind gefährdet," wird zu:

4,2 Mio. \(ARR exponiert über 47 Accounts. 12 davon liegen über 100.000\). Wenn wir 5 der Top-12 retten, erholen wir 1,7 Mio. $.

Ein Lead-Scoring-Modell, das sagt „dieser Lead hat Propensity 0,84," wird zu:

Top-Dezil-Leads konvertieren zu 31%. Wenn wir sie an Senior-AEs weiterleiten, prognostizieren wir 14 zusätzliche gewonnene Deals pro Quartal zu unserem aktuellen ASP, ungefähr 980.000 $ inkrementellen ARR.

Eine Nachfrageprognose, die sagt „Q3-Nachfrage liegt 12% über Plan," wird zu:

Wir brauchen 6 zusätzliche CSMs, eingestellt bis Ende Q2, oder wir verfehlen den SLA bei 18% der neuen Accounts.

Die Übersetzungsregel: Wenn Ihre Zahl nicht in Dollar, Deals oder Menschen endet, übersetzen Sie nochmal. Das Gehirn der Führungskraft läuft auf diesen drei Einheiten. Propensity Scores, Lift-Prozentsätze und Information Gain lösen keine Budgetgespräche aus. Dollar schon.

Ein nützliches Arbeitsblatt, das ich mein Team vor jeder Executive-Präsentation ausfüllen lasse:

Wenn Sie die rechten Spalten nicht ausfüllen können, haben Sie keinen Executive-Befund. Sie haben ein Forschungsergebnis. Das ist nicht dasselbe.

Stakeholder-Pre-Reads

Die einzelne wirkungsstärkste Gewohnheit, die ich in fünf Jahren DS-Arbeit angenommen habe: Senden Sie 24 Stunden vor dem Meeting einen einseitigen Pre-Read.

Nicht das Deck. Eine Seite. Drei Stichpunkte. Die Entscheidung, um die Sie bitten.

Format, das ich verwende:

Betreff: [Entscheidung erforderlich] Q2-Abwanderungsrisiko, empfehle diese Woche mit Top-12-Accounts zu handeln

Was sich verändert hat:
- 4,2 Mio. $ ARR mit hohem Abwanderungsrisiko in Q2, gegenüber 2,8 Mio. $ letztes Quartal
- 12 Accounts über 100.000 $, konzentriert auf 5 Kunden
- Haupttreiber: Support-Ticket-Geschwindigkeit (3-facher Anstieg in den letzten 30 Tagen)

Worum ich bitte:
- CSM-Save-Motion-Outreach an Top 12 diese Woche genehmigen
- 40.000 $ Budget für Retention-Rabattpaket für Top 5 genehmigen
- Entscheidung bis EOD Mittwoch, damit die Aktion Donnerstag beginnt

Was ich zum Meeting mitbringe:
- Die 12 Accounts, bewertet
- Den Save-Motion-Playbook-Entwurf
- Das 90-Tage-Prognoseergebnis mit und ohne Aktion

Drei Dinge, die das bewirkt:

1. Die Führungskraft geht bereits zu 80% entschieden ins Meeting. Sie hat Zeit gehabt nachzudenken, die Einschätzung ihres Teams einzuholen und mit einer schärferen Frage zurückzukommen.
2. Sie entdecken Einwände schriftlich, asynchron, wo Sie sie ruhig ansprechen können. Nicht vor Ort, wo Sie ins Stolpern geraten.
3. Wenn das Meeting abgesagt wird (und eines von drei Executive-Meetings wird in meiner Erfahrung abgesagt), wird die Entscheidung trotzdem getroffen. Der Pre-Read ist das Artefakt. Das Meeting ist nur die Ratifizierung.

Der Fehler, den ich bei DS-ICs sehe: Sie senden das Deck als Pre-Read. Die Führungskraft öffnet Folie 1, sieht eine Konfusionsmatrix und schließt die E-Mail. Senden Sie nicht das Deck. Senden Sie die Seite. Das Deck ist der Anhang.

Was weglassen

Dinge, die nicht auf der Folie für ein Executive-Publikum stehen sollten:

• ROC-Kurven
• Konfusionsmatrizen
• Merkmalswichtigkeits-Plots (außer ein Feature ist die gesamte Geschichte und Sie benennen es)
• Hyperparameter-Tabellen
• Alles mit „Log-Loss," „Perplexity," „KL-Divergenz" oder „MAP" im Titel
• Kreuzvalidierungs-Fold-Aufschlüsselungen
• Loss-Kurven
• Das Architekturdiagramm Ihres Modells
• Eine Liste der verwendeten Bibliotheken

Wenn die Führungskraft fragt, haben Sie all das im Anhang. Sie sollten in der Lage sein, zu Folie 18 zu blättern und zu antworten: „Ja, AUC ist 0,87, kalibriert auf einem 5-Fold-Holdout." Bieten Sie es nicht unaufgefordert an.

Die Messlatte ist brutal, aber fair: Wenn eine Folie der Führungskraft nicht bei der Entscheidung hilft, kommt sie nicht in den vorderen Teil des Decks. Die Modellartefakte gehen zum DS-Peer-Review, das ein anderes Meeting mit einem anderen Publikum ist. Wer diese Publika vermischt, baut 30-folige Decks, die niemand liest.

Ich gehe noch weiter: Wenn Sie die ROC-Kurve zeigen wollen, fragen Sie sich warum. Meistens ist es, weil Sie stolz auf das Modell sind. Das ist fair, das sollten Sie auch sein. Aber Stolz trifft keine Entscheidungen. Die Headline-Zahl tut das. Zeigen Sie die Headline. Die ROC-Kurve ist für Ihren DS-Lead.

Die Falle: „Wir haben ein Modell gebaut, das nichts verändert"

Das schlimmste Ergebnis in der DS-Arbeit ist kein falsches Modell. Es ist ein korrektes Modell, auf das niemand reagiert.

Ich habe Teams beobachtet, die schöne Abwanderungsmodelle ausgeliefert haben, die ein Jahr lang in einem Looker-Dashboard saßen, weil niemand jemals definiert hat, was das CSM-Team damit tun sollte. Ich habe Lead-Scoring-Modelle mit 0,91 AUC gesehen, die null inkrementelle gewonnene Deals produziert haben, weil sich die Routing-Logik nie geändert hat. Das Modell hatte Recht. Die Aktionsschleife fehlte.

Das ist die Falle, und sie wird gestellt, bevor die erste Zeile Code geschrieben wird.

Die Lösung liegt vor der Kommunikation. Bevor Sie mit dem Projekt beginnen, schreiben Sie die Antwort auf diese Frage auf: „Wenn das Modell perfekt funktionieren würde, was würde sich am Montag im Unternehmen ändern?"

Wenn Sie das nicht in einem Satz beantworten können, beginnen Sie nicht mit dem Projekt. Gehen Sie zurück zum Stakeholder. Fragen Sie ihn. Wenn er es auch nicht beantworten kann, ist das Projekt noch nicht bereit.

Eine gute Antwort: „Das CSM-Team hätte jeden Montag eine nach Risiko sortierte Liste von Accounts und würde die Top 10 dieser Woche anrufen."

Eine schlechte Antwort: „Wir würden Abwanderung besser verstehen."

Verstehen ist keine Handlung. Es ist ein Gefühl. Niemand wurde befördert, weil er Abwanderung besser verstand. Menschen werden befördert, weil sie 4 Mio. $ ARR gerettet haben, indem sie 12 Accounts anriefen.

Sobald Sie die Antwort haben, wird der Rest des Projekts einfacher:

• Das Ausgabeformat wird durch die Handlung bestimmt („eine nach Risiko sortierte Account-Liste")
• Die Kadenz wird durch den Workflow bestimmt („jeden Montag")
• Die Erfolgsmetrik wird durch das Geschäftsergebnis bestimmt („behaltener ARR vs. Kontrollgruppe")
• Die Kommunikationsstrategie wird durch die handelnden Personen bestimmt („das CSM-Team, wöchentlich, in ihrem bestehenden Pipeline-Review")

Wenn die Aktionsschleife real ist, schreibt sich die Kommunikation von selbst. Die Folie sagt: „Hier ist die Liste. Rufen Sie die Top 10 an. Wir messen die Retention in 90 Tagen."

Wenn die Aktionsschleife fehlt, wird kein Folienpolitur Sie retten. Das Modell wandert in die Schublade. Die Führungskraft hört auf, an Ihren Meetings teilzunehmen. Der nächste DS-Mitarbeiter erbt dasselbe Modell und dasselbe Dashboard, und der Zyklus wiederholt sich.

Das ist die schwierigste Disziplin in der IC-DS-Arbeit. Fast niemand lehrt sie in der Schule. Die technische Hürde ist die einfache Hürde. Die Aktionsschleifen-Hürde ist das, was DS-ICs, die befördert werden, von denen trennt, die es nicht tun.

Mehr erfahren

• Data Scientist Stellenbeschreibungsvorlage
• Stakeholder-Management für ICs
• A/B-Test-Reporting, das nicht immer wieder hinterfragt wird
• Wann man einem schlechten Brief widersprechen sollte