Was ist Validated Learning?

Was ist Validated Learning? Ein Startup lernt, wenn echtes Kundenverhalten eine Geschäftsannahme prüft und verändert, was das Team als Nächstes tut.

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Validated Learning (validiertes Lernen) ist eine Erkenntnis über Ihr Geschäft, die durch Belege echter Kunden bestätigt ist, nicht durch Meinung, Prognose oder die Begeisterung des Teams. Es ist die Maßeinheit für Fortschritt in der Lean-Startup-Methode. Ein Startup, das drei Releases ausgeliefert und nichts darüber gelernt hat, wofür Kunden zahlen, ist nicht weit gekommen. Ein Startup, das nichts ausgeliefert, aber mit Kundenverhalten bewiesen hat, dass eine Kernannahme falsch war, schon.

Der Begriff stammt von Eric Ries und gehört zu den meistzitierten und am wenigsten gelebten Ideen des Aufbaus junger Unternehmen. Man nickt dazu, kehrt dann aber zurück zum Zählen von Anmeldungen und zum Ausliefern von Features. Dieser Leitfaden erklärt, was der Begriff bedeutet, wie er sich von gewöhnlichem Messen unterscheidet, wie Sie ein Experiment entwerfen, das eine validierte Erkenntnis liefert, und welche Fallen aus „Lernen“ stillschweigend wieder Raten machen.

Was Validated Learning bedeutet

Auf der Seite zu den Lean-Startup-Prinzipien stellt Ries Validated Learning der Art gegenüber, wie andere Branchen Fortschritt messen. Sein Vergleich: Fortschritt in der Fertigung wird an der Produktion hochwertiger Güter gemessen, während die Maßeinheit für Fortschritt bei Lean Startups Validated Learning ist, das er eine rigorose Methode nennt, um Fortschritt nachzuweisen, wenn man in extremer Unsicherheit steckt.

In dieser Definition stecken zwei Gedanken.

Fortschritt ist eine Veränderung dessen, was Sie wissen. Ein neues Unternehmen weiß noch nicht, wer sein Kunde ist, was er zahlt oder wie man ihn erreicht. Code schreiben, einstellen und eine Marke polieren sind Aktivitäten. Sie zählen nur dann als Fortschritt, wenn sie eine dieser Unbekannten verringern.

„Validiert“ heißt am Verhalten geprüft. In einem früheren Beitrag über Validated Learning über Kunden beschreibt Ries Validierung als Daten, die zeigen, dass die zentralen Risiken des Geschäfts durch das aktuelle Produkt adressiert wurden. Diese Daten müssen kein Umsatz sein. Es kann Engagement sein, Retention oder virale Verbreitung, alles, was eine glaubwürdige wirtschaftliche Geschichte über das Geschäft erzählt.

Den Unterschied spürt man leicht an zwei Aussagen über dasselbe Produkt:

  • „Die Kunden lieben es. Wir haben in unseren Demos tolles Feedback bekommen.“
  • „Von den 40 im März eröffneten Testkonten nutzten 14 das Produkt im Mai noch wöchentlich, und 9 davon baten um eine Rechnung.“

Die erste ist ein Gefühl. Die zweite ist eine Erkenntnis, die jemand anderes prüfen kann und die auf eine Entscheidung hinweist. Beide betreffen dasselbe Produkt, und nur eine ist validiert.

Wichtige Fakten: Validated Learning

  • Validated Learning ist eines der Prinzipien der Lean-Startup-Methode, und die offizielle Website nennt es die Maßeinheit für Fortschritt bei Lean Startups.
  • Dieselbe Website beschreibt die grundlegende Tätigkeit eines Startups so: Ideen in Produkte verwandeln, messen, wie Kunden reagieren, und lernen, ob man pivotieren oder durchhalten soll.
  • Ries beschreibt Validierung als Daten, die zeigen, dass die zentralen Risiken des Geschäfts durch das aktuelle Produkt adressiert wurden, und sagt, es müsse kein Umsatz sein.
  • Ries argumentiert, dass Vanity Metrics keine Kausalität haben: Eine große Zahl sagt nicht, was sie verursacht hat oder wie man mehr davon bekommt.
  • Eine randomisierte Studie mit 116 italienischen Startups ergab, dass Gründer, die darin geschult wurden, Hypothesen wie Wissenschaftler zu testen, besser abschnitten und häufiger pivotierten, ohne früher aufzugeben.
  • Es gibt kein einheitliches Standardformat für ein Validated-Learning-Experiment. Schwellenwerte und Kennzahlen variieren je nach Geschäft und Phase.

Wie es sich von gewöhnlichem Messen unterscheidet

Die meisten Teams messen bereits etwas. Der Unterschied liegt darin, wofür gemessen wird.

Messen vs. Validated Learning: Ein Dashboard berichtet, was passiert ist. Eine vorab festgelegte Hypothese samt Schwellenwert macht aus einem Kundenergebnis eine Entscheidung zwischen beibehalten, ändern oder stoppen.

Gewöhnliches Messen Validated Learning
Ausgangspunkt Die Daten, die Sie zufällig erheben Eine Annahme, bei der Sie sich irren könnten
Frage „Wie läuft es bei uns?“ „Stimmt diese konkrete Annahme?“
Vorab festgehalten Selten Die Prognose und die Bestehensgrenze
Typisches Ergebnis Ein Dashboard Eine Entscheidung: beibehalten, ändern oder stoppen
Fehlermodus Die Zahlen steigen, und niemand weiß, warum Ein Test, der nicht scheitern kann

Ein Dashboard zeigt, was passiert ist. Ein Validated-Learning-Experiment prüft, ob Sie verstanden haben, warum. Wenn Sie nicht vorab sagen können, welches Ergebnis Ihre Pläne ändern würde, berichten Sie nur, statt zu lernen.

Die Build-Measure-Learn-Schleife

Validated Learning entsteht durch eine Schleife. Die Lean-Startup-Website beschreibt die grundlegende Tätigkeit eines Startups als das Verwandeln von Ideen in Produkte, das Messen der Kundenreaktion und das anschließende Lernen, ob man pivotieren oder durchhalten soll. Unser Artikel zur Lean-Startup-Methode behandelt die ganze Methode. Hier der Teil, der für dieses Thema zählt.

Die Build-Measure-Learn-Schleife: Mit einer riskanten Annahme beginnen, den kleinsten Test bauen, das Kundenverhalten beobachten und dann entscheiden, ob man durchhält oder pivotiert.

  1. Idee. Formulieren Sie eine Annahme, die zählt, etwa „kleine Steuerkanzleien zahlen dafür, die Erfassung von Mandantenunterlagen zu automatisieren“.
  2. Bauen. Bauen Sie das Kleinste, was sie testen kann. Das kann ein funktionierender Prototyp sein, ebenso gut aber eine Landingpage, ein Concierge-Service, den Sie von Hand erbringen, oder eine Skizze, die Sie einem Kunden durchgehen. Ein Minimum Viable Product richtet sich in der Größe nach der Frage, nicht nach einer Featureliste.
  3. Messen. Beobachten Sie, was echte Kunden tun. Was sie tun, ist der stärkere Beleg als das, was sie sagen.
  4. Lernen. Vergleichen Sie das Ergebnis mit der Prognose. Entscheiden Sie, ob Sie wie geplant weitermachen oder etwas ändern.

Die Falle besteht darin, „Bauen“ für das Ziel zu halten. Die Schleife liefert nur dann Validated Learning, wenn „Messen“ und „Lernen“ ebenso viel Aufmerksamkeit bekommen wie „Bauen“. Teams, die sie überspringen, liefern aus, und Ausliefern ist kein Lernen.

Es hilft auch, die Schleife rückwärts zu planen. Entscheiden Sie, was Sie lernen müssen, dann welche Messung es zeigen würde, und bauen Sie nur so viel, wie diese Messung erfordert. Diese Reihenfolge ist der Grund, warum der Riskiest Assumption Test ein so nützlicher Begleiter ist: Er wählt die Annahme aus, die zuerst getestet wird.

Vanity Metrics versus aussagekräftige Kennzahlen

Validated Learning hängt von Kennzahlen ab, die Sie ehrlich lesen können. Ries' Beitrag warum Vanity Metrics gefährlich sind legt das dar. Sein liebstes Beispiel für eine Vanity Metric sind „Hits“. Er sagt, sie verletzten die Regel „Kennzahlen sind auch Menschen“: Sie zählen einen technischen Vorgang, nicht eine Anzahl von Menschen.

Vanity Metrics vs. aussagekräftige Kennzahlen: Kumulierte Summen schmeicheln. Kohorten-Retention und Conversion-Raten zeigen, ob eine Änderung das Kundenverhalten verändert hat.

Sein zweiter Einwand betrifft die Kausalität. Wenn Sie diesen Monat eine Million Hits bekommen, was hat sie verursacht, und wie könnten Sie mehr erzeugen? Eine einzelne große Zahl beantwortet keine der beiden Fragen. Die Alternative sind aussagekräftige Kennzahlen (Actionable Metrics), aufgebaut aus Teilkennzahlen, die diese Fragen sehr wohl beantworten.

Die folgende Tabelle ist unsere eigene Darstellung des Gedankens, kein Zitat von Ries.

Vanity Metric Aussagekräftige Alternative
Gesamtzahl der Anmeldungen bisher Anteil der Anmeldungen dieser Woche, die innerhalb von 7 Tagen die Schlüsselaktion abgeschlossen haben
Seitenaufrufe Conversion von Besuch zu Test, nach Traffic-Quelle aufgeteilt
Gesamtzahl der Downloads Kunden, die 30 Tage nach der Anmeldung noch aktiv sind, nach Anmeldemonat
Umsatz in diesem Monat Umsatz von Kunden, die in diesem Monat gewonnen wurden, im Verhältnis zu den Kosten ihrer Gewinnung
Gesamtzahl der geführten Interviews Anteil der Befragten, die das Problem ungefragt beschrieben haben

Das Muster in der rechten Spalte sind Kohorten und Raten. Gruppieren Sie Kunden nach ihrem Startzeitpunkt und vergleichen Sie die Gruppen. Wenn ein neuer Onboarding-Ablauf funktioniert, sollte sich die Kohorte, die ihn gesehen hat, anders verhalten als die Kohorte davor. Aus diesem Vergleich stammen kausale Belege. Eine laufende Summe kann das nicht liefern.

Innovation Accounting

Gewöhnliche Buchhaltung misst ein Unternehmen, das bereits existiert. Ein neues Vorhaben hat keine stabile Basis zum Vergleich. Die Lean-Startup-Website versteht Innovation Accounting als Antwort darauf: Um unternehmerische Ergebnisse zu verbessern und Unternehmer in die Verantwortung zu nehmen, müsse man sich darauf konzentrieren, wie man Fortschritt misst, wie man Meilensteine setzt und wie man Arbeit priorisiert.

In der Praxis gliedern Teams das meist in drei Schritte. Das ist eine verbreitete Art, den Gedanken anzuwenden, keine offizielle Spezifikation:

  1. Eine Baseline setzen. Fahren Sie eine minimale Version des Produkts oder Angebots und halten Sie die realen Zahlen fest, so schlecht sie sein mögen. Das ist der Ausgangspunkt.
  2. Auf ein Ziel hin justieren. Führen Sie Experimente durch, die eine Kennzahl von der Baseline in Richtung des Modells bewegen sollen, das Ihr Geschäft braucht, um zu funktionieren.
  3. Entscheiden. Bewegt sich die Kennzahl, halten Sie durch. Bleibt sie trotz wiederholter Experimente flach, muss sich vielleicht das Modell ändern, und das ist die Frage hinter einem Pivot.

Darum ist Validated Learning nicht dasselbe wie „datengetrieben sein“. Das Ziel sind nicht mehr Daten. Es ist eine kurze Liste von Zahlen, die zeigen, ob das Geschäftsmodell dem Funktionieren näher kommt.

So entwerfen Sie ein Validated-Learning-Experiment

Ein brauchbares Experiment passt auf wenige Zeilen. Schreiben Sie es auf, bevor Sie beginnen.

Ein Validated-Learning-Experiment entwerfen: Hypothese, Kundentest, Kennzahl, Schwellenwert und Entscheidungsregel festhalten, bevor das Ergebnis vorliegt.

  1. Hypothese. Eine Annahme, so formuliert, dass sie falsch sein kann. „Menschen in diesem Segment haben dieses Problem oft genug, um für eine Lösung zu zahlen“ ist testbar. „Unser Produkt ist nützlich“ nicht.
  2. Test. Die kleinste Handlung, die echtes Verhalten echter Interessenten hervorbringt: Interviews, die mit einer Anfrage enden, eine Landingpage mit klarem Angebot, ein manueller Service, ein bezahlter Pilot.
  3. Kennzahl. Eine Zahl, die Sie unabhängig davon, wer sie ansieht, gleich lesen. Bevorzugen Sie eine Rate gegenüber einer Summe.
  4. Schwellenwert. Welches Ergebnis Weitermachen bedeutet, welches Stopp und welches „nicht aussagekräftig, neu konzipieren“. Legen Sie das fest, bevor Sie Daten sehen.
  5. Zeitrahmen und Stichprobe. Wie lange Sie das Experiment laufen lassen und wie viele Personen Sie erreichen müssen, bevor Sie urteilen.
  6. Entscheidungsregel. Was Sie bei jedem Ausgang tun werden. Wenn jeder Ausgang zum selben nächsten Schritt führt, informiert das Experiment über nichts.

Hier ein hypothetisches Beispiel mit erfundenen Zahlen, um das Format zu zeigen. Ein Team glaubt, dass Steuerkanzleien mit weniger als 20 Beschäftigten dafür zahlen, das Einsammeln von Mandantenunterlagen zu automatisieren.

Feld Eintrag
Hypothese Kleine Steuerkanzleien verlieren so viel Zeit damit, Mandantenunterlagen hinterherzulaufen, dass sie sich auf einen bezahlten Pilot einlassen
Test 25 Gespräche mit Kanzleiinhabern, jedes endet mit dem Angebot eines bezahlten Pilots
Kennzahl Zahl derer, die das Pilotangebot annehmen
Schwellenwert 6 oder mehr von 25 bedeuten Weitermachen. Weniger als 3 bedeuten Stopp oder Segmentwechsel. Dazwischen: neu konzipieren und wiederholen
Zeitrahmen Drei Wochen
Entscheidungsregel Weitermachen: nur bauen, was der Pilot braucht. Stopp: ein anderes Segment oder Problem testen

Beachten Sie, dass der Test keine Software-Entwicklung erfordert. Das Lernen kommt aus der Bitte um eine Zusage, nicht aus einem Prototyp. Wie Sie die Gespräche selbst führen, lesen Sie unter Customer Discovery.

Belege dafür, dass der wissenschaftliche Ansatz hilft

Es ist berechtigt zu fragen, ob das Testen von Annahmen auf diese Weise die Ergebnisse tatsächlich verändert. Eine der wenigen kontrollierten Studien dazu ist der Aufsatz von Camuffo, Cordova, Gambardella und Spina in Management Science, "A Scientific Approach to Entrepreneurial Decision Making: Evidence from a Randomized Control Trial".

Die Autoren führten eine randomisierte kontrollierte Studie mit 116 italienischen Startups durch und erhoben über etwa ein Jahr 16 Datenpunkte. Sowohl die Behandlungsgruppe als auch die Kontrollgruppe erhielten 10 Sitzungen allgemeines Training dazu, Feedback vom Markt einzuholen und die Machbarkeit ihrer Idee einzuschätzen. Den behandelten Startups wurde zusätzlich beigebracht, Rahmenwerke zur Vorhersage der Leistung ihrer Idee zu entwickeln und ihre Hypothesen streng zu testen, ähnlich wie Wissenschaftler. Die Kontrollgruppe folgte ihrer eigenen Intuition.

Die Autoren berichten, dass Unternehmer, die sich wie Wissenschaftler verhielten, besser abschnitten, häufiger zu einer anderen Idee pivotierten und in den frühen Phasen nicht häufiger aufgaben. Als Mechanismus beschreiben sie verbesserte Präzision: Ein wissenschaftlicher Ansatz verringert die Wahrscheinlichkeit, Projekte mit falsch-positiven Erträgen zu verfolgen, und erhöht die Wahrscheinlichkeit, Projekte mit falsch-negativen Erträgen zu verfolgen.

Verstehen Sie das als eine Studie mit einer Stichprobe, nicht als Garantie. Interessant ist aber das Pivot-Ergebnis. Die behandelten Gründer waren weder vorsichtiger noch sturer. Sie änderten häufiger die Richtung, weil sie Belege hatten, auf die sie sich stützen konnten.

Häufige Fallen

  1. Meinungen testen. „Würden Sie das nutzen?“ kostet den Antwortenden nichts. Suchen Sie nach Verhalten: einer Anmeldung, einer Anzahlung, einem geteilten Dokument, einem Pilot.
  2. Den Schwellenwert festlegen, nachdem die Daten da sind. Jedes Ergebnis lässt sich im Nachhinein als Erfolg darstellen. Schreiben Sie die Bestehensgrenze zuerst auf.
  3. Summen messen. Eine Zahl, die nur steigt, sagt nicht, ob etwas von dem, was Sie getan haben, eine Rolle spielte. Nutzen Sie Kohorten und Raten.
  4. Das Bequeme testen. Teams testen gern, was sich schnell bauen lässt. Testen Sie die Annahme, deren Falschheit die Idee beenden würde.
  5. Annahmen bündeln. Deckt ein Test Preis, Bedarf und Benutzbarkeit zugleich ab und scheitert, wissen Sie nicht, was gebrochen ist.
  6. Freunde und Familie fragen. Sie sind höflich. Rekrutieren Sie aus dem Segment, das Sie tatsächlich bedienen wollen.
  7. Aktivität mit Lernen verwechseln. Ein ausgeliefertes Release, ein Launch oder eine Presseerwähnung ist kein Lernen, wenn sie nicht verändert hat, was Sie glauben.
  8. Einen nicht aussagekräftigen Test als bestanden werten. Wenn die Stichprobe zu klein war oder die falschen Leute teilgenommen haben, sagen Sie es und wiederholen Sie den Test.
  9. Lernen ohne Handeln. Eine validierte Erkenntnis, die nichts ändert, war ein teurer Statusbericht.

Wie Validated Learning mit anderen Startup-Ideen zusammenhängt

  • MVP. Das Minimum Viable Product ist das Werkzeug, um zu einer Erkenntnis zu kommen. Ein gutes erkennt man daran, dass es schnell eine entscheidungsreife Antwort liefert.
  • Riskiest Assumption Test. Wählt aus, welche Annahme als Nächstes getestet wird. Validated Learning ist die breitere Gewohnheit, für jede wichtige Annahme Belege zu verlangen.
  • Pivot. Die Entscheidung, die folgt, wenn wiederholte Experimente zeigen, dass sich das aktuelle Modell nicht bewegt. Steve Blank beschreibt ein Startup als eine Organisation, die gegründet wurde, um ein wiederholbares und skalierbares Geschäftsmodell zu suchen, und merkt an, dass die meisten Startups ihr Modell mehrmals ändern, bevor sie eines finden.
  • Problem-Solution-Fit. Die Phase, in der die Erkenntnisse sich zu Belegen addieren, dass ein echtes Problem existiert und Ihre Lösung es adressiert. Siehe Problem-Solution-Fit.
  • Traction. Irgendwann zeigen sich die Erkenntnisse als Nachfragesignale in den Zahlen. Unser Artikel darüber, was Traction ist, behandelt, wie man sie erkennt.
  • Umfragen zum Product-Market-Fit. Der Sean-Ellis-Test ist eine strukturierte Möglichkeit, Kundenstimmung in eine Zahl zu verwandeln, die Sie verfolgen können.

Validated Learning ist keine Phase, die man abschließt. Ein Unternehmen mit Produkt und wachsendem Umsatz hat weiterhin Annahmen, die es nicht getestet hat, über neue Segmente, Preise und Kanäle. Die Schleife wandert nur zu einer anderen Frage.

Kurze Checkliste

Prüfen Sie vor Ihrem nächsten Experiment, ob Sie diese Fragen beantworten können:

  • Welche einzelne Annahme testen wir, und was passiert, wenn sie falsch ist?
  • Welches echte Verhalten echter Interessenten würde als Beleg zählen?
  • Ist die Kennzahl eine Rate oder Kohortenzahl und keine laufende Summe?
  • Wo liegt die Grenze für bestanden, durchgefallen und nicht aussagekräftig, festgehalten vor dem Start?
  • Was tun wir bei jedem Ergebnis anders?
  • Wer muss das Ergebnis sehen, damit es eine Entscheidung verändert?

Weiterführende Lektüre

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.