Was ist Test-Time Compute?

Aktualisiert im Juli 2026

Test-Time Compute, auch Inference-Time Compute genannt, ist die zusätzliche Rechenleistung, die ein Modell aufwendet, um ein Problem zu durchdenken, nachdem es eine Anfrage erhalten hat, statt sich nur auf das zu verlassen, was während des Trainings einprogrammiert wurde. Statt sofort zu antworten, generiert das Modell Zwischenschritte im Reasoning, probiert mehrere Ansätze aus und überprüft seine eigene Arbeit, wobei es pro Anfrage mehr Rechenleistung aufwendet, um die Genauigkeit bei schwierigen Problemen zu erhöhen.

Den Großteil der Geschichte großer Sprachmodelle hindurch bedeutete eine intelligentere Antwort, ein größeres Modell zu trainieren. Test-Time Compute hat diese Annahme durchbrochen. Ein Modell kann jetzt bei einer bestimmten Frage messbar intelligenter werden, indem man ihm einfach mehr Zeit und mehr Rechenleistung gibt, um sie durchzuarbeiten, ohne auch nur einen einzigen seiner trainierten Parameter zu verändern.

Von größeren Modellen zu längerem Denken

Jahrelang folgte der KI-Fortschritt einem einfachen Muster: mehr Parameter, mehr Trainingsdaten, mehr Trainings-Rechenleistung hinzufügen, und das Modell wird besser. Das ist Train-Time Scaling, und es prägte das Feld von den ersten GPT-Modellen bis zu den Frontier-Releases Mitte der 2020er Jahre. Jeder Fortschritt kam aus einem größeren, teureren Trainingslauf, und das resultierende Modell beantwortete danach jede Anfrage in ungefähr derselben Zeit, egal wie schwierig die Frage war.

OpenAIs o1, veröffentlicht im September 2024, durchbrach dieses Muster. Statt das Modell zu skalieren, skalierte o1, wie lange das Modell "nachdenken" durfte, bevor es antwortete, und generierte dabei eine interne Reasoning-Kette, die das Modell durcharbeitet, bevor es sich auf eine endgültige Antwort festlegt. Die Ergebnisse machten deutlich, dass Denkzeit ein eigenständiger Hebel ist, unabhängig von der Modellgröße.

Laut dem Stanford AI Index 2025 Bericht erzielte o1 74,4% bei einer Qualifikationsprüfung der Internationalen Mathematikolympiade, verglichen mit 9,3% für GPT-4o, bei denselben Fragen. Der Kompromiss war ebenfalls real: Der Bericht stellt fest, dass o1 fast sechsmal teurer und 30-mal langsamer ist als GPT-4o. Dieser Kompromiss, mehr Genauigkeit für mehr Kosten und mehr Zeit, ist die gesamte Prämisse von Test-Time Compute.

Wie "längeres Denken" Antworten tatsächlich verbessert

Ein Standard-Large Language Model generiert seine Antwort Token für Token, in einem einzigen Durchlauf, ohne Mechanismus, um innezuhalten, zu überdenken oder seine eigene Logik zu überprüfen, bevor die Antwort vollständig ist. Deshalb kann es eine falsche Antwort mit derselben flüssigen Zuversicht formulieren wie eine richtige.

Reasoning-Modelle, die für Test-Time Compute entwickelt wurden, fügen drei Dinge hinzu, die ein Standardmodell nicht von sich aus tut:

Erweiterte Reasoning-Spuren. Das Modell generiert eine lange interne Abfolge von Zwischenschritten, arbeitet Teilprobleme durch, überprüft Einschränkungen und erläutert seine eigene Logik, bevor es eine endgültige Antwort produziert. Das ist der Mechanismus hinter dem Chain-of-Thought-Reasoning, hochskaliert und oft außerhalb dessen ausgeführt, was der Nutzer sieht.

Sampling und Auswahl. Statt eine Antwort zu generieren, kann das Modell mehrere Kandidatenlösungen erzeugen und die beste auswählen, entweder durch Mehrheitsentscheidung (die Antwort, der die meisten Kandidaten zustimmen) oder durch eine gelernte Bewertungsfunktion, die Kandidaten nach wahrscheinlicher Korrektheit einstuft.

Selbstverifizierung. Das Modell überprüft sein eigenes Reasoning gegen die Einschränkungen des Problems und kann zurückgehen, um einen anderen Ansatz zu versuchen, wenn ein Schritt nicht standhält, ähnlich wie eine Person ihre Arbeit vor der Abgabe noch einmal überprüft.

OpenAIs eigene Ergebnisse bei der AIME-Mathematikprüfung 2024 zeigen, wie viel jeder dieser Hebel für sich genommen wert ist. Laut OpenAIs Release Notes für o1 erreichte das Modell im Durchschnitt 74% Genauigkeit mit einem einzigen Sample pro Problem, stieg auf 83%, wenn Konsens über 64 Samples verwendet wurde, und erreichte 93%, wenn 1.000 Samples mit einer gelernten Bewertungsfunktion neu eingestuft wurden, alles mit demselben zugrunde liegenden Modell. GPT-4o, ohne Test-Time-Reasoning, löste nur 12% derselben Probleme. An den Parametern des Modells änderte sich zwischen diesen drei Werten nichts. Nur die Menge an Test-Time Compute änderte sich.

Das neue Skalierungsgesetz

Vor 2024 bedeutete "Skalierungsgesetz" in der KI nur eines: Leistung als Funktion von Trainings-Rechenleistung, Modellparametern und Trainingsdaten. Test-Time Compute fügte eine zweite Achse hinzu. Ein Paper aus dem Jahr 2024 von Forschern der UC Berkeley und Google DeepMind, Scaling LLM Test-Time Compute Optimally Can Be More Effective Than Scaling Model Parameters, formalisierte dies: Die Zuweisung von Test-Time Compute auf "rechenoptimale" Weise, bei der der Reasoning-Aufwand an die Schwierigkeit der jeweiligen Anfrage angepasst wird, statt bei jeder Anfrage einen festen Betrag aufzuwenden, verbesserte die Effizienz um mehr als das Vierfache im Vergleich zu einem naiven Best-of-N-Sampling-Basiswert. In einem FLOPs-abgeglichenen Vergleich stellte das Paper fest, dass Test-Time Compute ein kleineres Modell ein 14-mal größeres übertreffen ließ.

Dieses Ergebnis verändert die Build-versus-Buy-Frage für Frontier-Labs und in der Folge für die Unternehmen, die deren Modelle kaufen. Ein Labor mit einem festen Rechenbudget hat nun zwei Möglichkeiten, es auszugeben: einen größeren, teureren Trainingslauf, der jede zukünftige Antwort um einen kleinen Betrag verbessert, oder ein Reasoning-System, das einem bestehenden Modell erlaubt, mehr Rechenleistung für die spezifischen Anfragen aufzuwenden, die sie benötigen.

Der Kompromiss verschwindet auch im großen Maßstab nicht, er wird nur sichtbarer. OpenAIs o3-Modell, das anhand des ARC-AGI-Pub-Benchmarks bewertet wurde, zeigt die Kurve direkt: Eine hocheffiziente Konfiguration erzielte 75,7% bei der semi-privaten Bewertung zu Rechenkosten von 26 \(pro Aufgabe, während eine ineffiziente Konfiguration, die etwa 172-mal mehr Rechenleistung nutzte, 87,5% zu 4.560\) pro Aufgabe erzielte. Zwölf zusätzliche Genauigkeitspunkte kosten über das 170-fache an Rechenleistung. Das ist die Form von Test-Time Scaling in der Praxis: reale Gewinne, zu einem für jeden zusätzlichen Punkt steil steigenden Preis.

Test-Time Compute vs. Train-Time Compute

Beide Achsen sind im technischen Sinne weiterhin Skalierungsgesetze: Die Leistung verbessert sich als ungefähr vorhersehbare Funktion der aufgewendeten Rechenleistung. Der Unterschied liegt darin, wann man zahlt und was man dafür bekommt. Train-Time Compute ist eine einmalige Investition in das Modell selbst. Test-Time Compute ist eine Entscheidung pro Anfrage, die ein Unternehmen, oder die Anwendung, die das Modell aufruft, jedes Mal treffen muss.

Kosten- und Latenz-Kompromisse

Test-Time Compute ist nicht kostenlos, und das zeigt sich an zwei Stellen gleichzeitig: bei Geld und bei Zeit.

Latenz. Ein Standardmodell antwortet in Sekundenbruchteilen bis wenigen Sekunden. Ein Reasoning-Modell, das eine erweiterte Denkkette durcharbeitet, kann zwischen mehreren Sekunden und mehreren Minuten benötigen, je nachdem, wie viel internes Reasoning es generiert, bevor es eine sichtbare Antwort produziert. Für interaktive Anwendungsfälle ist dieser Unterschied entscheidend: Ein Support-Mitarbeiter, der 20 statt 2 Sekunden auf eine Antwort wartet, wird eine Umgehungslösung finden oder aufhören, das Tool zu nutzen. Siehe Latenz dazu, wie die Antwortzeit bestimmt, ob eine Funktion tatsächlich angenommen wird.

Kosten. Reasoning-Token sind ebenfalls nicht kostenlos, und die meisten davon sind unsichtbar. Laut Artificial Analysis kostet OpenAIs o3 2,00 \(pro Million Input-Token und 8,00\) pro Million Output-Token, und interne Reasoning-Token, also jene, die während des "Denkprozesses" des Modells generiert werden, werden als Output-Token abgerechnet, obwohl der Nutzer sie nie in der Antwort sieht. Eine kurze sichtbare Antwort kann auf einer viel größeren, abgerechneten Reasoning-Spur aufbauen. Das ist ein strukturell anderes Kostenprofil als bei einem Standardmodell, bei dem die sichtbare Token-Anzahl in etwa der Token-Anzahl entspricht, für die man zahlt.

Die praktische Konsequenz ist, dass Test-Time Compute die Frage "wie intensiv sollte das Modell darüber nachdenken" zu einer Kostenkontroll-Entscheidung macht, nicht nur zu einer Qualitätsfrage. Inference-Optimierungs-Techniken, wie das Begrenzen der Reasoning-Länge, das Weiterleiten einfacher Anfragen an ein schnelles Modell und das Eskalieren nur schwieriger Anfragen an ein Reasoning-Modell, sowie das Caching wiederholter Anfragen, werden alle wertvoller, sobald ein bedeutender Anteil der Anfragen eine variable, manchmal große Reasoning-Token-Rechnung mit sich bringt.

Geschäftliche Implikationen: Wann sich Reasoning-Modell-Preise lohnen

Nicht jede KI-Funktion benötigt Test-Time Compute, und jede Anfrage so zu behandeln, als bräuchte sie es, ist der schnellste Weg, ein vielversprechendes Pilotprojekt in ein teures zu verwandeln. Die Entscheidung läuft auf eine recht einfache Frage hinaus: Wie kostspielig ist eine falsche Antwort, verglichen damit, wie kostspielig eine langsame oder teure Antwort ist?

Verwenden Sie ein Standard-, schnelles Modell, wenn: die Aufgabe hochvolumig ist, die Antwort entweder offensichtlich richtig oder leicht zu überprüfen ist, und Geschwindigkeit für die wartende Person wichtig ist. Kunden-FAQ-Antworten, einfache Klassifizierung, Erstentwürfe für Inhalte und routinemäßige Datenextraktion passen alle zu diesem Muster. Jede dieser Aufgaben durch ein Reasoning-Modell laufen zu lassen, verbrennt Budget für Genauigkeit, die die Aufgabe nicht benötigte.

Reservieren Sie Test-Time Compute für: mehrstufige Analysen, bei denen ein Fehler teuer zu korrigieren ist, nachdem er entdeckt wurde, Aufgaben mit einem großen Lösungsraum, bei denen das Modell davon profitiert, Alternativen zu erkunden, und jeden Workflow, bei dem eine Person auf Basis der Ausgabe handelt, ohne sie unabhängig nachzuvollziehen, wie Finanzmodellierung, Vertragsanalyse oder technisches Debugging. Das sind die Fälle, in denen sich der Kompromiss "sechsmal teurer, 30-mal langsamer" aus dem Stanford AI Index lohnt.

Die Budgetierungs-Implikation für eine Führungskraft, die KI-Arbeit sponsert: Die Kosten pro Anfrage für eine Reasoning-Modell-Funktion sind keine feste Zahl, wie es bei Standardmodellen oft der Fall war. Sie variieren je nachdem, wie schwierig sich jede einzelne Anfrage herausstellt, da das Modell selbst entscheidet, wie viel Reasoning es benötigt. Das macht Nutzungsüberwachung und Routing-Logik, also das Senden nur der Anfragen, die tiefes Reasoning benötigen, an das teure Modell, von Tag eins an zu einem Teil des Kostenkontrollplans, nicht zu einem nachträglichen Gedanken, sobald die Rechnung kommt. KI-Agenten, die mehrere Modellaufrufe miteinander verketten, verstärken das noch, da ein mehrstufiger Agenten-Workflow Test-Time-Reasoning mehrfach innerhalb einer einzigen Aufgabe aufrufen kann.

Wichtige Fakten

• OpenAIs o1 erzielte 74,4% bei einer Qualifikationsprüfung der Internationalen Mathematikolympiade, verglichen mit 9,3% für GPT-4o, aber o1 ist laut dem Stanford AI Index 2025 Bericht fast sechsmal teurer und 30-mal langsamer als GPT-4o.
• Bei den AIME-Mathematikprüfungen 2024 erzielte o1 im Durchschnitt 74% Genauigkeit mit einem einzigen Sample pro Problem, 83% mit Konsens über 64 Samples und 93% bei der Neueinstufung von 1.000 Samples, verglichen mit 12% für GPT-4o bei denselben Problemen, laut OpenAIs offiziellen o1-Release-Notes.
• Eine rechenoptimale Test-Time-Scaling-Strategie kann die Effizienz im Vergleich zu einem naiven Best-of-N-Basiswert um mehr als das Vierfache verbessern, und in FLOPs-abgeglichenen Vergleichen ließ Test-Time Compute ein kleineres Modell ein 14-mal größeres übertreffen, laut dem Berkeley- und DeepMind-Paper Scaling LLM Test-Time Compute Optimally.
• Beim ARC-AGI-Pub-Benchmark erzielte eine hocheffiziente Konfiguration von OpenAIs o3 75,7% zu 26 \(pro Aufgabe, während eine ineffiziente Konfiguration 87,5% zu 4.560\) pro Aufgabe erzielte, wobei sie etwa 172-mal mehr Rechenleistung für einen Genauigkeitsgewinn von 12 Punkten nutzte, laut ARC Prizes offiziellen Ergebnissen.
• OpenAIs o3 kostet 2,00 \(pro Million Input-Token und 8,00\) pro Million Output-Token, und interne Reasoning-Token werden als Output-Token abgerechnet, obwohl sie nie in der sichtbaren Antwort erscheinen, laut Artificial Analysis.

Verwandte KI-Konzepte

• Reasoning Models - Die Modellkategorie, die speziell für die Nutzung von Test-Time Compute entwickelt wurde
• Inference - Die breitere Produktivphase, deren variable Kostenform Test-Time Compute darstellt
• Chain-of-Thought - Die Schritt-für-Schritt-Reasoning-Technik, die Test-Time Compute hochskaliert
• Large Language Models - Die Basis-Modellkategorie, die Reasoning-Modelle erweitern
• Inference Optimization - Techniken zur Kontrolle von Kosten und Latenz bei der Inferenz
• Latency - Warum die zusätzliche Denkzeit bei Test-Time Compute die Akzeptanz beeinflusst
• AI Agents - Mehrstufige Systeme, bei denen sich Test-Time-Reasoning-Kosten summieren können
• Foundation Models - Die Basismodelle, auf denen Reasoning-Fähigkeiten aufgebaut werden

Externe Ressourcen

• Stanford AI Index 2025, Technical Performance - Unabhängige Benchmark-Daten zu Genauigkeit, Kosten und Latenz von o1 im Vergleich zu GPT-4o
• OpenAI: Learning to Reason with LLMs - OpenAIs eigene Release Notes und Benchmark-Daten für o1
• Scaling LLM Test-Time Compute Optimally Can Be More Effective Than Scaling Model Parameters - Das Berkeley/DeepMind-Paper, das Test-Time Compute als Skalierungsgesetz formalisiert
• ARC Prize: o3 ARC-AGI-Pub Results - Offizielle Kosten-pro-Aufgabe-Daten über verschiedene Rechenkonfigurationen

Teil der KI-Begriffe-Sammlung. Zuletzt aktualisiert: 2026-07-16