KI-Sicherheitsprüfungen erklärt

Von Brian Tr · Aktualisiert am 6. Oktober 2026

Eine KI-Sicherheitsprüfung ist die formale Kontrolle, die ein Käufer aus dem Enterprise-Segment am KI-Produkt eines Anbieters durchführt, bevor es mit Unternehmensdaten arbeiten darf. Sie beginnt wie eine normale Prüfung eines Softwareanbieters: Fragebögen, Zertifizierungen, Architekturfragen, Vertragsbedingungen. Dann kommt eine zweite Ebene von Fragen zu Risiken hinzu, die nur existieren, weil das Produkt ein Modell enthält, etwa Prompt Injection, das Abfließen sensibler Informationen und Software, die im Auftrag eines Nutzers Aktionen ausführt.

Für ein KI-Startup ist diese Prüfung oft der Punkt, an dem ein scheinbar sicherer Deal sich um Wochen verzögert. Sie ist aber auch vorhersehbar. Die Frameworks, die Prüfer nutzen, sind öffentlich, die Fragen wiederholen sich von Käufer zu Käufer, und der Großteil der Arbeit besteht darin, Nachweise bereitzuhalten, bevor jemand danach fragt. Diese Seite erklärt, was die Prüfung ist, wie sie sich von einer Standardprüfung für SaaS unterscheidet, welche benannten Frameworks dahinterstehen, welche Phasen sie durchläuft und was Sie vorbereiten sollten.

Was eine KI-Sicherheitsprüfung ist

Eine Sicherheitsprüfung ist ein Due-Diligence-Prozess auf Käuferseite. Das Security-, Risiko- oder IT-Team des Käufers entscheidet, ob das Produkt eines Anbieters mit den Daten des Käufers genutzt werden darf und unter welchen Bedingungen. Das Ergebnis ist meist eine Freigabe, eine bedingte Freigabe mit erforderlichen Korrekturen oder eine Ablehnung.

Zwei Dinge unterscheiden sie von einem allgemeinen Verkaufsgespräch. Die Zielgruppe ist ein Risikoverantwortlicher, nicht die Person, die das Produkt haben will. Und die Nachweise müssen schriftlich vorliegen, denn der Prüfer muss die Entscheidung später gegenüber jemand anderem verteidigen.

Im KI-Vertrieb steht die Prüfung selten allein. Sie läuft parallel zur rechtlichen Prüfung der Datenbedingungen und zunehmend zu einer separaten Betrachtung der KI-Governance. Unter Das Einkaufsgremium für KI erfahren Sie, wer auf der anderen Seite des Tisches sitzt und warum Security in der Regel ein Vetorecht hat.

Wie sie sich von einer Standardprüfung für SaaS unterscheidet

Eine Standard-Sicherheitsprüfung für SaaS fragt, ob der Anbieter Daten schützt und einen disziplinierten Betrieb führt. Eine KI-Prüfung fragt all das und fragt dann, ob die Modellschicht neue Wege eröffnet, Daten zu verlieren, manipuliert zu werden oder Schaden anzurichten. Die Grundlage bleibt bestehen, die KI-Ebene kommt hinzu.

Die Zeile zum Verhalten ist diejenige, die Gründer unterschätzen. Herkömmliche Software ist deterministisch, sodass ein Prüfer aus dem Design ableiten kann. Der Output eines Modells ist nicht festgelegt, also verlangt der Prüfer stattdessen Testnachweise. Das hängt mit der Evaluationsarbeit zusammen, die in Warum Demos bei KI-Produkten wichtiger sind beschrieben ist.

Die Grundlage: Fragebögen und Zertifizierungen

Vor jeder KI-spezifischen Frage prüfen die meisten Reviews dieselben Grundlagen.

Sicherheitsfragebögen. Käufer senden oft einen standardisierten oder einen eigenen Fragebogen. Zwei weit verbreitete standardisierte Formate sind der SIG-Fragebogen (Standardized Information Gathering) von Shared Assessments und der CAIQ der Cloud Security Alliance. Die Seite der CSA zur Cloud Controls Matrix beschreibt die CCM als Meta-Framework cloudspezifischer Sicherheitskontrollen, die führenden Standards zugeordnet sind, und stellt den CAIQ zusammen damit bereit, einschließlich einer STAR-Level-1-Version zur Einreichung im CSA STAR Registry. Denselben Fragebogen immer wieder zu beantworten ist Verschwendung, daher kann ein Startup mit einem ausgefüllten, aktuellen CAIQ oder SIG den Großteil davon wiederverwenden.

SOC 2. Ein SOC-2-Bericht ist eine unabhängige Prüfung der Kontrollen einer Dienstleistungsorganisation. Die Seite des AICPA zur SOC-Suite nennt die fünf Bereiche, auf die sich solche Leistungen beziehen: Sicherheit, Verfügbarkeit, Verarbeitungsintegrität, Vertraulichkeit und Datenschutz. Ein Bericht über einen festgelegten Zeitraum ist das häufigste einzelne Dokument, das Prüfer im Enterprise-Umfeld anfordern.

ISO/IEC 27001. Die internationale Norm für Informationssicherheitsmanagement ist die andere häufige Anforderung, besonders von Käufern außerhalb der USA.

Ein SOC 2 oder ISO 27001 beantwortet keine KI-Fragen. Es zeigt dem Prüfer, dass Ihre Organisation kontrollierte Prozesse betreibt, und das ist die Eintrittskarte. Wenn Sie noch keines haben, sagen Sie das, nennen Sie Ihren Zeitplan und seien Sie bereit, die zugrunde liegenden Fragen direkt zu beantworten. Startups in frühen Phasen bestehen Prüfungen oft mit klaren schriftlichen Antworten und einer festgelegten Roadmap, doch das schränkt ein, welche Käufer das Risiko eingehen.

Die KI-spezifischen Risiken, auf die Prüfer achten

Prüfer erfinden KI-Risikokategorien nicht neu. Die meisten stützen sich auf die OWASP Top 10 for LLM Applications, veröffentlicht vom OWASP GenAI Security Project. Die Ausgabe 2025 nennt zehn Risiken:

1. Prompt Injection
2. Offenlegung sensibler Informationen
3. Lieferkette
4. Vergiftung von Daten und Modellen
5. Unsachgemäße Verarbeitung von Outputs
6. Übermäßige Handlungsfreiheit
7. Offenlegung des System-Prompts
8. Schwachstellen bei Vektoren und Embeddings
9. Fehlinformationen
10. Unbegrenzter Verbrauch

Fünf davon kommen in fast jeder Prüfung vor.

Prompt Injection. Text, der das Modell dazu manipuliert, seine Anweisungen zu ignorieren. Er kann direkt von einem Nutzer kommen oder indirekt über Inhalte, die das Modell liest, etwa ein Dokument, eine Webseite oder eine E-Mail. Die Frage des Prüfers lautet, was ein Angreifer Ihr Produkt tun oder preisgeben lassen könnte und welche Grenzen greifen, wenn das Modell getäuscht wird.

Offenlegung sensibler Informationen. Kann das Produkt die Daten eines Kunden einem anderen offenlegen oder vertrauliche Daten in Outputs oder Logs preisgeben? Hier werden Mandantentrennung, Zugriffskontrollen beim Abruf und Protokollierungspraktiken untersucht.

Lieferkette. Ihr Produkt hängt vermutlich von einem externen Modell, Open-Source-Komponenten, Datensätzen und eventuell Plugins ab. Prüfer wollen wissen, welche das sind, wer sie aktualisiert und was passiert, wenn ein Anbieter seine Bedingungen ändert oder einen Vorfall hat.

Unsachgemäße Verarbeitung von Outputs. Modell-Output ist für den Rest Ihres Systems eine nicht vertrauenswürdige Eingabe. Wird er ohne Validierung an eine Datenbank, einen Browser oder eine Shell weitergegeben, wird er zum Injektionspfad. Ein Modell, das einen Befehl schreibt, den dann jemand ausführt, ist der klassische Fall.

Übermäßige Handlungsfreiheit. OWASP definiert sie als die Schwachstelle, die schädliche Aktionen als Reaktion auf unerwartete, mehrdeutige oder manipulierte Modell-Outputs ermöglicht. Sie nennt drei Ursachen: übermäßige Funktionalität, übermäßige Berechtigungen und übermäßige Autonomie. Bei Agent-Produkten ist das oft die zentrale Frage, denn das Produkt handelt, statt nur zu antworten. Die agentenspezifische Sicht finden Sie unter Sicherheit von KI-Agents.

Die Frameworks, auf die sich Prüfer berufen

Vier Namen tauchen in Fragebögen und Richtliniendokumenten auf. Wenn Sie wissen, was jedes ist und was nicht, vermeiden Sie Übertreibungen.

NIST AI RMF. NIST erklärt, das AI RMF 1.0, veröffentlicht am 26. Januar 2023, sei für die freiwillige Nutzung gedacht, um zu verbessern, wie Organisationen Vertrauenswürdigkeit in Design, Entwicklung, Nutzung und Bewertung von KI einbauen. NIST veröffentlichte das Generative AI Profile (NIST-AI-600-1) am 26. Juli 2024. Laut dem Profil selbst ist ein Profil eine Umsetzung der Funktionen des Frameworks für einen bestimmten Kontext, und dieses definiert Risiken, die durch generative KI neu entstehen oder verschärft werden, und schlägt dann Maßnahmen vor, um sie zu steuern, abzubilden, zu messen und zu managen. Es gibt kein „NIST-zertifiziert“. Sagen Sie „ausgerichtet an“ nur, wenn Sie Ihre Praktiken tatsächlich zugeordnet haben.

ISO/IEC 42001. Die Norm legt Anforderungen fest für die Einrichtung, Umsetzung, Aufrechterhaltung und fortlaufende Verbesserung eines KI-Managementsystems und gilt für jede Organisation, die KI-basierte Produkte oder Dienstleistungen entwickelt, anbietet oder nutzt. Sie wurde am 18. Dezember 2023 veröffentlicht. Da es sich um eine Managementsystemnorm handelt, bedeutet eine Zertifizierung, dass ein Auditor Ihre Prozesse bewertet hat. Sie ist keine Garantie dafür, dass ein bestimmter Modell-Output sicher ist, und für die meisten Prüfungen heute nicht erforderlich. Für ein Startup ist sie ein Unterscheidungsmerkmal, sobald Sie an Käufer verkaufen, die danach fragen.

MITRE ATLAS. Nach dem Vorbild der ATT&CK-Matrix von MITRE ordnet ATLAS, wie Angreifer KI-gestützte Systeme attackieren. Security-Teams nutzen es, um Bedrohungsmodelle und Red-Team-Szenarien zu erstellen. Ein Startup wird selten gefragt, „ATLAS-konform“ zu sein, aber wenn Sie es in Ihrem Bedrohungsmodell zitieren, zeigt das, dass die Arbeit erledigt wurde.

Die Phasen einer Prüfung

Jeder Käufer hat einen anderen Prozess, aber die meisten folgen demselben Bogen.

1. Aufnahme. Das Einkaufs- oder Security-Team des Käufers eröffnet eine Lieferantenanfrage, klassifiziert die betroffenen Daten und entscheidet, wie tief geprüft wird. Ein Produkt, das personenbezogene Kundendaten berührt oder sich mit Kernsystemen verbindet, wird tiefer geprüft als eines, das mit öffentlichen Inhalten arbeitet.
2. Dokumentenaustausch. Sie senden, was Sie haben: Sicherheitsüberblick, SOC-2- oder ISO-Bericht, ausgefüllten Fragebogen, Bedingungen zur Datenverarbeitung, Liste der Unterauftragsverarbeiter, Architekturdiagramm.
3. Fragebogen und Klärung. Der Prüfer arbeitet die Antworten durch und sendet Rückfragen. KI-spezifische Fragen kommen meist hier: Training mit Kundendaten, Modellanbieter, Schutzmechanismen, Protokollierung.
4. Technische Tiefenprüfung. Bei risikoreicheren Einsätzen ein Termin mit den Security Engineers des Käufers. Sie wollen eventuell Architektur, Mandantentrennung, den Umgang mit Prompts und Tools sowie Testergebnisse sehen.
5. Tests, wo erforderlich. Manche Käufer führen Penetrationstests durch oder verlangen sie oder fordern Nachweise für feindselige Tests der Modellschicht.
6. Risikoentscheidung und Behebung. Der Prüfer gibt frei, gibt unter Bedingungen frei oder lehnt ab. Bedingungen werden oft zu vertraglichen Verpflichtungen oder zu einem Behebungsplan mit Terminen.
7. Vertragsabschluss und erneute Prüfung. Die Feststellungen fließen in den Vertrag ein. Viele Käufer prüfen regelmäßig erneut oder wenn sich etwas Wesentliches ändert, etwa ein neuer Modellanbieter oder eine neue autonome Funktion.

Der Zeitaufwand ist real, und deshalb ist das Nachweispaket so wichtig. Wie das Ergebnis mit den Deal-Bedingungen zusammenhängt, behandelt Vom Pilotprojekt zum Vertrag.

Welche Nachweise ein KI-Startup bereithalten sollte

Prüfer kommen schneller voran, wenn die Antworten bereits geschrieben sind. Der praktische Ansatz ist ein stehendes Trust-Paket, aktuell gehalten, das Sie auf Anfrage versenden können.

Formulieren Sie Antworten so, dass sie einer genauen Prüfung standhalten. Eine Aussage wie „Wir sind gegen Prompt Injection geschützt“ provoziert eine Rückfrage, die Sie nicht befriedigend beantworten können, denn kein Anbieter kann das versprechen. Eine Aussage wie „Nicht vertrauenswürdige Inhalte werden als Daten behandelt, Tool-Aufrufe sind auf diese Bereiche begrenzt, und Aktionen mit großer Wirkung erfordern eine Freigabe“ gibt dem Prüfer etwas Konkretes zum Prüfen. Dieselbe Disziplin, jede Aussage mit Nachweisen zu untermauern, zieht sich durch KI an skeptische Käufer verkaufen.

Häufige Fehler

• Compliance übertreiben. „NIST-konform“ oder „ISO-42001-zertifiziert“ zu sagen, wenn beides nicht zutrifft, ist der schnellste Weg, Glaubwürdigkeit zu verlieren und rechtliche Risiken zu schaffen.
• Die eigene Lieferkette nicht kennen. Wenn Sie nicht sagen können, welche Modellanbieter Kundendaten sehen, gerät die Prüfung ins Stocken.
• Die Berechtigungen von Agents ignorieren. Einem Agent weitreichende Zugangsdaten zu geben, weil es bequem ist, ist genau das, was übermäßige Handlungsfreiheit beschreibt.
• Grenzen verschweigen. Prüfer respektieren „Das ist eine bekannte Einschränkung, und hier ist die Kontrolle“ weit mehr als Schweigen. Zu Compliance-Aspekten bei Agents siehe Compliance von KI-Agents.

Wichtige Fakten

• Grundlage plus KI-Ebene: Eine KI-Sicherheitsprüfung durchläuft die üblichen Lieferantenprüfungen (Fragebogen, SOC 2 oder ISO 27001, Datenbedingungen) und ergänzt dann modellspezifische Risiken.
• OWASP-Liste: Die Ausgabe 2025 der OWASP Top 10 for LLM Applications nennt zehn Risiken, von Prompt Injection bis unbegrenztem Verbrauch.
• Übermäßige Handlungsfreiheit hat drei Ursachen: OWASP nennt übermäßige Funktionalität, übermäßige Berechtigungen und übermäßige Autonomie.
• Das NIST AI RMF ist freiwillig: NIST veröffentlichte das AI RMF 1.0 am 26. Januar 2023 und das Generative AI Profile am 26. Juli 2024. Keines davon ist eine Zertifizierung.
• ISO/IEC 42001 ist zertifizierbar: Veröffentlicht am 18. Dezember 2023, legt die Norm Anforderungen an ein KI-Managementsystem fest.
• SOC 2 deckt fünf Bereiche ab: Laut AICPA sind das Sicherheit, Verfügbarkeit, Verarbeitungsintegrität, Vertraulichkeit und Datenschutz.
• Es gibt wiederverwendbare Fragebögen: Die CSA stellt den CAIQ zusammen mit ihrer Cloud Controls Matrix bereit, einschließlich einer STAR-Level-1-Version.

Weiterführende Lektüre

• Datenschutzfragen, die KI-Käufer stellen
• Vertrauen und Evaluation als Vertriebsvorteil
• Was ist eine Richtlinie für verantwortungsvolle KI?
• KI an skeptische Käufer verkaufen
• Das Einkaufsgremium für KI
• Vom Pilotprojekt zum Vertrag
• Warum Demos bei KI-Produkten wichtiger sind
• Sicherheit von KI-Agents
• Compliance von KI-Agents