EU AI Act Red-Teaming: was Hochrisiko-KI-Systeme jetzt brauchen

Wer fällt in den Anwendungsbereich

Zwei sich überschneidende Gruppen:

• Hochrisiko-KI-Systeme (Anhang III, Artikel 6–7 und Anhang III): biometrische Identifizierung, kritische Infrastruktur, Bildung und berufliche Ausbildung, Beschäftigung und Personalmanagement, wesentliche private und öffentliche Dienste (einschließlich Kreditwürdigkeitsprüfung und Versicherungstarifierung), Strafverfolgung, Migration/Asyl/Grenzkontrolle sowie Rechtspflege und demokratische Prozesse.
• KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko (Artikel 51 und 55): Modelle, die den Rechenschwellenwert erreichen (≥10^25 FLOPs Trainingsrechenleistung) oder von der Kommission benannt werden. Stand 2026 ist diese Liste klein, aber wachsend.

Die große Mehrheit der EU-KMU, die KI in eine der Hochrisiko-Kategorien nach Anhang III einordnen, fällt unter die erste Gruppe. Die Pflicht für KI-Modelle mit systemischem Risiko betrifft überwiegend Modellanbieter (OpenAI, Anthropic, Mistral, Aleph Alpha usw.), nicht Betreiber.

Artikel 15: Genauigkeit, Robustheit, Cybersicherheit

Für Hochrisiko-KI-Systeme (Anhang III) verlangt Artikel 15:

• Genauigkeit: Das System erbringt über den gesamten Lebenszyklus die deklarierten Genauigkeitswerte. Deklariert in der technischen Dokumentation (Artikel 11 und Anhang IV).
• Robustheit: Das System ist widerstandsfähig gegen Fehler, Störungen und Inkonsistenzen. Dazu gehören ausfallsichere Mechanismen und Backup-Pläne.
• Cybersicherheit: Schutz davor, dass unbefugte Dritte Nutzung, Ausgaben oder Leistung verändern. Dazu gehören:
  • Widerstandsfähigkeit gegen Versuche, Ausgaben über adversariale Eingaben zu verändern
  • Schutz vor Data Poisoning, Model Poisoning und Model Evasion
  • Vertraulichkeit von Modellgewichten und Trainingsdaten, soweit erforderlich
  • Penetrationstests bezogen auf die KI-spezifische Angriffsfläche

Die technischen Durchführungsstandards liegen noch im Entwurf vor; die Kommission hat im 2. Quartal 2026 einen Konsultationsentwurf veröffentlicht. Operative Leitlinie: Lesen Sie Artikel 15 als Pflicht, „die KI-spezifische Angriffsfläche im Red-Teaming zu prüfen", zusätzlich zum standardmäßigen Pentesting auf Anwendungsebene.

Artikel 55: KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko

Für KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko (Benennung nach Artikel 51) verlangt Artikel 55:

• Adversariale Tests („Modellbewertung"), einschließlich Red-Teaming, zur Identifizierung und Minderung systemischer Risiken. Dokumentiert und an das AI Office gemeldet.
• Cybersicherheitsmaßnahmen: angemessene Cybersicherheit für das Modell und die physische Infrastruktur.
• Meldung schwerwiegender Vorfälle: unverzüglich an das AI Office und die zuständigen nationalen Behörden.

Artikel 55 gilt für Modellanbieter, nicht für Betreiber. Setzt Ihre Organisation GPT-5, Claude Sonnet 4.6 oder ähnliche Modelle ein, ist der Modellanbieter die Artikel-55-Instanz. Ihre Pflicht ist Artikel 15 (sofern Ihr Einsatz nach Anhang III hochriskant ist) plus die Vereinbarung zwischen Anbieter und Betreiber (Artikel 25).

Was „Red-Teaming" hier tatsächlich bedeutet

Der EU AI Act verwendet „Red-Teaming" in einem spezifischen Sinn, der sich vom Red-Teaming der offensiven Sicherheit unterscheidet:

• Adversariale Eingaben: gezielt konstruierte Prompts (LLMs), Randfall-Merkmale (Klassifikatoren), Poisoning-Versuche (Angriffe zur Trainingszeit).
• Modellspezifische Angriffe: Prompt Injection, Jailbreaks, Datenextraktion, Membership Inference, Model Inversion, Evasion durch gradientenbasierte Störungen.
• Prüfung systemischer Risiken (nur Artikel 55): Prüfung, ob das Modell CBRN-Schäden, groß angelegte Desinformation, Wahlbeeinflussung usw. ermöglichen kann. Eine Spezialaufgabe, die typischerweise dedizierte KI-Sicherheitsteams erfordert.

Standard-Penetrationstests auf Anwendungsebene (Web-App, API, Authentifizierung, Geschäftslogik) decken die umgebende Infrastruktur ab, nicht jedoch die KI-spezifische Angriffsfläche. Beide ergänzen sich; keines ersetzt das andere.

Dokumentationsanforderungen

Für Hochrisiko-Systeme nach Anhang III muss die technische Dokumentation (Artikel 11 und Anhang IV) enthalten:

• Red-Teaming-Methodik und Testumfang (je Bewertungszyklus)
• Versuchte adversariale Eingaben (Kategorien, nicht zwingend vollständige Payloads)
• Nachweise zur Risikominderung (Eingabevalidierung, Ausgabefilterung, Monitoring, Neutraining des Modells)
• Akzeptanz des Restrisikos und Freigabe
• Plan zur kontinuierlichen Überwachung von Modelldrift und neu auftretenden Kategorien adversarialer Eingaben

Aufbewahrung für 10 Jahre nach dem Inverkehrbringen (Artikel 18). Auf Anfrage den nationalen Behörden zur Verfügung zu stellen.

Schnittstelle zu NIS2, DORA, ISO 42001

• NIS2: Fällt Ihre Organisation zusätzlich als wesentliche oder wichtige Einrichtung unter NIS2, deckt Artikel 21(2)(e) (Umgang mit Schwachstellen) die umgebende Infrastruktur des KI-Systems ab. Der AI Act ergänzt darüber hinaus KI-spezifische Pflichten.
• DORA: Finanzunternehmen, die KI für Kreditwürdigkeitsprüfung, Versicherungstarifierung oder Betrugserkennung nutzen (alle hochriskant nach Anhang III), unterliegen den Pflichten aus DORA Artikel 24 für die umgebende IKT-Infrastruktur und aus AI Act Artikel 15 für das Modell selbst.
• ISO/IEC 42001 (KI-Managementsystem): der zertifizierbare Managementsystem-Standard für verantwortungsvolle KI. Unter dem AI Act nicht rechtsverbindlich, aber zunehmend als Nachweis „angemessener Maßnahmen" angeführt: das Managementsystem-Pendant zu ISO 27001 für KI.
• NIST AI Risk Management Framework: US-Rahmenwerk; in der EU nicht rechtsverbindlich, aber die Sprache der Testmethodik ist ähnlich und die technischen Zuordnungen lassen sich übertragen.

Zeitplan von Konsultation und Durchsetzung

• 01.08.2024: AI Act in Kraft getreten (Verordnung (EU) 2024/1689).
• 02.02.2025: Verbote für KI-Systeme mit inakzeptablem Risiko anwendbar (Artikel 5).
• 02.08.2025: Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck anwendbar (Artikel 53, 55).
• 02.08.2026: Pflichten für Hochrisiko-KI-Systeme für die meisten bestehenden Systeme anwendbar (Artikel 6 und Anhang III): Dieses Datum löst die Durchsetzung von Artikel 15 aus.
• 02.08.2027: Pflichten für Hochrisiko-KI-Systeme in regulierten Produkten (Artikel 6(1) und Anhang I).
• 3. Quartal 2026: Durchführungsverordnung der Kommission zu Artikel 15 erwartet (Stand 2. Quartal 2026 in Konsultation).

Das Zeitfenster zwischen heute und August 2026 ist die operative Anlaufphase für die meisten EU-Organisationen, die KI in Anhang-III-Kategorien einordnen. Dokumentation und Red-Teaming-Methodik sollten vor dem Inverkehrbringen stehen, nicht nach Beginn der Durchsetzung nachgerüstet werden.