Ein KI-Modell erkennt in historischen Maschinendaten auffällige Muster. Die ersten Ergebnisse sehen interessant aus. Das Projektteam möchte nun herausfinden, ob solche Hinweise auch im laufenden Betrieb helfen könnten. Technisch klingt das nach dem nächsten vernünftigen Versuch. Doch wer darf die Daten dafür bereitstellen? Was geschieht, wenn ein Hinweis übersehen oder falsch verstanden wird? Und wer darf den Versuch beenden, bevor daraus ein Problem für die Produktion entsteht?
Solche Fragen werden häufig unter dem Begriff KI-Governance zusammengefasst. Gemeint sind Regeln, Zuständigkeiten und tatsächliche Kontrollmöglichkeiten, mit denen eine Organisation den Einsatz von KI verantwortet. Sie werden nicht erst relevant, wenn ein System autonom entscheidet, auch ein zunächst begrenzter Versuch kann eine verbindliche Klärung benötigen. Gleichzeitig wäre es unverhältnismäßig, für jeden isolierten Test eine vollständige Governance-Organisation aufzubauen.
Wann muss eine plausible KI-Idee also über die technische Prüfung hinaus betrachtet werden – und wie viel Governance braucht der nächste konkrete Schritt?
Kurzfassung für Entscheider öffnen
Kernaussage: Governance muss geklärt werden, bevor ein Versuch beginnt oder ein KI-Ergebnis betrieblich genutzt wird, wenn unzulässige Datenverwendung, mögliche Schäden, fehlende Kontrollmöglichkeiten oder verbindliche Pflichten gegen diesen Einsatz sprechen. Im Detail zu klären ist jeweils, welche konkrete Schutzmaßnahme erforderlich ist und wer sie verantwortet.
Begründung: Ein technisch überzeugender Modellbefund zeigt noch nicht, ob Datenverwendung, Auswirkungen und Kontrollmöglichkeiten einen verantwortbaren Einsatz zulassen. Die fünf Auslöser lassen sich mit dem Akronym DATEN merken (siehe Zusammenfassung).
Größte Unsicherheit: Bei einem neuen KI-Einsatz ist oft unklar, welche Risiken unter den realen Bedingungen entstehen, ob vorhandene Kontrollen dafür ausreichen und welche verbindlichen Anforderungen zusätzlich zu erfüllen sind.
Praktische Konsequenz: Prüfen Sie für den vorgesehenen Einsatz die fünf DATEN-Auslöser. Legen Sie fest, welche Daten genutzt werden dürfen, welche Folgen beherrscht werden müssen, wie eingegriffen werden kann und welche verbindlichen Anforderungen gelten. Jede weitere Nutzung setzt geklärte Grenzen und leistbare Kontrollen voraus.
Drei mögliche Schritte – dieselbe KI-Idee
Betrachten wir Nordwerk, ein fiktives Industrieunternehmen aus dem fachlichen Lernpfad „Von der KI-Idee zur belastbaren Projektentscheidung“. Nordwerk untersucht, ob sich an den Bearbeitungszentren im eigenen Maschinenbestand Spindelstörungen mithilfe vorausschauender Instandhaltung (Predictive Maintenance) früher erkennen lassen. Ein retrospektiver Proof of Concept (PoC), also ein begrenzter technischer Machbarkeitstest mit historischen Daten, hat ein ermutigendes Signal geliefert. Ob aus dem historischen Signal im aktuellen Betrieb ein rechtzeitig nutzbarer Hinweis wird, ist dagegen noch offen.
Der nächste denkbare Schritt beträfe eine neuere Generation von Maschinenspindeln. Dafür sind die Übertragbarkeit des bislang geprüften Modellsignals, der tatsächliche Reaktionsablauf und die zulässige Nutzung aktueller Daten noch nicht abschließend geklärt. Nach dem historischen PoC wurde im Nordwerk-Szenario ein dreimonatiger Pilot als mögliche nächste Projektphase diskutiert. Dabei sollten Modellhinweise näher am Instandhaltungsalltag untersucht werden. Freigegeben ist dieser Pilot nicht.
Frühere Prüfungen haben bereits Datenqualität, Datenverwendung und Zuständigkeiten als offene Voraussetzungen erfasst, sie wurden aber nicht als abgeschlossen bestätigt. Jetzt verändert sich die Governance-Frage: Wenn Modellhinweise nicht mehr nur rückblickend ausgewertet, sondern mit aktuellen Daten erzeugt oder für die Instandhaltung sichtbar würden, müssten Zugriffsrechte, mögliche Fehlfolgen, Kontrollmöglichkeiten und betriebliche Eingriffsgrenzen für genau diese Nutzung geklärt sein.
Nordwerk erwägt jetzt drei unterschiedlich weitreichende Verwendungen desselben Spindelmodells. Bei welcher Variante müsste das Unternehmen welche Governance-Fragen vorab klären – und wäre eine Variante bereits aufgrund ungeklärter Voraussetzungen auszuschließen?
A – Retrospektiv prüfen: Das Team möchte vorhandene historische Daten in einer abgeschirmten Analyseumgebung auswerten. Es gibt keine Auswirkungen auf laufende Wartungsentscheidungen.
B – Hinweise beobachten: Das Modell berechnet in einem abgeschirmten Shadow-Test Hinweise anhand aktueller Daten. Diese werden zu Prüfzwecken protokolliert, lösen aber weder Wartungsaufträge noch operative Empfehlungen aus. Der Umgang mit möglicherweise sicherheitsrelevanten Auffälligkeiten muss vorab geregelt werden.
C – Hinweise im Arbeitsalltag nutzen: Instandhaltungsfachleute sehen die Modellhinweise während ihrer Arbeit und sollen bei Bedarf eine Diagnose oder Maßnahme prüfen. Eine automatische Wartungsentscheidung ist weiterhin ausgeschlossen.
Naheliegend wäre: A benötigt wenig Governance, B etwas mehr und C am meisten. Doch schon A kann an fehlenden Datenrechten scheitern, während C auch mit menschlicher Letztentscheidung unzureichend kontrolliert bleibt. Die Varianten prüfen wir später im Nordwerk-Fall.
Fünf Auslöser für zusätzliche Klärung
Die Merkhilfe DATEN steht für Daten, Auswirkungen, tatsächlichen Einfluss, Eingriff und Normen. Sie strukturiert die folgenden Prüffragen, ist aber keine gesetzliche Klassifikation.
D – Daten. Welche Daten werden für welchen Zweck benötigt, wer erhält Zugriff und unter welchen Bedingungen werden sie an ein Modell oder einen Dienst weitergegeben? Bei Nordwerk ist zu unterscheiden zwischen historischen Messdaten, Informationen über neue Spindelgenerationen und gegebenenfalls personenbezogenen Angaben aus Wartungsprotokollen.
A – Auswirkungen. Welche Folgen hätte ein fehlerhafter Hinweis – etwa eine unnötige Prüfung, eine übersehene Störung oder eine verspätete Maßnahme? Hier geht es nicht um einen abstrakten Risikowert. Entscheidend ist, welche reale Handlung oder Unterlassung unter welchen Bedingungen Schaden verursachen könnte.
T – Tatsächlicher Einfluss. Bleibt das Modell im Labor, wird es im Hintergrund mitlaufend beobachtet, oder verändert sein Ergebnis die Reihenfolge und Art betrieblicher Entscheidungen? Ein Ergebnis ohne operative Wirkung hat einen anderen Kontrollbedarf als ein Hinweis, auf den Mitarbeitende regelmäßig reagieren sollen. Dabei zählt die tatsächliche Nutzung, nicht nur die offizielle Beschreibung des Systems.
E – Eingriff. Kann eine verantwortliche Person erkennen, dass ein Hinweis unplausibel ist, ihn zurückweisen, die bisherige Arbeitsweise fortsetzen und bei Problemen den Versuch unterbrechen? Eine bloße Unterschrift oder die Bezeichnung „Human in the Loop“ beweist diese Fähigkeit nicht.
N – Normen. Welche gesetzlichen, vertraglichen, sicherheitsbezogenen und internen Anforderungen gelten im konkreten Fall? Zu prüfen sind beispielsweise Datenschutz, Betriebs- und Arbeitssicherheit, Nutzungsrechte sowie – abhängig von System und Rolle – Bestimmungen des EU AI Acts. Nicht jede dieser Anforderungen gilt für jeden KI-Versuch gleichermaßen.
Die Auslöser wirken zusammen: Produktivdaten können Daten- und Einflussfragen verändern. Bei gravierenden Fehlerfolgen müssen Auswirkungen und Eingriffsmöglichkeiten gemeinsam geprüft werden.
Nicht jede offene Frage blockiert denselben nächsten Schritt
Für Nordwerk ist der Entscheidungsgegenstand ausschlaggebend. Bei Nordwerk könnte eine ungeklärte Reaktionsfähigkeit die Nutzung von Modellhinweisen im Arbeitsalltag verhindern. Ein davon abgeschirmter Test mit aktuellen Daten wäre unter geklärten Daten- und Testbedingungen dennoch möglich. Umgekehrt kann ein ungeklärtes Nutzungsrecht bereits die Datenanalyse verhindern, unabhängig davon, wie viel später automatisiert werden soll.
Ein Frühcheck muss mögliche Blocker von Anfang an erfassen. Dürfen die vorgesehenen Daten verarbeitet werden? Enthalten Wartungsprotokolle personenbezogene Angaben? Ist eine vertiefte Datenschutzprüfung erforderlich? Rechtliche Voraussetzungen müssen rechtzeitig vor der Verarbeitung geklärt sein. Welche weiteren Kontrollen Nordwerk braucht, hängt davon ab, ob das Modell historische Daten analysiert, abgeschirmt mitläuft oder Wartungsentscheidungen beeinflusst.
„Wir benötigen menschliche Kontrolle“ benennt noch keinen überprüfbaren Schutz. Bei Offline-Analysen stehen Datenfreigabe und Zweckbindung im Vordergrund. Sobald Hinweise Wartungsentscheidungen beeinflussen, muss ihre praktische Kontrollierbarkeit nachgewiesen werden.
Die Instandhaltung beurteilt mögliche Folgen und Handlungswege, Daten- und ML-Fachleute prüfen Signal und Testaufbau. Über Datenzugriff, Ressourcen und Versuchsgrenzen entscheiden die befugten Stellen. Ohne bestätigtes Mandat liegt keine Freigabe vor.
Was muss eine menschliche Prüfung tatsächlich leisten?
Angenommen, Nordwerk möchte nach weiteren Klärungen die Variante C untersuchen. Die Instandhaltung soll Modellhinweise sehen und selbst entscheiden, ob eine Diagnose nötig ist. Vorher braucht das Team eine Antwort auf vier praktische Fragen.
Was soll erkannt werden? Fachleute müssen erkennen können, ob Hinweise plausibel, verspätet oder für eine Maßnahme irrelevant sind. Dazu braucht es bekannte Befunde und möglichst Grenzfälle. Seltene Störungen begrenzen die Aussagekraft.
Wie wird das unter Arbeitsbedingungen geprüft? Ein Test sollte beobachten, ob die Fachleute unpassende Hinweise erkennen, wie viel Zeit die Prüfung benötigt und ob dadurch relevante andere Arbeiten liegen bleiben. Im Vergleich zum bisherigen Prüfablauf ist zu untersuchen, ob zusätzliche Hinweise innerhalb der verfügbaren Arbeitszeit zuverlässig geprüft werden können. Ein Test mit bekannten Fehlerbeispielen zeigt allenfalls, dass diese Beispiele erkannt werden – nicht automatisch, dass dieselbe Kontrolle unbekannte Fehler im Betrieb zuverlässig aufdeckt.
Wer gibt die Nutzung frei? Die befugte Stelle entscheidet auf Grundlage der dokumentierten Kontrollen und verbleibenden Risiken.
Was passiert bei unzureichenden Ergebnissen? Fehlen Prüfzeit, verlässliche Einordnung oder ein Rückfallprozess, ist die operative Nutzung nicht freizugeben. Dann muss der Einsatz eingegrenzt oder verschoben werden.
Angenommen, 95 Prozent der vom Modell ausgegebenen Warnungen vor Spindelstörungen wären korrekt. Das sagt weder, wie viele tatsächliche Störungen ohne Warnung bleiben, noch, ob Instandhaltungsfachleute rechtzeitig prüfen und handeln können. Akzeptanzbedingungen hängen von möglichen Fehlerfolgen, der verfügbaren Referenz und den realen Arbeitsbedingungen ab.
Was ist freiwillige Governance, was ist rechtlich verpflichtend?
Der Begriff Governance umfasst mehr als Regulierung. Das freiwillige NIST AI Risk Management Framework 1.0 ordnet Risikomanagement über die Funktionen Govern, Map, Measure und Manage. Es verbindet organisatorische Verantwortung mit der Erfassung, Bewertung und Behandlung konkreter Risiken [1]. Die internationale Norm ISO/IEC 42001:2023 beschreibt Anforderungen an ein KI-Managementsystem auf Organisationsebene [2]. Beide Dokumente können Orientierung bieten. Daraus allein folgt für Nordwerk keine Pflicht zu einem vollständigen KI-Managementsystem oder einer Zertifizierung. Nordwerk sollte aber Datenzugriff, Verantwortlichkeiten, mögliche Fehlfolgen und Abbruchbedingungen für den vorgesehenen Test festlegen.
Rechtliche Pflichten müssen separat geprüft werden. Der EU AI Act unterscheidet unter anderem Systemkategorien, Akteursrollen und Anwendungszeitpunkte. Seine Regeln zur menschlichen Aufsicht für Hochrisiko-KI enthalten konkrete Fähigkeiten zum Verstehen, Überwachen und Eingreifen [3]. Für Nordwerk ergibt sich als fachliche Gegenprobe: Können Fachleute die Modellhinweise verstehen, auffällige Ergebnisse zurückweisen und den Einsatz bei Problemen unterbrechen? Das ist sinnvoll zu prüfen, ohne das System bereits rechtlich als Hochrisiko-KI einzustufen.
Auch beim Begriff „Test“ ist Genauigkeit nötig: Forschung, Test und Entwicklung vor dem Inverkehrbringen oder der Inbetriebnahme sind nach Artikel 2 Absatz 8 grundsätzlich vom Anwendungsbereich des AI Acts ausgenommen. Für rechtlich definierte Tests unter Realbedingungen gilt diese Ausnahme nicht. Ob B oder C als Tests unter Realbedingungen im Sinne des AI Acts gelten, muss vor der Umsetzung fachkundig anhand des konkreten Testzwecks und Ablaufs geklärt werden. Andere einschlägige Rechtsvorschriften, etwa zum Datenschutz, gelten unabhängig von der AI-Act-Ausnahme [4]. Bei personenbezogenen Daten kann beispielsweise die Datenschutz-Grundverordnung eine eigene Rechtsgrundlage und unter den Voraussetzungen von Artikel 35 eine Datenschutz-Folgenabschätzung verlangen [5]. Ob das für konkrete Nordwerk-Daten einschlägig wäre, ist anhand des tatsächlichen Datenbestands zu prüfen.
Nach der 2026 geänderten Fassung des AI Acts gelten wesentliche Hochrisiko-Anforderungen gestaffelt ab dem 2. Dezember 2027 beziehungsweise 2. August 2028, andere Bestimmungen gelten bereits [6]. Diese Daten sind ein zeitgebundener Rechtsstand, keine Beurteilung des fiktiven Nordwerk-Systems. Die rechtliche Einordnung wird in einem geplanten Fachbeitrag vertieft (Artikel ausstehend).
Zurück zu Nordwerk: Welche Kontrolle braucht welche Nutzung?
Variante A – retrospektive Auswertung: Nordwerk muss vor der historischen Auswertung klären, ob die Maschinenmessdaten für diesen Analysezweck verwendet werden dürfen, wer Zugriff erhält und ob Wartungsprotokolle personenbezogene Angaben enthalten. Fehlt die erforderliche Berechtigung oder Rechtsgrundlage, darf der Test mit diesen Daten nicht beginnen. Auch ein positiver Befund beweist noch keine Wirkung im laufenden Betrieb.
Variante B – abgeschirmter Shadow-Test: Das Modell würde aktuelle Maschinendaten auswerten, seine Hinweise jedoch nur in einem getrennten Prüfprotokoll ablegen. Nordwerk muss vorher festlegen, welche Daten zugänglich sind, wie verhindert wird, dass Hinweise Wartungsentscheidungen beeinflussen, wer mögliche Sicherheitsauffälligkeiten prüft und wann der Test gestoppt wird. So lässt sich das Modell unter aktuellen Bedingungen beobachten, ohne seinen Einsatz im Betrieb bereits freizugeben.
Variante C – Hinweise für Fachleute: Hier steigt der Kontrollbedarf deutlich, weil die Ergebnisse das Verhalten der Instandhaltung beeinflussen können. Vor einer solchen Nutzung müssen unter anderem die Erkennbarkeit relevanter Fehlhinweise, der reale Prüfaufwand, ausreichende Eingriffsmöglichkeiten und die Entscheidungskompetenz unter den vorgesehenen Bedingungen untersucht werden. Dass eine Person formal den letzten Klick ausführt, würde dafür nicht reichen.
Die Varianten bilden keine vorgeschriebene Reihenfolge. Keine ist grundsätzlich ausgeschlossen, aber jede braucht vor ihrem Start die jeweils erforderlichen Nachweise. Ein kleinerer Test berechtigt nicht automatisch zur nächsten Nutzungsform.
Für Nordwerk gilt: A benötigt geklärten Datenzweck und Zugriff (D) sowie Nutzungsrechte (N). Bei B muss sichergestellt sein, dass die Modellhinweise tatsächlich keine Wartungsentscheidung beeinflussen (T). Eingriff und Abbruch müssen geregelt sein (E). C verlangt darüber hinaus die Bewertung möglicher Fehlfolgen (A) und eine leistbare Prüfung durch Fachleute (E). Die zuvor diskutierten drei Monate sagen noch nicht, ob Nordwerk die Hinweise nur beobachten (B) oder sie der Instandhaltung zeigen (C) will. Deshalb bleibt der Pilot zurückgestellt. „Voraussetzungen zuerst“ bedeutet hier: Erst Datenrechte, Reaktionswege, zuständige Freigabestellen und verfügbare Prüfkapazität klären. Danach lässt sich über einen konkret beschriebenen Versuch entscheiden.
Wie viel Governance ist genug?
Angemessene Governance schützt nur, wenn ihre Kontrollen im realen Betrieb dauerhaft leistbar sind. Ihr Aufwand gehört zur fachlichen Bewertung.
Aus einem eigenen ML-Projekt zur Fehlerklassifizierung habe ich gelernt: Human-in-the-loop ist keine kostenlose Absicherung. Übersteigt die Zahl nachzuprüfender Fälle die verfügbare Kapazität, wird menschliche Kontrolle zum Engpass. Zusätzliche Arbeit kann andere Aufgaben verdrängen und erheblichen Unmut bei den betroffenen Fachleuten auslösen. Darum gehören Prüfaufwand und Kapazitätsbedarf ebenso in die Kostenrechnung wie in die Bewertung von Risiken, Abläufen, Verantwortlichkeiten und Nutzerakzeptanz. Wenn eine notwendige Kontrolle organisatorisch oder finanziell nicht leistbar ist, muss der Einsatzbereich angepasst, der Prozess verändert oder die angedachte KI-Nutzung verworfen werden.
Drei Fragen zeigen, ob Governance praktisch trägt: Welche Fehlentwicklung muss erkannt oder verhindert werden? Funktioniert die Kontrolle unter realen Bedingungen? Wer kann bei Versagen eingreifen? Das muss der Betrieb leisten können.
Zusammenfassung
Governance beginnt auch bei begrenzten Tests; ihre Prüftiefe richtet sich aber nach Datenverwendung, möglichen Schäden, betrieblichem Einfluss, erforderlichen Eingriffsmöglichkeiten und verbindlichen Pflichten. Die Merkhilfe DATEN bündelt diese fünf Prüffelder: Daten, Auswirkungen, Tatsächlicher Einfluss, Eingriff und Normen. Das ist eine Orientierung für die fachliche Prüfung, keine gesetzliche Klassifikation. Umfang und Ausgestaltung richten sich nach der tatsächlichen Nutzung und ihren Folgen.
Nordwerk zeigt, wie sich der Kontrollbedarf verändert: Für eine historische Analyse stehen Nutzungsrechte und Prüfgrenzen im Vordergrund, während bei aktuellen, abgeschirmten Modellhinweisen technische Trennung und Unterbrechbarkeit hinzukommen. Erst die operative Nutzung verlangt zusätzlich eine nachgewiesen wirksame fachliche Kontrolle. Diese wirksame menschliche Prüfung beginnt bei einem erfüllbaren Prüfauftrag – nicht bei einer Rollenbezeichnung.
Einseitige Zusammenfassung herunterladen (PDF · 1 Seite)
Quellen
[1] NIST (2023): Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, insbesondere Abschnitt 5, S. 20–34. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
[2] ISO/IEC (2023): ISO/IEC 42001:2023 – Information technology — Artificial intelligence — Management system. Öffentliche Normbeschreibung. https://www.iso.org/standard/42001
[3] Europäische Union: Verordnung (EU) 2024/1689, konsolidiert mit Änderung (EU) 2026/1744, Art. 14 und 26. https://ai-act-service-desk.ec.europa.eu/de/ai-act/article-14 und https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-26
[4] Europäische Union: Verordnung (EU) 2024/1689, Art. 2 Abs. 8, konsolidierter Stand vom 27.07.2026. https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-2
[5] Europäische Union: Verordnung (EU) 2016/679 (DSGVO), Art. 5, 6 und 35. https://eur-lex.europa.eu/legal-content/DE-EN/TXT/?from=de&uri=CELEX%3A32016R0679
[6] Europäische Union: Verordnung (EU) 2024/1689, Art. 113 in der Fassung der Verordnung (EU) 2026/1744. https://ai-act-service-desk.ec.europa.eu/de/ai-act/article-113


