Technisch machbar heißt noch lange nicht pilotfähig.

Ein funktionierender Proof of Concept beantwortet noch nicht, ob ein KI- oder Datenvorhaben unter realen Bedingungen pilotfähig ist. Entscheidend ist, welche Unsicherheit der nächste Versuch…

·

·


Schematische Gegenüberstellung: Links ein CNC-Bearbeitungszentrum mit ML-Modell und Haken für einen erfolgreichen PoC. Rechts ein kleineres Bearbeitungszentrum mit offenen Einflüssen für den Pilotbetrieb: Temperatur, Feuchte, Staub, Anwender, Skalierung und Produktionsprozess.
Ca. 10 Min. Lesezeit Kurzfassung für Entscheider öffnen
zum Anfang

Nordwerk ist ein hypothetischer mittelständischer Hersteller von Präzisionsbauteilen. Im Leitfall möchte das Unternehmen das Ausfallrisiko einer CNC-Frässpindel besser einschätzen, damit Instandhaltung und Produktion die drei möglichen Handlungen abwägen können: weiterproduzieren, zusätzliche Diagnose veranlassen oder die Wartung vorziehen.

Nehmen wir an, Nordwerk hat die bekannten Datenprobleme für den ersten Versuch untersucht. Die erst nach einer zusätzlichen Diagnose dokumentierte Technikerbewertung wurde nicht als Eingangsmerkmal verwendet. Ein erster Proof of Concept (PoC) liefert mit historischen Sensor- und Wartungsdaten, die zum jeweiligen Prognosezeitpunkt verfügbar waren, technisch überzeugende Ergebnisse. Ob sich die gefundenen Muster auf die heutige Spindelgeneration übertragen lassen, bleibt offen. Die Zuständigkeiten für den nächsten Schritt sind geklärt.

Im nächsten Meeting liegt deshalb die Frage nahe: Können wir jetzt in den Pilot gehen?

Bevor Sie weiterlesen: Welche der folgenden Bausteine würden Sie für den nächsten begrenzten Versuch kombinieren – und welche zunächst zurückstellen?

  • weitere Optimierung der Modellleistung,
  • eine reale Datenversorgung,
  • die Beobachtung der späteren Nutzer im Arbeitsprozess,
  • oder bereits die vollständige technische Integration.

Für Nordwerk lässt sich diese Frage inzwischen konkreter beantworten. Der technische Grundnachweis ist erbracht; offen ist vor allem, ob die Modellinformationen unter realistischeren Bedingungen rechtzeitig verfügbar sind und im Instandhaltungsprozess tatsächlich zu brauchbaren Entscheidungen führen. Der nächste sinnvolle Schritt verbindet deshalb eine begrenzte reale Datenversorgung mit der Beobachtung der tatsächlichen Nutzung. Eine vollständige Integration wäre für diese Lernfrage noch zu früh.

Dahinter steckt eine allgemeinere Logik: Nicht der Entwicklungsstand der Technik bestimmt allein den nächsten Versuch. Entscheidend ist, welche Unsicherheit die nächste Projektentscheidung blockiert und welche Evidenz benötigt wird, um sie zu reduzieren.


Kurzfassung für Entscheider öffnen

Für Leser mit wenig Zeit: die Kernaussagen dieses Beitrags in kompakter Form.

Kernaussage

Ein technisch funktionierender PoC ist nicht automatisch pilotfähig. Der nächste Versuch muss genau die Unsicherheit untersuchen, die für die nächste Projektentscheidung noch offen ist.

Was diese Aussage stützt

Relevante Leistungsmerkmale sollten unter Bedingungen geprüft werden, die dem späteren Einsatz ausreichend ähnlich sind; gleichzeitig bleiben Aussagen immer auf die tatsächlich getesteten Bedingungen begrenzt. [1]

Wichtige Grenze

Ein Pilot kann reale Nutzung, Datenflüsse und Mensch-System-Zusammenarbeit untersuchen, weist aber weder automatisch Produktionsreife noch Wirtschaftlichkeit oder Rolloutfähigkeit nach.

Praktische Konsequenz

Zuerst die nächste Projektentscheidung benennen, daraus die offene Unsicherheit ableiten und anschließend nur so viel Realitätsnähe aufbauen, wie zur Beantwortung dieser Frage erforderlich ist.

Einseitige Zusammenfassung herunterladen (PDF · 1 Seite)



Was der Proof of Concept tatsächlich gezeigt hat

Ein PoC kann eine sehr wichtige Frage beantworten: Ist der gewählte technische Ansatz unter den getesteten Bedingungen grundsätzlich tragfähig?

Bei Nordwerk könnte das bedeuten, dass historische Sensor- und Wartungsdaten genügend Signal enthalten, um relevante Muster rund um Spindelschäden zu erkennen. Das wäre ein erheblicher Erkenntnisgewinn.

Die Aussage bleibt allerdings enger, als sie im Projektalltag leicht klingt.

Ein Modell kann in einer kontrollierten Umgebung gut funktionieren, während im späteren Einsatz Daten verspätet eintreffen, Nutzer Ergebnisse anders interpretieren als erwartet oder wichtige Ausnahmefälle im Test kaum vorkommen. Produktionsnahe Machine-Learning-Systeme benötigen deshalb zusätzliche Tests und Monitoring über reine Offline-Experimente hinaus. [3]

Der Satz „Der Algorithmus funktioniert mit unseren historischen Daten“ beantwortet damit eine andere Frage als „Der vorgesehene Arbeitsprozess funktioniert mit diesem System unter realistischen Bedingungen.“

Für die zweite Aussage braucht Nordwerk zusätzliche Evidenz.

Zwei Entscheidungen, die man auseinanderhalten muss

Im Beispiel laufen leicht zwei Entscheidungsebenen ineinander.

Die operative Entscheidung trifft die Instandhaltung im konkreten Fall:

  • weiterproduzieren,
  • zusätzliche Diagnose durchführen,
  • Wartung vorziehen.

Der Pilot soll dagegen eine Projektentscheidung vorbereiten:

Lohnt es sich, das System nach diesem begrenzten Versuch weiterzuentwickeln und stärker in Datenversorgung und Instandhaltungsprozess zu integrieren?

Das ist für die Versuchsgestaltung entscheidend.

Wenn Nordwerk im Pilot lediglich nachweist, dass Instandhalter einen Modelloutput erhalten und sinnvoll damit umgehen können, ist damit noch nicht automatisch bewiesen, dass die Prognose wirtschaftlich relevant viele Schäden verhindert.

Wenn relevante Spindelausfälle im gewählten Beobachtungsfenster selten sind, kann in einer kleinen Maschinengruppe schlicht kein entsprechender Schadensfall auftreten. Eine geringe Zahl unabhängiger Störungsereignisse begrenzt auch die belastbare Bewertung der Modellleistung. Viele Sensorwerte kompensieren diese Grenze nicht automatisch. Vor dem nächsten Versuch sollte Nordwerk außerdem prüfen, ob die bisherige Evidenz unter der heutigen Spindelgeneration und bei absehbaren Änderungen an Sensorik, Bearbeitungsprogrammen oder Betriebszuständen weiterhin gilt. Der nötige Prüf- und Anpassungsaufwand gehört in die Bewertung des nächsten Schritts. Wie solche Voraussetzungen den wirtschaftlichen Nutzen beeinflussen, zeigt die Vertiefung vom technischen PoC zum Business Case.

Der Pilot kann dann trotzdem wertvolle Evidenz zur Prozessfähigkeit liefern: Kommen die Daten rechtzeitig an? Ist die Information verständlich? Funktionieren Prüfung, Entscheidung und Rückfallprozess? Was „rechtzeitig“ dabei konkret bedeutet, hängt vom vorgesehenen Nutzungsschritt ab; diese Latenzfrage vertieft „Brauchen Sie wirklich Echtzeitdaten?“.

Für eine belastbare Aussage über den tatsächlichen Prognosenutzen kann dagegen ein längerer Zeitraum, eine größere Population oder eine andere Form zusätzlicher Evidenz erforderlich sein.

Diese Trennung verhindert, dass ein funktionierender Ablauf mehr beweisen soll, als tatsächlich beobachtet wurde. Wie sich die Eignung eines menschlichen Prüfablaufs zunächst an abgeschlossenen Fällen untersuchen lässt, zeigt der eigenständige Fachbeitrag zur Verlässlichkeit von Chatbot-Antworten.

Der Evidenzbedarf bestimmt den nächsten Versuch

Eine sinnvolle Versuchsgestaltung beginnt deshalb bei der späteren Entscheidung:

Welche Entscheidung wollen wir nach dem Versuch besser treffen können? Welche Unsicherheit verhindert sie heute? Welche Beobachtung würde diese Unsicherheit reduzieren? Unter welchen Bedingungen muss diese Beobachtung stattfinden?

Bei Nordwerk lag die erste Unsicherheit möglicherweise darin, ob die vorhandenen Daten überhaupt ein verwertbares Signal enthalten. Das lässt sich mit historischen Daten und einer kontrollierten Testumgebung untersuchen.

Nach einem positiven PoC verschiebt sich die relevante Frage.

Jetzt kann entscheidend werden,

  • ob reale Betriebsdaten rechtzeitig verfügbar sind,
  • ob die Modellinformation zum passenden Zeitpunkt in den Instandhaltungsprozess gelangt,
  • ob sie fachlich richtig eingeordnet wird,
  • und ob daraus eine sinnvolle Handlung entsteht.

Sobald genau diese Punkte die Projektentscheidung blockieren, muss auch der nächste Versuch näher an diese Realität heranrücken.

Relevante Leistungs- und Risikomerkmale sollten unter Bedingungen geprüft werden, die dem späteren Einsatz ähneln; zugleich sollten die Grenzen der Übertragbarkeit dokumentiert werden. [1]

Wie realistisch der Versuch sein muss, hängt damit von der Frage ab, die beantwortet werden soll. Ein zusätzlicher kontrollierter Test kann völlig ausreichend sein, solange die offene Unsicherheit dort tatsächlich beobachtbar bleibt.

Was erst in realistischeren Abläufen sichtbar wird

Bei menschlich genutzten KI-Systemen entstehen mit zunehmender Praxisnähe zusätzliche Fragen.

Erhält der Nutzer den Risikohinweis rechtzeitig? Versteht er dessen Bedeutung und Grenzen? Wann berücksichtigt er ihn, wann stellt er ihn aufgrund weiterer Befunde infrage? Entsteht zusätzliche Arbeit? Was geschieht, wenn Modelloutput und fachliche Einschätzung auseinanderlaufen?

Für die Gestaltung von Mensch-KI-Interaktion gelten Korrekturmöglichkeiten, bewusstes Ignorieren ungeeigneter Empfehlungen und Feedbackmechanismen als relevante Elemente. [4]

Das bedeutet nicht, dass solche Aspekte zwingend erst in einem Pilot geprüft werden können. Wenn ihre tatsächliche Nutzung für die Projektentscheidung wichtig ist, muss der Versuch sie ausreichend realitätsnah beobachtbar machen.

Auch praxisorientierte Leitfäden für kleine und mittlere Unternehmen empfehlen, KI zunächst in begrenzten realen Anwendungsfällen zu erproben und die spätere Integration einschließlich Nutzerfreundlichkeit und Akzeptanz schrittweise zu testen. [5]

Damit wird der Übergang vom technischen Nachweis zum betrieblichen Lernen zu einem eigenen Arbeitsschritt.

Was sich in meiner eigenen Machine-Learning-Praxis gezeigt hat

Aus meiner Arbeit mit Machine Learning kenne ich diese Verschiebung aus eigener Erfahrung.

Während der PoC noch ohne Live-Fälle auskam, wurden im Pilot reale Fälle aus dem späteren Anwendungskontext verarbeitet. Dadurch veränderte sich auch das, was wir beobachten konnten.

Neben der Modellleistung wurde relevant, wie die beteiligten Menschen die gelieferten Informationen tatsächlich einordneten, überprüften und in ihre Arbeit einbezogen. Viele Fälle mussten weiterhin manuell kontrolliert werden. Das Modell wurde nachjustiert, gleichzeitig entwickelte sich auch der Zusammenarbeitsprozess zwischen Menschen und Machine-Learning-System anhand realer Situationen weiter.

Im Pilot wurden außerdem zusätzliche Potenziale sichtbar, die während des PoC noch nicht erkennbar gewesen waren. Diese Erkenntnisse flossen in die Weiterentwicklung ein und bildeten später einen Teil der Entscheidungsgrundlage des Managements für weiteres Budget.

Das war keine automatische Folge eines „erfolgreichen Piloten“. Der Versuch lieferte zusätzliche Evidenz, die vorher noch nicht verfügbar gewesen war.

Kontrollierte Vorabtests bilden reale Einsatzbedingungen nur begrenzt ab; nach dem Deployment können zusätzliche unerwartete Outputs und Folgen sichtbar werden. [2] Für die Pilotgestaltung ist das eine übertragbare Grenze, keine Pilotdefinition.

Ein Pilot darf bewusst unfertig sein

Ein Pilot soll Unsicherheit reduzieren. Deshalb sind manuelle Kontrollen, begrenzte technische Lösungen oder Korrekturen während des Versuchs nicht automatisch ein Qualitätsproblem.

Entscheidend ist, ob diese Vereinfachungen die Aussage des Versuchs verzerren.

Eine provisorische Schnittstelle kann beispielsweise sinnvoll sein, solange die Lernfrage keine Aussage über Integrationsaufwand oder Reaktionszeit verlangt. Soll dagegen geprüft werden, ob ein Modelloutput im laufenden Produktionsprozess rechtzeitig verfügbar ist, würde eine manuelle Datenübertragung genau diesen Punkt verdecken.

Dasselbe gilt für menschliche Unterstützung.

Wenn ein positives Ergebnis nur zustande kommt, weil Fachleute jeden Fall mit außergewöhnlich hohem Aufwand nachbearbeiten, muss dieser Aufwand sichtbar bleiben. Sonst entsteht aus dem Pilot versehentlich eine Aussage über spätere Betriebsfähigkeit, die der Versuch gar nicht gezeigt hat.

Der Versuch muss nicht vollständig sein. Seine Vereinfachungen müssen nachvollziehbar bleiben und dürfen die zentrale Lernfrage nicht aushebeln.

Wie Nordwerk den Pilot konkret aufsetzen könnte

Für Nordwerk lässt sich daraus ein begrenzter Versuch ableiten.

Der Pilot könnte zunächst eine kleine, klar definierte Maschinengruppe und einen konkreten Instandhaltungsprozess umfassen. Das Modell verarbeitet reale Betriebsdaten und liefert seine Einschätzung an die zuständigen Instandhalter. Eine Wartungsentscheidung wird noch nicht automatisiert.

Für jeden relevanten Fall wird dokumentiert:

  • welcher Modelloutput vorlag,
  • ob er zum benötigten Zeitpunkt verfügbar war,
  • wie der Instandhalter ihn eingeordnet hat,
  • welche Handlung daraus folgte,
  • welche späteren Diagnosebefunde oder Schäden beobachtet wurden und welche Wartungseingriffe zwischen Modelloutput und Beobachtung erfolgten.

Bleibt nach einer vorgezogenen Wartung ein Ausfall aus, lässt sich daraus allein nicht ableiten, ob die Maschine ohne diesen Eingriff ausgefallen wäre.

Die drei operativen Optionen bleiben dieselben: weiterproduzieren, zusätzliche Diagnose durchführen oder Wartung vorziehen.

Unsichere und widersprüchliche Situationen laufen weiterhin über den bestehenden Diagnoseprozess. Dieser dient als Rückfallweg, solange Modelloutput oder Datenlage keine ausreichende Grundlage bieten.

Dabei sollte Nordwerk beides beobachten: Fälle, in denen Fachleute trotz eines erhöhten Risikohinweises keine zusätzliche Maßnahme veranlassen, und Fälle, in denen ein Risikohinweis ohne ausreichende fachliche Prüfung unmittelbar zu einem Eingriff führt.

Zusätzlich werden Datenlücken, verspätete Informationen, manuelle Korrekturen und zusätzlicher Prüfaufwand festgehalten.

Schematische Prozessgrafik eines begrenzten Piloten: Betriebsdaten führen über Modelloutput und fachliche Einordnung zu Entscheidung und Handlung. Bei Unsicherheit zweigt der Prozess zum bestehenden Diagnoseprozess ab.
Schematischer Pilotaufbau: Ein begrenzter realer Prozessausschnitt macht sichtbar, ob Betriebsdaten, Modelloutput, fachliche Einordnung, Entscheidung und Handlung zusammen funktionieren. Bei Unsicherheit bleibt der bestehende Diagnoseprozess als Rückfallweg erhalten.

Damit kann Nordwerk prüfen, ob der Weg Daten → Modelloutput → fachliche Einordnung → Entscheidung → Handlung unter begrenzten realen Bedingungen funktioniert.

Was Nordwerk danach entscheiden kann

Wenn diese Nutzungskette stabil funktioniert und keine grundlegenden Probleme sichtbar werden, besitzt Nordwerk eine bessere Grundlage für die nächste Projektentscheidung:

Soll das System weiterentwickelt und stärker in Datenversorgung und Instandhaltungsprozess integriert werden?

Falls während des Piloten genügend relevante und auswertbare Schadens- und Grenzfälle auftreten, kann der Versuch zusätzliche Evidenz zur Prognoseleistung unter diesen Bedingungen liefern. Bei vorgezogenen Wartungen muss dabei berücksichtigt werden, dass der Verlauf ohne Eingriff unbeobachtet bleibt.

Treten solche Fälle kaum oder gar nicht auf, bleibt diese Aussage offen. Das wäre kein gescheiterter Pilot, sondern eine klare Grenze dessen, was innerhalb des Beobachtungszeitraums gelernt werden konnte.

Ein Pilot kann den Prozess ausreichend gut prüfen und gleichzeitig noch zu wenig Evidenz für die langfristige Wirkung liefern.

Was ein positiver Pilot weiterhin nicht beweist

Auch ein realitätsnaher Pilot bleibt ein begrenzter Versuch.

Ein positives Ergebnis kann zeigen, dass ein System unter den getesteten Daten-, Nutzer-, Prozess- und Systembedingungen sinnvoll funktioniert. Andere Standorte, größere Lasten, längere Zeiträume, seltene Ausnahmefälle oder ein vollständig automatisierter Betrieb sind damit noch nicht automatisch abgedeckt.

Produktionsnahe Machine-Learning-Systeme bringen zusätzliche Anforderungen an Datenabhängigkeiten, Monitoring und Systemverhalten mit sich, die über einen begrenzten Versuch hinausgehen. [3]

Ein positives Pilotergebnis liefert deshalb Evidenz innerhalb seines dokumentierten Scopes. Ob daraus Rollout, weitere Investitionen oder ein Stop folgen, bleibt eine separate Entscheidung. Wie sich Fortsetzen, Eingrenzen und Beenden nach einem technisch positiven Proof of Concept abwägen lassen, bespreche ich im Beitrag Wann ist Nicht-Weiterführen das beste Ergebnis eines KI-Projekts?

Antwort auf die Ausgangsfrage

Für Nordwerk ist die anfangs gestellte Mitdenkfrage inzwischen beantwortbar.

Weitere marginale Modelloptimierung wäre nicht der wichtigste nächste Schritt, weil der technische Grundnachweis bereits erbracht ist. Die vollständige Produktionsintegration wäre dagegen zu früh.

Nordwerk sollte als Nächstes eine begrenzte reale Datenversorgung mit einer kontrollierten Beobachtung der Mensch-System-Nutzung verbinden.

Damit prüft das Unternehmen genau die Unsicherheit, die jetzt zwischen technischer Machbarkeit und einer fundierten Entscheidung über die weitere Integration liegt.

Allgemeiner formuliert ist ein technisch machbarer Ansatz dann pilotfähig, wenn die offenen Voraussetzungen ausreichend geklärt sind und die nächste entscheidungsrelevante Unsicherheit in einem begrenzten, kontrollierbaren und ausreichend realistischen Versuch beobachtet werden kann.

Der notwendige Umfang folgt dabei aus der Aussage, die der Versuch am Ende tragen soll.


Zusammenfassung

FrageKonsequenz
Was hat der PoC gezeigt?Aussagen nur innerhalb der tatsächlich getesteten Bedingungen treffen.
Welche Projektentscheidung steht danach an?Sie bestimmt, welche Unsicherheit als Nächstes reduziert werden muss.
Braucht diese Frage reale Daten, Nutzer oder Prozessbedingungen?Dann muss der nächste Versuch diese Bedingungen ausreichend realistisch abbilden.
Welche Vereinfachungen sind zulässig?Solche, die die zentrale Lernfrage nicht verdecken.
Was beweist ein positiver Pilot?Evidenz innerhalb seines Scopes, nicht automatisch Produktionsreife oder Rolloutfähigkeit.

Einseitige Zusammenfassung herunterladen (PDF · 1 Seite)

Quellen

[1] National Institute of Standards and Technology (NIST). Artificial Intelligence Risk Management Framework (AI RMF 1.0), insbesondere MEASURE 2.3 und Generalisierungsgrenzen. 2023. Quellenstand geprüft 24.09.2026.
https://airc.nist.gov/airmf-resources/airmf/5-sec-core/

[2] Rao, A.; Keller, A.; Kalra, N.; Steed, R.; Kwegyir-Aggrey, K.; Klyman, K.; Staheli, D.; Bergman, A. Challenges to the Monitoring of Deployed AI Systems: Center for AI Standards and Innovation. NIST AI 800-4, 2026.
https://www.nist.gov/publications/challenges-monitoring-deployed-ai-systems-center-ai-standards-and-innovation

[3] Breck, E.; Cai, S.; Nielsen, E.; Salib, M.; Sculley, D. The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction. IEEE Big Data, 2017.
https://research.google/pubs/the-ml-test-score-a-rubric-for-ml-production-readiness-and-technical-debt-reduction/

[4] Amershi, S.; Weld, D.; Vorvoreanu, M.; et al. Guidelines for Human-AI Interaction. CHI, 2019.
https://www.microsoft.com/en-us/research/publication/guidelines-for-human-ai-interaction/

[5] Mittelstand-Digital. Schritte zur Integration von KI in KMU. Praxisleitfaden, Quellenstand geprüft 24.09.2026.
https://www.mittelstand-digital.de/MD/Redaktion/DE/Themenhub/2024-01/Artikel/hub-2024-01-04-schritte-zur-integration.html

Fachlich passende Artikel

Fachlich ergänzt am 4. Oktober 2026: Grenzen geringer Ereigniszahlen und die Bedeutung veränderter Maschinenbedingungen für den nächsten Versuch präzisiert.

Weiter im Facharchiv

Zur Kategorie „Architektur & Machbarkeit“ · Alle Fachbeiträge · Fachlicher Lernpfad: Von der KI-Idee zur Projektentscheidung · Alle Themenbereiche