Ein Proof of Concept kann funktionieren und trotzdem gegen den nächsten Projektschritt sprechen. Das ist besonders schwer zu akzeptieren, wenn bereits viel Arbeit in Daten, Versuche und Abstimmungen geflossen ist. Doch der technische Nachweis beantwortet nur einen Teil der Frage: Lohnt es sich, unter den tatsächlichen Bedingungen weiterzuarbeiten?
Beim fiktiven Unternehmen Nordwerk wurde ein Modell erprobt, das Auffälligkeiten an CNC-Spindeln früher erkennen soll. Das Ergebnis ist ermutigend. Im vorgesehenen Einsatz würde das Modell allerdings zugleich häufig zusätzliche Prüfungen auslösen. Wie stark diese Mehrarbeit den erwarteten Nutzen mindert, ist noch offen. Eine automatische Wartungsentscheidung lässt sich daraus bislang nicht verantwortbar ableiten.
Was würden Sie Nordwerk nach diesem Versuch empfehlen? Weiter in Richtung Pilot, das Modell verbessern, den Einsatzbereich verkleinern, das Vorhaben vertagen oder beenden? Halten Sie eine vorläufige Antwort fest. Welche offene Frage würde Ihre Wahl verändern?
Kurzfassung für Entscheider öffnen
Für Leser mit wenig Zeit: die Kernaussagen dieses Beitrags in kompakter Form.
- Kernaussage: Ein technisch erfolgreicher Proof of Concept rechtfertigt nicht automatisch den nächsten Projektschritt. Maßgeblich ist, ob ein weiterer Versuch unter den tatsächlichen Bedingungen genügend Nutzen oder Erkenntnis verspricht.
- Entscheidungsoptionen: Weiterführen, Rescope, Voraussetzungen zuerst, Defer oder Stop – je nachdem, welche Evidenz vorliegt und welcher nächste Schritt dadurch gerechtfertigt ist.
- Größte Unsicherheit: Lässt sich die beobachtete Schwäche mit vertretbarem Aufwand beheben oder durch einen engeren Einsatz umgehen?
- Praktische Konsequenz: Vor der nächsten Investition den möglichen Erkenntnisgewinn, den benötigten Kapazitätseinsatz und eine Lösung ohne KI gegenüberstellen.
Was der Versuch gezeigt hat – und was noch offen ist
Ein Proof of Concept (PoC) prüft eine begrenzte Annahme. Nordwerk hat in diesem Beispiel Hinweise darauf gewonnen, dass das Modell drohende Störungen an CNC-Spindeln vor ihrem Auftreten anzeigen kann. Für einen Piloten müsste Nordwerk zusätzlich wissen, wie sich das Modell gegenüber dem bisherigen Vorgehen bewährt und welche Folgen seine Hinweise im Arbeitsalltag haben. Aus dem technisch positiven Ergebnis folgt deshalb noch kein Pilotbeschluss. Zuerst muss Nordwerk entscheiden, welche offene Frage einen weiteren begrenzten Versuch rechtfertigt.
Dafür gehören drei Fragen auf den Tisch:
- Ziel: Welche Entscheidung oder welcher Prozess soll durch das Ergebnis tatsächlich besser werden?
- Wirkung: Welcher Nutzen bleibt übrig, wenn zusätzliche Prüfungen, übersehene Fälle und Aufwand im Betrieb mitbetrachtet werden?
- Nächster Schritt: Welche konkrete Unsicherheit könnte ein begrenzter weiterer Versuch klären – und wäre dieser Erkenntnisgewinn seinen Aufwand wert?
Für den Beschluss zählen neben dem technischen Ergebnis auch Zielerreichung, Risiken und tragfähige Alternativen ohne KI. [1] Wie viel Kapazität eine Fortsetzung beanspruchen darf, muss Nordwerk für sein Vorhaben selbst abwägen. Der bisherige Ablauf muss als Vergleich erkennbar sein; Ergebnisse eines frühen Tests dürfen nicht ohne Weiteres als Wirkung eines späteren, breiteren Einsatzes gelesen werden. [2]
Fünf mögliche Beschlüsse
Für die Entscheidung nach einem PoC hilft folgende eigene Einordnung:
| Beschluss | Was er für den nächsten Schritt bedeutet |
|---|---|
| Weiterführen | Die bisherige Evidenz rechtfertigt einen klar begrenzten nächsten Test mit benanntem Ziel und kontrollierten Risiken. |
| Voraussetzungen zuerst | Ein weiterer Versuch ist erst sinnvoll, wenn eine konkret benannte Voraussetzung geklärt oder hergestellt wurde. Dazu kann auch eine gezielte technische Verbesserung mit anschließender Prüfung gehören. |
| Rescope – neu eingrenzen | Die Ergebnisse tragen einen kleineren oder anderen Anwendungsfall, aber nicht den ursprünglich vorgesehenen. |
| Defer – vertagen | Eine benennbare Voraussetzung fehlt. Eine verantwortliche Person, ein Prüftermin oder Auslöser und die dann zu prüfende Frage sind festgelegt. |
| Stop – beenden | Für das konkrete Vorhaben ist kein weiterer Schritt erkennbar, dessen erwarteter Nutzen oder Erkenntnisgewinn den Aufwand und die Risiken rechtfertigt. |
Die Begriffe dürfen eine schwache Entscheidung nicht verdecken. „Wir verbessern das Modell weiter“ ist noch kein eigenständiger Projektbeschluss. Als Maßnahme im Rahmen von Voraussetzungen zuerst ist eine solche Verbesserung nur begründet, wenn klar ist, welche entscheidungsrelevante Schwäche bearbeitet wird und woran sich ein ausreichend tragfähiges Ergebnis erkennen ließe. „Wir greifen es später wieder auf“ ist nur dann ein belastbares Defer, wenn feststeht, was sich dafür ändern müsste und wer diese Bedingung erneut prüft. Sonst endet der aktuelle Versuch faktisch.
Stop bezieht sich auf das geprüfte Vorhaben, nicht auf das Problem, das es lösen sollte. Ein verbesserter Prozess, eine einfache Regel oder eine andere technische Lösung können weiterhin sinnvoll sein.
Die Gegenprobe: Würde ein weiterer Versuch die Entscheidung verändern?
Bevor Nordwerk die automatische Wartungsentscheidung verwirft oder weiterentwickelt, sollte es die Ursache der zusätzlichen Prüfungen untersuchen. Treten sie unter bestimmten Betriebsbedingungen auf? Gibt es einen abgrenzbaren Bereich, in dem die Hinweise bereits brauchbar sind? Und was geschieht, wenn ein Hinweis nur eine menschliche Prüfung auslöst, statt eine Wartung automatisch anzustoßen?

Diese Möglichkeiten sind Prüfhypothesen, keine bereits nachgewiesenen Vorteile. Eine Eingrenzung könnte neue Kosten oder Risiken erzeugen: Jemand muss die Hinweise sichten, die Zuständigkeit übernehmen und bei Fehlern handeln. Würde dieser Ablauf kaum Entlastung schaffen, wäre auch der kleinere Anwendungsfall wenig überzeugend. Wie Nordwerk die wirtschaftliche Wirkung solcher Voraussetzungen mit mehreren plausiblen Annahmen prüfen kann, zeigt der Beitrag „Wenn der Business Case an einer Zahl kippt, die im PoC gar nicht gemessen wird“.
Für Nordwerk wäre deshalb ein begrenzter Test eines Prüfhinweises für Fachleute denkbar. Vor dessen Start müsste das Unternehmen festlegen, welche Fälle einbezogen werden, wie der bisherige Prozess als Vergleich dient, wie viel zusätzliche Prüfzeit vertretbar ist und welche Beobachtung zum Abbruch führt. Reicht die vorhandene Evidenz dafür nicht aus oder ist schon dieser Test unverhältnismäßig aufwendig, gibt es keinen Grund, ihn allein wegen des positiven technischen Ergebnisses zu beginnen.
Eine Entscheidung aus eigener Erfahrung
In einem Projekt mit generativer KI war ich als Fachexperte eingebunden. Ziel war ein Agent zur Analyse von Datenbanken. Bis zum Abschluss des PoC wurden verschiedene Ansätze verfolgt. Dabei zeigte sich, dass die Umsetzung grundsätzlich machbar war.
Der Aufwand für die Validierung und für die weitere Abstimmung zur Fehlerreduktion überschritt jedoch früh den Kapazitätseinsatz, der für das Vorhaben akzeptabel war. Daraufhin fiel die Entscheidung, den damaligen Entwicklungsversuch nicht fortzuführen und zunächst den bestehenden Prozess zu verbessern. Eine spätere Wiederaufnahme blieb möglich, falls mehr Kapazität verfügbar würde oder ein weniger aufwendiger Umsetzungsweg entstünde.
In der oben verwendeten Einordnung war das ein Stop des damaligen Versuchs. Für dieses Projekt war der nächste Entwicklungsschritt unter den damaligen Bedingungen nicht gerechtfertigt. Das sagt nichts darüber aus, ob Datenbank-Agenten generell sinnvoll sind. Vor einer möglichen Wiederaufnahme müsste der voraussichtliche Kapazitätseinsatz unter den dann verfügbaren Mitteln und technischen Möglichkeiten erneut geprüft werden.
Wann ein Stop ein gutes Ergebnis ist
Kehren wir zur anfänglichen Frage bei Nordwerk zurück: Ein sofortiger Pilot der automatischen Wartungsentscheidung wäre durch die beschriebenen Ergebnisse nicht gedeckt. Für den automatisierten Wartungseinsatz lautet die vorläufige Entscheidung Rescope: Ein engerer Einsatz als Prüfhinweis für Fachleute könnte gezielt getestet werden, sofern Aufwand und Prüfkriterien vorher feststehen. Wer anfangs „Weiterführen“ gewählt hat, müsste zumindest den geplanten Einsatzzweck ändern. Wer zunächst das Modell verbessern wollte, sollte prüfen, ob weitere Modellarbeit die zusätzliche Prüfzeit überhaupt wirksam senken kann. Ohne einen solchen Nachweis ist eine weitere Optimierung noch kein begründeter nächster Schritt.
Ergibt schon die Gegenprobe für den engeren Einsatz keinen vernünftigen nächsten Schritt, folgt Stop für dieses Vorhaben. Nordwerk sollte dann die Erkenntnisse sichern und den bestehenden Wartungsprozess weiter verbessern.
Nicht-Weiterführen ist dann das beste Ergebnis eines KI-Projekts, wenn eine wesentliche Annahme für den nächsten Schritt nicht trägt und auch eine gezielte Verbesserung, Eingrenzung oder zusätzliche Prüfung voraussichtlich keinen angemessenen Wert schafft. Das Ergebnis des PoC ist dann eine begründete Entscheidung.
Zusammenfassung
- Ein technisch gelungener PoC begründet noch keinen Pilot.
- Weiterführen, Rescope, Voraussetzungen zuerst, Defer und Stop benennen unterschiedliche nächste Beschlüsse. Eine gezielte technische Verbesserung ist dabei eine mögliche Maßnahme, aber nicht zwingend eine eigenständige Projektentscheidung. Jeder Beschluss braucht eine überprüfbare Begründung.
- Vor einem Stop lohnt die Gegenprobe: Kann eine gezielte Änderung oder ein begrenzter Test die Entscheidung noch sinnvoll verändern?
- Ein vertagtes Vorhaben braucht einen konkreten Auslöser für die erneute Prüfung. Fehlt er, sollte der aktuelle Versuch als beendet dokumentiert werden.
- Das zugrunde liegende Problem bleibt bestehen. Auch ein besserer bestehender Prozess oder eine Lösung ohne KI kann die richtige Folge sein.
Einseitige Zusammenfassung herunterladen (PDF · 1 Seite)
Quellen
- National Institute of Standards and Technology, AI Risk Management Framework 1.0 (2023), AI RMF Playbook, „Manage 1.1“ und „Manage 2.1“, abgerufen am 28.09.2026.
- UK Government, Guidance on the Impact Evaluation of AI Interventions, aktualisiert am 15.05.2026, insbesondere „Summary“ und Abschnitt 2.4; abgerufen am 28.09.2026. Leitfaden für Anwendungen in der öffentlichen Verwaltung; hier für die Evaluationslogik herangezogen.


