Nordwerk ist ein fiktiver mittelständischer Hersteller von Präzisionsbauteilen, der mich durch diese Artikelserie begleitet. Wir setzen hier vor dem ersten technischen Versuch, dem Proof of Concept (PoC), an. Das geplante Modell soll aus Maschinendaten Hinweise auf ein erhöhtes Risiko spindelbedingter Ausfälle liefern. Instandhaltung und Produktion sollen damit zwischen Weiterbetrieb, zusätzlicher Diagnose und vorgezogener Wartung abwägen. Die grundsätzlich relevanten Datenquellen und ihre bekannten Lücken sind beschrieben, der Entscheidungsweg für den Versuch ist umrissen und die technische Idee erscheint plausibel. Ob die Daten tatsächlich ein brauchbares frühes Signal enthalten, ist noch offen.
Jetzt beginnt der Bereich, in dem echte technische Unsicherheit kaum vermeidbar ist. Welche Merkmale aus den Rohdaten werden sich als nützlich erweisen? Welcher Modellansatz funktioniert am besten? Welche Güte lässt sich unter realistischen Bedingungen erreichen? Wie robust bleibt das Ergebnis bei Maschinen oder Betriebszuständen, die in den bisherigen Daten kaum vorkommen?
Genau solche offenen technischen Fragen sind ein sinnvoller Gegenstand für einen PoC.
Schwieriger wird es, wenn parallel noch geklärt werden muss, welche Annahme eigentlich untersucht wird, was ein brauchbares Ergebnis wäre oder ob die benötigten Daten für den Versuch ausreichend verfügbar sind. Ein Modell oder eine Demo kann dann erstaunlich schnell entstehen. Der Erkenntnisgewinn für die eigentliche Projektentscheidung entwickelt sich möglicherweise deutlich langsamer.
Kurz mitdenken
Für den geplanten PoC sind noch sechs Punkte offen:
- die am besten geeignete Modellarchitektur,
- die konkrete Hypothese des Versuchs,
- die relevantesten Merkmale aus den vorhandenen Daten,
- die Kriterien für ein ausreichend gutes Ergebnis,
- die spätere Produktivarchitektur,
- die tatsächliche Nutzbarkeit der benötigten Daten.
Welche Punkte sollten vor dem Start geklärt sein – und welche würden Sie bewusst in das Experiment mitnehmen?
Offene Fragen erfüllen in einem PoC unterschiedliche Funktionen. Manche bilden den eigentlichen Untersuchungsgegenstand. Andere beeinflussen, ob das Ergebnis später überhaupt sinnvoll interpretiert werden kann.
Kurzfassung für Entscheider öffnen
Für Leser mit wenig Zeit: die Kernaussagen dieses Beitrags in kompakter Form.
Kernaussage
Ein PoC kann wesentliche technische Fragen bewusst offenlassen. Vor seinem Start sollte jedoch klar genug sein, welche Hypothese untersucht wird, welche Entscheidung die zusätzliche Evidenz unterstützen soll und ob die Voraussetzungen für einen aussagefähigen Versuch vorhanden sind.
Stärkste Evidenz
Eine Fraunhofer-Einordnung für KI im Mittelstand ordnet Anwendungsfall, Datengrundlage und Erfolgskriterien vor dem eigentlichen PoC ein. Ergänzend zeigt eine speziell für industrielle Machine-Learning-Projekte im Mittelstand entwickelte Checkliste, wie Projektziel, Betrachtungsfokus und Datenplanung früh strukturiert werden können, ohne die spätere technische Exploration vollständig vorwegzunehmen. [1] [3]
Größte Unsicherheit
Wie weit diese Klärung gehen muss, hängt stark vom jeweiligen Problem ab. Gerade der technisch geeignete Lösungsweg darf zu Beginn noch offen sein.
Praktische Konsequenz
Vor dem PoC sollte feststehen, welche Unsicherheit reduziert werden soll und wodurch das Ergebnis für eine spätere Entscheidung relevant wird. Modellwahl, Merkmalsbildung und Teile der technischen Lösung können bewusst im Experiment entstehen.
Wofür der PoC Erkenntnis erzeugen soll
Für diesen Beitrag verwende ich PoC in einem bewusst engen Sinn: als begrenztes Experiment, mit dem eine für das Vorhaben relevante Annahme überprüft wird.
Damit bleibt viel technische Freiheit. Welcher Algorithmus am Ende funktioniert, welche Kombination von Merkmalen trägt oder wie die spätere Produktivarchitektur aussieht, muss zu diesem Zeitpunkt häufig noch niemand wissen.
Für den Start braucht es eine ausreichend klare Vorstellung davon, welcher zusätzliche Wissensstand durch den Versuch erreicht werden soll.
Eine Fraunhofer-Einordnung für KI im Mittelstand beschreibt eine ähnliche Reihenfolge: Zunächst werden ein möglicher Anwendungsfall und die erforderliche Datengrundlage geklärt. Danach sollen klare Erfolgskriterien einen Vergleich zwischen Ausgangszustand und angestrebtem Zustand ermöglichen; darauf kann ein Proof of Concept aufbauen. Auch ein PoC ohne erfolgreiches technisches Ergebnis kann dabei Erkenntnis erzeugen. [1]
Für Nordwerk bedeutet das beispielsweise: Der spätere Algorithmus kann unbekannt sein. Vor dem Versuch sollte dagegen klar genug sein, welche Annahme über den Zustand der Spindel eigentlich überprüft werden soll.
Fünf Fragen vor dem ersten Experiment
Aus diesen Überlegungen leite ich fünf Fragen für die Vorbereitung eines PoCs ab. Sie sind eine eigene Synthese und kein standardisiertes Reifegradmodell. Ihr Zweck ist, unterschiedliche Arten offener Fragen auseinanderzuhalten.
1. Was soll durch den Versuch herausgefunden werden?
„Wir schauen einmal, was mit den Daten möglich ist“ kann für frühe Exploration sinnvoll sein. Als PoC-Ziel lässt die Formulierung allerdings sehr viel offen.
Bei Nordwerk könnte eine konkretere Hypothese beispielsweise lauten:
In den vorhandenen Sensordaten lassen sich vor einem spindelbedingten Ausfall Muster erkennen, die rechtzeitig auf ein erhöhtes Ausfallrisiko hinweisen könnten.
Die Formulierung schreibt weder Algorithmus noch die konkrete Merkmalsbildung – häufig als Feature Engineering bezeichnet – fest, sie grenzt lediglich den Gegenstand der Untersuchung ein.
Für Nordwerk wäre damit beispielsweise ein Versuch an einer definierten Maschinen- und Datengruppe plausibler als ein PoC, der gleichzeitig mehrere Maschinentypen, unterschiedliche Fehlerbilder und eine spätere Produktionsintegration abdecken soll.
2. Was kann mit dem Ergebnis anschließend entschieden werden?
Ein technisch interessantes Ergebnis kann für das Gesamtvorhaben wenig verändern. Deshalb lohnt sich bereits vor dem Versuch die Frage, welche Entscheidung durch die zusätzliche Evidenz besser vorbereitet werden soll.
Bei Nordwerk liegt die betriebliche Fragestellung näher an der Entscheidung zwischen Weiterbetrieb, vorgezogener Wartung und zusätzlicher Prüfung als an der abstrakten Frage, ob sich Spindeldaten grundsätzlich mit Machine Learning klassifizieren lassen.
Bei der Problemformulierung sind das gewünschte Ergebnis im realen Prozess, das Modellziel und die technischen Bewertungsgrößen getrennt zu betrachten. Ein Modell kann in der technischen Evaluation sehr gut abschneiden und den gewünschten Effekt im Anwendungskontext trotzdem nur unzureichend unterstützen. [2]
Für Nordwerk heißt das: Eine hohe Modellgüte beantwortet noch nicht automatisch die Frage, ob sich damit Wartungsentscheidungen sinnvoll verbessern lassen.
Der Entscheidungsanschluss muss dabei keine unmittelbare Freigabe für den nächsten Projektabschnitt bedeuten. Auch Hypothese verwerfen, zusätzliche Daten beschaffen oder Versuchsaufbau verändern können sinnvolle Ergebnisse sein. Wie ein technisch positiver Versuch zu Eingrenzen oder Beenden statt zur Fortsetzung führen kann, zeige ich im Beitrag Wann ist Nicht-Weiterführen das beste Ergebnis eines KI-Projekts?
3. Welche Beobachtung würde die Hypothese stützen oder schwächen?
Wer erst nach dem Experiment festlegt, was als Erfolg gelten soll, kann sehr viele Ergebnisse nachträglich positiv interpretieren.
Gerade bei explorativen KI-Vorhaben entstehen schnell interessante Einzelbeobachtungen: eine überraschende Korrelation, einzelne sehr gute Antworten eines Sprachmodells, eine attraktive Demo oder eine hohe Modellgüte auf einem Teil der Daten.
Zumindest die relevante Bewertungslogik sollte deshalb vorher erkennbar sein.
Für Nordwerk muss zu diesem Zeitpunkt noch keine endgültige produktive Entscheidungsschwelle feststehen. Das Team sollte aber wissen, welche Beobachtung überhaupt als Hinweis darauf gelten würde, dass die untersuchte Idee trägt.
4. Reichen die Voraussetzungen für genau diesen Versuch?
Ein PoC darf untersuchen, wie brauchbar bestimmte Daten tatsächlich sind. Dafür muss wenigstens eine Datenbasis vorhanden sein, mit der sich die formulierte Hypothese sinnvoll prüfen lässt.
Für industrielle Machine-Learning-Projekte im Mittelstand existiert dazu eine speziell angepasste Checkliste des Mittelstand-Digital Zentrums Saarbrücken. Sie unterstützt die Planung von ML-Projekten an bestehenden Anlagen, Prozessen und Betriebsmitteln und legt besonderen Wert darauf, mit Fachwissen gezielt aussagekräftige Daten zu erfassen und bereitzustellen. [3]
Auf den Spindelfall übertragen bedeutet das: Die Daten müssen zugänglich sein, der betrachtete Zustand fachlich ausreichend beschrieben sein und die vorhandenen Messungen müssen grundsätzlich geeignet erscheinen, die formulierte Hypothese zu untersuchen.
Welche Frequenzmerkmale später besonders aussagekräftig sind, darf offenbleiben. Fehlen praktisch alle Daten zu den Zuständen, die vorhergesagt werden sollen, verändert sich die Aussagekraft des gesamten Versuchs.
Hier berührt der PoC die bereits behandelte Datenbrauchbarkeit: Ein großer und technisch sauberer Datensatz kann für die konkrete Hypothese trotzdem zu wenig Information enthalten.
5. Wo endet das aktuelle Experiment?
Neue technische Fragen während eines PoCs sind normal. Sie können jedoch dazu führen, dass der Untersuchungsraum schrittweise wächst.
Nach den ersten Modellläufen könnte Nordwerk beispielsweise zusätzliche Sensoren einbeziehen, weitere Maschinentypen aufnehmen, zusätzliche Fehlerbilder untersuchen oder den betrachteten historischen Datenzeitraum erheblich ausweiten. Jede Erweiterung kann für sich sinnvoll sein. Zusammen entsteht irgendwann ein anderer Untersuchungsgegenstand als zu Beginn.
Mittelstand-Digital empfiehlt für KI-Vorhaben in kleinen und mittleren Unternehmen klar abgegrenzte und überschaubare Use Cases, um früh Erfahrungen aufzubauen und Risiken sichtbar zu machen. [4]
Vor dem Start sollte daher grob feststehen:
- welches Lernziel aktuell verfolgt wird,
- welche Daten und Systeme zum Versuch gehören,
- bis zu welchem Erkenntnispunkt exploriert wird,
- und wann eine neue Frage den Untersuchungsgegenstand so stark verändert, dass ein neuer Versuch sinnvoller wäre.
Der Versuchsraum darf sich aufgrund neuer Erkenntnisse verändern. Solche Änderungen sollten allerdings sichtbar bleiben, damit am Ende nachvollziehbar ist, welche Fragen tatsächlich untersucht wurden.
Wenn der erste Prototyp schneller entsteht als die Klarheit
Bei der Konzeption eines Chatbots für Datenanalyse habe ich selbst erlebt, wie schnell sich diese Grenze verschieben kann.
Wir arbeiteten früh mit einem iterativen Vibe-Coding-Ansatz. Damit meine ich ein Vorgehen, bei dem mit KI-Unterstützung sehr schnell ein funktionierender Prototyp entsteht und anschließend direkt am Artefakt in kurzen Schleifen weiterentwickelt wird.
Dadurch hatten wir früh etwas, das ausprobiert, verändert und technisch erweitert werden konnte. Mehrere grundlegende Voraussetzungen waren zu diesem Zeitpunkt allerdings noch nicht strukturiert geklärt. Nutzungsziel, Anforderungen und spätere Bewertung entwickelten sich teilweise parallel zur technischen Exploration.
Der Einstieg in den PoC gelang dadurch schnell. Bis aus den Iterationen eine belastbare Entscheidungsgrundlage entstand, dauerte es erheblich länger.
Der technische Fortschritt war dabei durchaus real. Der Chatbot wurde besser, neue Möglichkeiten wurden sichtbar und manche Fragen ließen sich gerade durch das Ausprobieren schneller beantworten.
Gleichzeitig mussten während dieser Iterationen Grundfragen nachgeholt werden, die den Untersuchungsraum selbst bestimmten. Technische Exploration und grundlegende Vorhabensklärung liefen dadurch über längere Zeit nebeneinander.
Diese Erfahrung hat meine Sicht auf frühe Prototypen verändert. Ein schnell funktionierendes Artefakt sagt zunächst wenig darüber aus, wie weit die zugrunde liegende Entscheidung bereits vorbereitet ist.
Wie weit sollte Vorabklärung gehen?
Auch umfangreiche Vorbereitung kann irgendwann ihren Nutzen verlieren.
Für Nordwerk wäre es beispielsweise verfrüht, vor dem ersten Versuch bereits die endgültige Produktionsarchitektur, die finale Merkmalskombination oder einen bestimmten Algorithmus festzuschreiben. Diese Punkte können Teil der technischen Exploration bleiben.
Die bereits genannte Checkliste für industrielle ML-Projekte setzt früher an: Projektziel und Betrachtungsfokus werden zunächst festgelegt, relevante Anlagen, Prozesse und Daten eingegrenzt und anschließend die Mess- und Datenplanung aufgebaut. Gleichzeitig ist vorgesehen, diese Planung im Projektverlauf iterativ anzupassen. [3]
Auf den Spindelfall übertragen müssen Hypothese, betrachteter Datenbereich und Versuchsgrenze weit genug geklärt sein, um das Ergebnis interpretieren zu können. Algorithmus und Merkmalsbildung dürfen sich im Experiment entwickeln.
So bleibt Raum für Iteration und überraschende Erkenntnisse, ohne dass sich während der technischen Arbeit unbemerkt die ursprüngliche Fragestellung verschiebt.
Fünf Fragen als Grenztest
Vor dem Start lässt sich die Situation damit kompakt prüfen:
1. Lernfrage
Welche relevante Unsicherheit soll nach dem PoC kleiner sein?
2. Entscheidungsanschluss
Welche spätere Entscheidung kann mit der zusätzlichen Evidenz besser getroffen werden?
3. Bewertungslogik
Welche Beobachtungen würden die zentrale Hypothese stützen, schwächen oder offenlassen?
4. Mindestvoraussetzungen
Reichen Daten, Zugriff und Randbedingungen aus, um diese Frage sinnvoll zu untersuchen?
5. Experimentgrenze
Wann verändert eine neue Frage den Untersuchungsgegenstand so stark, dass daraus ein neuer Versuch wird?
Die Antworten ergeben bewusst keinen Score. Derselbe offene Punkt kann abhängig vom Vorhaben nebensächlich oder fundamental sein.
Der Grenztest macht sichtbar, welche Unsicherheiten Lerngegenstand des PoCs sind und welche seine Aussagekraft gefährden.
Zurück zu Nordwerk
Von den sechs offenen Punkten am Anfang gehören Modellarchitektur, Merkmalsauswahl und große Teile der späteren Produktivarchitektur plausibel in die technische Exploration.
Hypothese, Bewertungslogik und grundsätzliche Datenbasis brauchen dagegen vor dem Start ausreichend Klarheit. Sonst kann das Team viele Modelle trainieren und am Ende trotzdem Schwierigkeiten haben zu erklären, was über das eigentliche Vorhaben gelernt wurde.
Belastbar wird der PoC, wenn die untersuchte Unsicherheit klar benannt ist, sein Ergebnis interpretierbar bleibt und technische Offenheit dort erhalten wird, wo sie Erkenntnis erzeugen soll.
Wenn Nordwerk mit diesem abgegrenzten PoC ein technisch überzeugendes Ergebnis erzielt, folgt die Frage nach dem nächsten Versuch: Reicht der technische Nachweis aus, um unter realistischeren Bedingungen zu lernen? Darum geht es in Technisch machbar heißt noch lange nicht pilotfähig.
Für die Bewertung des PoC-Ergebnisses bleibt außerdem der Vergleichsmaßstab entscheidend. Warum ein gutes Ergebnis ohne geeignete Baseline wenig beweist, vertiefe ich in Ohne Baseline beweist selbst ein guter PoC erstaunlich wenig.
Zusammenfassung
Ein KI-PoC darf erhebliche technische Unsicherheit enthalten. Modellwahl, Merkmalsbildung, erreichbare Performance und Teile der späteren Architektur sind häufig Gegenstand des Experiments.
Vor dem Start sollte ausreichend klar sein:
- welche Hypothese untersucht wird,
- welche Entscheidung die entstehende Evidenz unterstützen soll,
- wodurch ein aussagefähiges Ergebnis erkennbar wird,
- ob die Voraussetzungen für diesen konkreten Versuch ausreichen,
- und wie weit sein Untersuchungsraum reicht.
Zu viele Festlegungen vor dem Versuch können sinnvolle Exploration einschränken; zu wenig Grundklärung führt dagegen schnell zu technischen Iterationen, deren Bedeutung für die ursprüngliche Entscheidung erst nachträglich sortiert werden muss.
Für die PoC-Vorbereitung ist entscheidend, welche Funktion eine offene Frage hat. Manche Fragen bilden den Untersuchungsgegenstand des Experiments; andere müssen weit genug geklärt sein, damit sein Ergebnis interpretierbar wird.
Einseitige Zusammenfassung herunterladen (PDF · 1 Seite)
Quellen
[1] Fraunhofer IML – „KI im Mittelstand: Chancen erkennen, Herausforderungen meistern“.
Einordnung zu Anwendungsfall, Datengrundlage, Erfolgskriterien und anschließendem Proof of Concept sowie zum Erkenntniswert eines nicht erfolgreichen PoCs. Quelle öffnen
[2] Google for Developers – „Framing an ML problem“.
Technische Referenz zur Trennung zwischen gewünschtem realem Ergebnis, Modellziel und Modell-Evaluationsgrößen. Quelle öffnen
[3] Mittelstand-Digital Zentrum Saarbrücken – „KI-Projekte erfolgreich umsetzen: Eine Checkliste für den Mittelstand“.
Checkliste für die Planung von Machine-Learning-Projekten an bestehenden Anlagen, Prozessen und Betriebsmitteln mit Fokus auf Zielklärung sowie Mess- und Datenplanung im industriellen Mittelstand. Quelle öffnen
[4] Mittelstand-Digital – „KI-Anwendungen erfolgreich in den Unternehmensalltag integrieren“.
KMU-Perspektive auf klar abgegrenzte Use Cases, Datenvoraussetzungen und frühes Lernen. Quelle öffnen
Quellen zuletzt geprüft: 25.09.2026.


