Kurzfazit
Das US-amerikanische NIST (National Institute of Standards and Technology) hat mit TEVV-Athlon einen vierstufigen Entwurf zur Bewertung von KI-Systemen veröffentlicht. TEVV (Test, Evaluation, Verification and Validation; Test, Bewertung, Verifikation und Validierung) wird dabei auf den konkreten Nutzungskontext zugeschnitten. Für das Qualitätsmanagement zählt deshalb nicht nur ein Modellscore, sondern das vollständige Anwendungssystem mit Zielen, Risiken, Daten, Werkzeugen und realen Auswirkungen.
FQI Takeaway
- KI-Validierung muss anwendungsbezogen sein: Ein allgemeiner Modellscore ersetzt keine Prüfung gegen Prozessanforderungen und Fehlerrisiken.
- FMEA (Fehlermöglichkeits- und Einflussanalyse) und TEVV ergänzen sich: Die FMEA beschreibt, was schiefgehen kann; ein TEVV-Plan erzeugt Evidenz, ob Präventions- und Entdeckungsmaßnahmen tatsächlich wirken.
- Freigabe braucht mehrere Nachweise: Leistungsfähigkeit, Robustheit, Sicherheit, Nachvollziehbarkeit und Betriebsgrenzen müssen getrennt geprüft werden.
Das Prinzip auf einen Blick
Das NIST veröffentlichte den ersten öffentlichen Entwurf von NIST AI 200-2 am 7. August 2026; AI steht in der Dokumentbezeichnung für Artificial Intelligence, also Künstliche Intelligenz. Die Kommentierungsfrist läuft bis zum 6. Oktober 2026. Das Framework richtet sich nicht nur an klassische Modelle des maschinellen Lernens, sondern ausdrücklich auch an große Sprachmodelle, multimodale Systeme und agentische KI. Es ist ein offizieller Entwurf, noch kein verbindlicher Standard. Seine Stärke liegt deshalb weniger in normativer Verbindlichkeit als in einer strukturierten Prüflogik, die sich bereits heute in Qualitäts- und Freigabeprozesse übertragen lässt.
Begriffe kurz erklärt
- KI: Künstliche Intelligenz; Systeme, die aus Daten Muster ableiten oder Aufgaben automatisiert unterstützen.
- NIST: National Institute of Standards and Technology; US-Institut für Standards und Technologie.
- FMEA: Fehlermöglichkeits- und Einflussanalyse; Methode zur vorbeugenden Bewertung von Risiken.
- TEVV: Test, Evaluation, Verification and Validation; systematischer Nachweis, dass Anforderungen und Einsatzzweck erfüllt werden.
- 8D: Acht-Disziplinen-Problemlösungsmethode; D1 bis D8 strukturieren Team, Problem, Ursache, Maßnahmen und Abschluss.
- Prompt: Arbeitsanweisung oder Eingabe für ein KI-System; sie beschreibt Aufgabe, Regeln, Kontext und erwartetes Ergebnis.
Deep Dive
TEVV steht für Test, Evaluation, Verification and Validation – auf Deutsch Test, Bewertung, Verifikation und Validierung. Diese Begriffe werden in der Praxis häufig vermischt. Für ein belastbares Qualitätssystem ist die Trennung jedoch wichtig: Testen erzeugt Beobachtungen unter definierten Bedingungen. Evaluation bewertet diese Ergebnisse anhand festgelegter Kriterien. Verifikation prüft, ob spezifizierte Anforderungen umgesetzt wurden. Validierung untersucht, ob das System im vorgesehenen Nutzungskontext tatsächlich seinen Zweck erfüllt.
Das TEVV-Athlon-Framework organisiert die Bewertung in vier Stufen: Articulate & Organize, Define & Construct, Apply & Measure sowie Synthesize & Interrogate. Vereinfacht übersetzt bedeutet das: Ziele und Systemgrenze festlegen, Messkonzept und Prüfereignisse konstruieren, Prüfungen durchführen und Ergebnisse anschließend im Zusammenhang interpretieren. Gerade der letzte Schritt ist entscheidend. Ein einzelner Mittelwert oder eine globale Trefferquote kann lokale Risiken verdecken, etwa seltene Fehlentscheidungen mit hoher Auswirkung.
Für das Qualitätsmanagement ergibt sich daraus ein direkter Transfer auf die Prüfplanung. Vor dem Test muss geklärt werden, welche Qualitätsmerkmale relevant sind, wer betroffen ist, welche Fehlerszenarien akzeptabel sind und welche Nachweise für eine Freigabe ausreichen. Ein KI-System zur Klassifikation von Reklamationen benötigt beispielsweise andere Akzeptanzkriterien als ein System, das Prüfanweisungen freigibt oder automatisch Prozessparameter verändert. Die technische Modellgüte ist nur ein Teil der Gesamtbewertung.
Die Verbindung zur FMEA ist besonders naheliegend. Eine System- oder Prozess-FMEA kann Fehlermöglichkeiten wie falsche Klassifikation, unvollständige Quellenbasis, unzulässige Werkzeugnutzung, verzögerte Eskalation oder nicht erkannte Datenverschiebung identifizieren. Aus diesen Fehlermöglichkeiten werden anschließend konkrete TEVV-Prüfereignisse abgeleitet. Damit entsteht eine geschlossene Kette: Risikoidentifikation, Prüfanforderung, Testergebnis, Bewertung und Freigabeentscheidung. Maßnahmen aus der FMEA werden nicht nur dokumentiert, sondern auf Wirksamkeit geprüft.
Auch für Audits bietet der Ansatz Mehrwert. Auditierbar wird nicht die Behauptung, dass eine KI „gut funktioniert“, sondern die nachvollziehbare Evidenzkette: Anforderung, Testfall, Datensatz, Version des Modells und des Agenten-Systems, Ergebnis, Abweichung, Bewertung und Entscheidung. Das ist mit klassischer Prüfmittel- und Softwarevalidierung vergleichbar, erweitert diese aber um stochastische Ergebnisse, dynamische Daten und kontextabhängiges Verhalten.
Zusätzlich sollte vor der Freigabe ein qualifizierter Referenzstand (Baseline) festgelegt werden. Jede spätere Änderung an Modell, Prompt, Wissensbasis, Werkzeug oder Schnittstelle wird gegen diese Referenz geprüft. So verbindet TEVV die Erstvalidierung mit geregelter Änderungslenkung (Change Control) und regelmäßiger Revalidierung im Betrieb.
Zwei praktische Anwendungen sind besonders naheliegend. Erstens kann TEVV-Athlon als Gerüst für die Freigabe eines KI-Assistenten im 8D-Prozess (Acht-Disziplinen-Problemlösungsmethode) dienen. Testfälle müssten dann nicht nur sprachliche Qualität, sondern auch Quellenbindung, korrekte Eskalation, Umgang mit fehlenden Fakten und die Trennung von Ursache und Vermutung abdecken. Zweitens lässt sich ein KI-System zur visuellen Fehlererkennung über definierte Fehlerklassen, Grenzmuster, Beleuchtungsvarianten, unbekannte Teile und Drift-Szenarien bewerten. Neben Sensitivität und Spezifität wären dabei auch Wiederholbarkeit, Fehlalarmkosten und Reaktionspläne zu prüfen.
Grenzen und Risiken
Erstens ist TEVV-Athlon ein Entwurf. Begriffe, Beispiele und Anforderungen können sich nach der Kommentierung noch verändern. Unternehmen sollten den Ansatz deshalb als methodische Orientierung und nicht als Zertifizierungsanforderung behandeln.
Zweitens garantiert ein strukturiertes Framework keine gute Prüfung. Die Qualität hängt weiterhin von repräsentativen Daten, geeigneten Messgrößen und realistischen Fehlerszenarien ab. Ein formal vollständiger Prüfplan kann falsche Sicherheit erzeugen, wenn kritische Randbedingungen fehlen.
Drittens besteht die Gefahr einer Kennzahlenverengung. Wird nur auf leicht messbare Modellmetriken optimiert, können Prozessrisiken, Nutzerverhalten und Folgewirkungen unberücksichtigt bleiben. Gerade bei agentischen Systemen müssen deshalb auch Werkzeuge, Berechtigungen, Abbruchbedingungen und externe Systeme Teil der Prüfung sein.
Viertens kann der Aufwand erheblich sein. Für risikoarme Assistenzfunktionen wäre eine maximal umfangreiche Validierung unwirtschaftlich. Erforderlich ist eine risikobasierte Skalierung der Prüftiefe.
FQI Fazit
TEVV-Athlon liefert dem Qualitätsmanagement keine fertige Checkliste, aber eine belastbare Denkstruktur. Die entscheidende Verschiebung lautet: Nicht das isolierte Modell wird freigegeben, sondern ein KI-gestütztes Arbeitssystem in einem definierten Anwendungskontext. FMEA, Prüfplanung, Audit und Freigabe können damit zu einer konsistenten Evidenzkette verbunden werden. Für Unternehmen, die KI aus dem Pilotstatus in qualitätsrelevante Prozesse überführen wollen, ist genau diese Systemperspektive erforderlich.
Quellen & Transparenz
- National Institute of Standards and Technology: The TEVV-Athlon Framework for Evaluating AI Systems, Ankündigung vom 7. August 2026.
- Evidenzstatus: offizieller öffentlicher Entwurf; noch kein finaler Standard und keine Zertifizierungsgrundlage.
- FQI-Transfer: Die Verknüpfung mit FMEA, Prüfplanung, Audit und Freigabe ist eine fachliche Ableitung von FQI, nicht eine ausdrückliche Vorgabe des NIST-Dokuments.
- Dieser Beitrag wurde KI-gestützt recherchiert und redaktionell erstellt. Quellen und fachliche Transfers wurden durch KI vorgeprüft. Die menschliche Fach- und Quellenfreigabe wurde am 9. August 2026 dokumentiert; der Beitrag ist zur Veröffentlichung freigegeben.
- Freigabestatus: Begriffserklärungen und Glossar wurden am 17. August 2026 erneut menschlich geprüft und zur Veröffentlichung freigegeben. Freigabe: Johann Fischer.