Kurzfazit
Eine künstliche Intelligenz (KI) kann eine vorhandene Zahl korrekt abschreiben und trotzdem eine falsche Aussage erzeugen. Der Wert gehört vielleicht zu einem anderen Werk, Zeitraum oder Merkmal. Ein aktueller Technikbericht des Cloudanbieters Amazon Web Services beschreibt dafür eine gestufte Prüfung in NarrateAI, einem internen Berichtsassistenten.
Ergänzende Forschung zu Tabellen und Texten zeigt, warum auch Rechenweg und Größenordnung dazugehören. Für FQI entsteht daraus ein begrenzter Prüfablauf: Jede entscheidungsrelevante Kennzahl erhält einen nachvollziehbaren Bezugsrahmen, bevor sie in einen Qualitätsbericht eingeht.
FQI Takeaway
- Zahl und Zuordnung zusammen prüfen: Quellenfundstelle, Kennzahl, Einheit, Zeitraum und betroffene Grundgesamtheit bilden eine gemeinsame Prüfeinheit.
- Übernahme und Berechnung unterscheiden: Kopierte Werte benötigen einen Quellvergleich; berechnete Werte zusätzlich belegte Eingaben und einen nachvollziehbaren Rechenweg.
- Gegenfälle gezielt einbauen: Der Testbestand muss richtige Zahlen mit falschem Bezug ebenso enthalten wie korrekte Umrechnungen und gültige neue Ergebnisse.
Das Prinzip auf einen Blick
NarrateAI trennt im beschriebenen Verfahren Zahlen ohne Quellenbeleg von vorhandenen Zahlen mit falschem Kontext. Zunächst werden Werte abgeglichen, anschließend ihre textlichen Zusammenhänge geprüft. Unklare Fälle erreichen eine aufwendigere semantische Prüfung, die die Bedeutung untersucht. Das ist eine technische Anbieterbeschreibung, kein unabhängiger Nachweis allgemeiner Zuverlässigkeit.
Die begutachtete Studie TAT-QA von 2021 untersucht Fragen zu zusammengehörigen Tabellen und Texten aus Finanzberichten. Sie dokumentiert Antwortquellen, Rechenwege und Größenordnungen. Ihre Fehleranalyse unterscheidet unter anderem falsche oder fehlende Belege, Rechenfehler und falsche Skalierung.
Damit stützt sie unabhängig vom aktuellen Anbieterbeitrag die methodische Trennung dieser Fehlerarten. Sie validiert weder NarrateAI noch einen industriellen Qualitätsprozess.
Deep Dive
Der folgende Ablauf ist eine FQI-Ableitung für einen betrieblichen Pilot. Als vereinfachtes Beispiel dient ein Assistent, der den monatlichen Qualitätsbericht aus freigegebenen Fertigungsdaten vorbereitet. In einem Datensatz stehen 20 ausgeschleuste Teile bei 1.000 geprüften Teilen.
Die daraus berechneten zwei Prozent müssen nicht als fertige Zahl in der Quelle vorkommen. Ein reiner Suchtreffer-Test könnte sie deshalb fälschlich zurückweisen. Umgekehrt wären dieselben zwei Prozent als Reklamationsquote unbelegt, wenn die Daten lediglich internen Ausschuss betreffen.
Zunächst legt das Team fest, welche Aussagen entscheidungsrelevant sind. Für jede dieser Aussagen werden der genaue Quellenstand, die betroffene Produktgruppe, das Werk, der Zeitraum, die Zählregel und die Einheit festgehalten. Bei Anteilen gehören Zähler und Nenner dazu. Fehlende Angaben werden als offene Prüfpunkte sichtbar; der Assistent darf sie nicht aus sprachlicher Plausibilität ergänzen.
Danach wird die Aussageart bestimmt. Ein übernommener Wert wird gegen die konkrete Tabellenzelle oder Textstelle geprüft. Ein abgeleiteter Wert benötigt zusätzlich eine freigegebene Formel, die verwendeten Eingaben und eine reproduzierbare Berechnung.
Umrechnungen und Rundung folgen dokumentierten Regeln. Die fachliche Frage bleibt separat: Sind die ausgewählten Eingaben tatsächlich für die verlangte Aussage geeignet? Richtiges Rechnen mit dem falschen Nenner löst das Problem nicht.
Vor dem ersten Einsatz erstellt eine fachkundige Person passende Gegenfälle. Dazu gehören vertauschte Monate, gleichlautende Kennzahlen verschiedener Werke, falsche Einheiten und ein unbemerkter Wechsel zwischen Teilen und Fehlerereignissen. Daneben stehen korrekte Fälle mit anderer Schreibweise, zulässiger Rundung oder rechnerisch neuem Ergebnis. So misst der Versuch sowohl übersehene Fehler als auch unnötige Sperren richtiger Aussagen.
Der Pilot beginnt im Schattenbetrieb, einem Testbetrieb ohne automatische Entscheidungen: Der Assistent erstellt Vorschläge, während die bisherige Berichtsprüfung verbindlich bleibt. Ausgewertet werden korrekte Zahlenzuordnungen, falsche Freigaben und falsche Zurückweisungen, jeweils getrennt nach Fehlerart. Für kritische Kennzahlen wird eine ungeklärte Zuordnung an die zuständige Person gegeben.
Nach einer Korrektur wird die vollständige Aussage erneut geprüft. Ein Hinweis auf unsichere Herkunft macht einen ungeprüften Wert noch nicht verwendbar.
Grenzen und Risiken
Der Bericht von Amazon Web Services (AWS) stammt vom Anbieter und legt keinen unabhängigen Wirksamkeitsnachweis für den vorgeschlagenen FQI-Pilot vor. Seine Leistungsangaben werden hier nicht übertragen. TAT-QA untersucht einen abgegrenzten Forschungsdatensatz und damalige Modelle; daraus folgt keine heutige betriebliche Fehlerquote.
Auch die Referenzprüfung kann irren. Gleichlautende Werte, unklare Kennzahlendefinitionen und fehlerhafte Ausgangsdaten bleiben Risiken. Der Pilot braucht deshalb fachlich geprüfte Referenzfälle sowie dokumentierte Zuständigkeiten.
Ein korrekter Quellenbezug bestätigt nur die Ableitung aus dieser Quelle, nicht deren sachliche Richtigkeit.
FQI Fazit
Die sinnvolle Prüfeinheit ist die belegte Aussage mit ihrem Bezugsrahmen. Dazu gehören bei berechneten Kennzahlen auch die Eingaben und der Rechenweg. Diese Trennung lässt sich in einem überschaubaren Berichtsprozess prüfen, bevor automatisierte Aussagen Entscheidungen beeinflussen.
Der Nutzen wäre erst dann belegt, wenn das Verfahren falsche Zuordnungen zuverlässig erkennt und korrekte Ableitungen angemessen durchlässt. Bis dahin bleibt es ein kontrollierter Pilot mit menschlicher Berichtsfreigabe und offen ausgewiesenen Grenzen.
Quellen & Transparenz
- Xiong et al.: NarrateAI: production-ready LLM quality assurance on Amazon Bedrock, 25. September 2026; technische Anbieterquelle, vollständig gelesen.
- Zhu et al.: TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in Finance, ACL-IJCNLP 2021; Original-PDF, insbesondere Abschnitte 2 bis 4 und Fehleranalyse.
Quellenbefunde und FQI-Pilot sind ausdrücklich getrennt. Ausschussbeispiel, Prüfablauf und betriebliche Kennzahlen sind redaktionelle Ableitungen. Mit KI-Unterstützung erstellt. Am 26. September 2026 durch Johann Fischer zur Veröffentlichung freigegeben.