Agentenpfade als Frühwarnsystem: Ausführungsspuren statt Einzelantworten

Kurzfazit

Für Künstliche Intelligenz (KI) in Agentensystemen reicht es nicht, nur die letzte Antwort zu prüfen. Entscheidend ist auch, welchen Weg das System über Werkzeuge, Daten und Zwischenschritte genommen hat. Eine neue Studie verdichtet solche Ausführungsspuren zu kleinen endlichen Zustandsautomaten und nutzt deren Struktur zur Vorhersage von nächsten Schritten und Fehlschlägen. Für das Qualitätsmanagement entsteht daraus ein konkreter Prüfgedanke: Der Agentenlauf wird wie ein Prozess überwacht, mit bekannten Pfaden, auffälligen Schleifen und definierten Eskalationsregeln.

FQI Takeaway

• Der Ausführungspfad ist ein Qualitätsmerkmal: Gleiche Endergebnisse können aus unterschiedlich beherrschten Abläufen entstehen.
• Abweichungen müssen früh sichtbar werden: Wiederholungsschleifen, seltene Übergänge und ausgelassene Prüfschritte eignen sich als Warnsignale.
• Ein Monitor braucht einen eigenen Nachweis: Schwellen, Fehlalarme, übersehene Fehler und Gültigkeitsgrenzen müssen getrennt validiert werden.

Das Prinzip auf einen Blick

Die Studie übersetzt jeden Agentenschritt in eine begrenzte Aktivität, etwa Suchen, Bearbeiten, Ausführen oder Übermitteln. Aus vielen beobachteten Folgen entsteht eine Finite State Machine (FSM; endlicher Zustandsautomat). Sie beschreibt, welche Aktivitäten typischerweise aufeinander folgen. Das Modell bewertet nicht den Wahrheitsgehalt einer Antwort. Es macht die Struktur des Arbeitsablaufs sichtbar.

Dieser Blick ähnelt einer Prozessanalyse: Ein erfolgreicher Lauf folgt häufig wenigen stabilen Pfaden, während fehlgeschlagene Läufe mehr Zustände, Schleifen oder überraschende Übergänge enthalten. Ein Laufzeitmonitor kann deshalb warnen, bevor der Agent seinen gesamten Auftrag beendet hat.

Begriffe kurz erklärt

• LLM: Large Language Model; großes Sprachmodell, das Text verarbeitet und erzeugt.
• FSM: kompaktes Zustandsmodell mit zulässigen oder beobachteten Übergängen zwischen Aktivitäten.
• Ausführungsspur: chronologische Folge von Nachrichten, Werkzeugaufrufen und Systemaktionen eines Agentenlaufs.
• AUROC: Fläche unter der ROC-Kurve; Kennzahl dafür, wie gut ein Modell erfolgreiche und fehlgeschlagene Fälle über alle Schwellen hinweg trennt.
• KI: Künstliche Intelligenz; Systeme, die aus Daten Muster ableiten oder Aufgaben automatisiert unterstützen.
• Schattenbetrieb: Testbetrieb, in dem ein Monitor mitläuft, aber noch keine automatischen Entscheidungen auslöst.
• FMEA: Fehlermöglichkeits- und Einflussanalyse; Methode zur vorbeugenden Bewertung von Risiken.
• NIST: National Institute of Standards and Technology; US-Institut für Standards und Technologie.

Deep Dive

Die Autoren untersuchen zwölf öffentliche Datensätze aus acht Agentendomänen. Die erzeugten Zustandsmodelle besitzen nur 7 bis 43 Zustände und erreichen auf zurückgehaltenen Daten mindestens 0,997 Replay-Fitness. Diese Kennzahl zeigt, wie vollständig das Modell beobachtete Aktivitätsfolgen wiedergeben kann; sie ist noch kein Qualitäts- oder Sicherheitsnachweis.

Für neun Datensätze mit Ergebniskennzeichnung werden aus den Zuständen zusätzliche Merkmale gebildet: Besuchshäufigkeit, Nachrichtenlänge, Fehlerrate, zeitlicher Verlauf und Überraschung seltener Übergänge. Ein Gradient-Boosting-Klassifikator erreicht je nach Datensatz eine zurückgehaltene AUROC von bis zu 0,941. Beim SWE-Agent-Datensatz liefern Merkmale nach der Hälfte des Laufs bereits 92 Prozent der Trennleistung des vollständigen Laufs. Ein einfacher Online-Monitor löst dort im Mittel nach 32 Prozent des Laufs aus. Die Studie weist zugleich auf die hohe Fehlerrate dieses Datensatzes hin; ein pauschales Warnsystem hätte deshalb bereits einen hohen F1-Wert. Die operative Schwelle darf nicht aus einer einzelnen Spitzenkennzahl abgeleitet werden.

Für einen Qualitätsprozess beginnt die Übertragung mit einem klar begrenzten Agenten-Use-Case. Erlaubte Werkzeuge, erwartete Aktivitäten, notwendige Prüfschritte, zulässige Endzustände und Abbruchbedingungen werden versioniert. Historische Läufe erhalten fachlich bestätigte Ergebnislabels. Training, Schwellenwahl und unabhängige Prüfung verwenden getrennte Daten. Erst danach darf ein Monitor im Schattenbetrieb, einem Testbetrieb ohne automatische Entscheidungen, zeigen, ob er Fehler rechtzeitig erkennt, ohne den Betrieb mit Fehlalarmen zu überlasten.

Geeignete Kennzahlen sind nicht nur AUROC und Replay-Fitness. Relevant sind auch übersehene Fehler, Fehlalarme pro Lauf, Zeit bis zur Warnung, korrekt erkannte ausgelassene Prüfschritte und die Leistung nach Änderungen an Modell, Werkzeugen oder Systemanweisung. Eine FMEA (Fehlermöglichkeits- und Einflussanalyse) kann ergänzen, welche Pfadabweichungen nur ineffizient und welche freigabekritisch sind. Der Monitor erzeugt dann eine gestufte Reaktion: protokollieren, zusätzliche Prüfung anfordern, an einen Menschen eskalieren oder einen Lauf kontrolliert stoppen.

Grenzen und Risiken

Die Arbeit ist ein Preprint und keine industrielle Feldstudie. Die Zuordnung roher Nachrichten zu Aktivitäten benötigt etwas Domänenwissen. Der Zustandsautomat beschreibt direkt beobachtete Übergänge, nicht die vollständige innere Entscheidungslogik. Manipulierte Folgen mit ähnlichen Übergangsmustern können unauffällig bleiben. Die Autoren messen den Transfer zwischen Modellen nur auf drei Suiten; dabei sinkt die mittlere AUROC von 0,877 innerhalb desselben Modells auf 0,786 zwischen Modellen. Größere Aktionsräume können das kompakte Modell ebenfalls auflösen. Jede Änderung an Werkzeugen, Aufgabenmix oder Systemanweisung kann daher eine neue Validierung erfordern.

FQI Fazit

Die Studie liefert keinen fertigen Sicherheitswächter, aber einen belastbaren neuen Prüfgegenstand: den Ablauf eines KI-Agenten. Für FQI ist das wertvoll, weil sich Ausführungsspuren wie Prozessdaten behandeln lassen. Ein Zustandsmodell kann typische Pfade, Schleifen und frühe Abweichungen sichtbar machen. Es ersetzt weder Inhaltsprüfung noch menschliche Freigabe. Richtig eingesetzt ergänzt es beides um eine laufende Prozesskontrolle mit versionierten Schwellen, unabhängiger Wirksamkeitsprüfung und klarer Reaktion.

Quellen & Transparenz

• Cho et al.: Automata from Agent Traces: Failure and Next-Step Prediction, arXiv:2608.23670v1, eingereicht am 24. August 2026.
• National Institute of Standards and Technology (NIST): Artificial Intelligence Risk Management Framework 1.0, NIST AI 100-1. Die Übertragung auf FMEA, Audit, Änderungslenkung und gestufte Reaktionspläne ist eine FQI-Einordnung.
• Evidenzstatus: umfangreich evaluierter Preprint mit öffentlichen Agenten-Trace-Datensätzen, aber ohne industrielle Feldvalidierung. Dieser Entwurf wurde KI-gestützt erstellt; menschliche Fach- und Quellenfreigabe liegen noch nicht vor.