Wenn der Beweis die falsche Spezifikation bestätigt

Kurzfazit

Ein formal verifiziertes Programm erfüllt die Regeln, die ihm gegeben wurden. Es beweist aber nicht automatisch, dass diese Regeln das reale Sicherheits- und Funktionsziel vollständig beschreiben. Der Preprint zu MAGS zeigt diese Trennlinie deutlich: Alle 220 erzeugten Programme bestanden die maschinenprüfbare Verifikation gegen eingefrorene Spezifikationen. Unabhängige Prüfungen fanden dennoch Sicherheitslücken und funktionslose Lösungen, wenn die formulierte Semantik relevante Wirkungen nicht erfasste. Für FQI folgt daraus: Auch die Spezifikation selbst braucht ein qualifiziertes, möglichst unabhängiges Prüfverfahren.

FQI Takeaway

• Beweis und Zweck trennen: Formale Verifikation bestätigt Spezifikationstreue, nicht automatisch Sicherheit, Gebrauchstauglichkeit oder fachliche Richtigkeit.
• Die Spezifikation wie ein Prüfmittel qualifizieren: Sichere, unsichere und funktionale Gegenproben müssen zeigen, welche relevanten Fehler die Regeln erkennen.
• Zwei Abnahmen vorsehen: Das ausführbare Ergebnis wird sowohl gegen die eingefrorene Regelbasis als auch gegen eine unabhängige Ergebnisreferenz geprüft.

Das Prinzip auf einen Blick

MAGS ist ein Mehragenten-Verfahren für erzeugte Programme. Es beschreibt Schnittstellen und Sicherheitsanforderungen in Dafny, einer Sprache für Programme und maschinenprüfbare Beweise. Agenten übersetzen Code, ergänzen Beweisschritte und reparieren Verstöße anhand des Verifiers. Ein Verifier ist ein Prüfprogramm, das mathematisch kontrolliert, ob die formulierten Bedingungen gelten. Erfolgreiche Programme werden zurück in ausführbaren Code übersetzt.

Begriffe kurz erklärt

• Formale Verifikation: Mathematisch gestützte Prüfung, ob ein Programm eine ausdrücklich formulierte Spezifikation für alle modellierten Eingaben erfüllt.
• Spezifikation: Prüffähige Beschreibung erlaubter Zustände, Schnittstellen und Sicherheitsregeln.
• Semantik: Hier das formale Modell dafür, welche Wirkung ein Programmschritt auf den abstrakten Zustand hat.
• Oracle: Eine vom Verifier getrennte Referenzprüfung für Sicherheit oder Funktion.
• Vakuose Lösung: Formal sichere Lösung, die das Risiko vermeidet, indem sie die gewünschte Aufgabe kaum oder gar nicht ausführt.

Deep Dive

Die Studie testet 100 CUDA-Kernel für Grafikprozessoren, 100 Terminalprogramme und 20 Aufgaben für einen Roboterarm. Vor der Programmprüfung erzeugt MAGS wiederverwendbare Domänensemantik. Menschen prüfen zufällig 20 Prozent dieser Spezifikationen. Zusätzlich muss jede Bibliothek drei unabhängig erzeugte sichere Proben akzeptieren und drei unsichere ablehnen. Danach wird die Semantik eingefroren, damit spätere Agenten einen schwierigen Beweis nicht durch weichere Regeln vereinfachen können.

Gegen diese Regeln erzeugt MAGS für alle 220 Aufgaben ein von Dafny bestätigtes Programm. Die davon getrennte Sicherheitsprüfung bestätigt 100 von 100 CUDA-Programmen, 82 von 100 Terminalprogrammen und 20 von 20 Roboteraufgaben. Die 18 Terminalfehler betreffen vor allem privilegierte Zugriffe und Nebenläufigkeit, deren Sicherheitswirkung im formalen Modell nicht vollständig erfasst war. Das Prüfzeugnis war also regelkonform, aber die Regelabdeckung war unvollständig.

Auch die Funktion wird separat geprüft. Je Aufgabe entstehen zehn zurückgehaltene Tests für sichere Eingaben. CUDA und Terminal erreichen jeweils 100 von 100 funktional erhaltene Ergebnisse. Bei Robotik liegt die erste Fassung bei 0 von 20: Reparaturagenten vermeiden schwer beweisbare Aktionen und erzeugen dadurch sichere, aber praktisch nutzlose Programme. Leichte Erfolgskriterien erhöhen das Ergebnis auf 11 von 20; sie sind ausdrücklich kein Teil des formalen Sicherheitszertifikats.

Für Qualitätsmanagement ergibt sich eine Vier-Tore-Prüfung. Erstens werden Sicherheitsziel, Funktionsziel und unzulässige Zustände fachlich festgelegt. Zweitens wird die Spezifikation mit positiven, negativen und funktionalen Gegenproben qualifiziert. Drittens wird die geprüfte Regelbasis versioniert und eingefroren. Viertens folgen formale Verifikation und unabhängige Prüfungen des übersetzten, ausführbaren Ergebnisses. Änderungen an Schnittstellen, Annahmen oder Erfolgskriterien öffnen die betroffenen Tore erneut.

Das National Institute of Standards and Technology (NIST), die US-Behörde für Messwesen und Standards, fordert dazu passend Konstruktvalidität, einsatznahe Prüfbedingungen, dokumentierte Grenzen und die Bewertung der Wirksamkeit von Test- und Validierungsprozessen. Das stützt die Prüflogik organisatorisch, belegt aber nicht ihre Wirksamkeit in einem konkreten Betrieb.

Grenzen und Risiken

MAGS ist ein nicht begutachteter Preprint mit kuratierten Aufgaben. Die unabhängigen Oracles und Tests sind ebenfalls entworfene Messsysteme und keine vollständige reale Abnahme. Funktionserhalt bedeutet hier Übereinstimmung auf zehn zurückgehaltenen Tests, nicht formale Gleichwertigkeit. Der Aufwand ist hoch: Im Mittel berichtet die Studie je nach Domäne etwa 36 bis 68 Minuten und 8,60 bis 10,17 US-Dollar pro Beispiel. Die Quoten gelten weder allgemein für andere Sprachen und Anlagen noch für unbekannte Sicherheitsziele.

FQI Fazit

Formale Verifikation ist stark, weil sie die Frage „Erfüllt das System diese Regeln?“ präzise beantworten kann. Qualitätsverantwortliche müssen davor und danach zwei andere Fragen absichern: Sind es die richtigen Regeln, und erfüllt das ausführbare Ergebnis den wirklichen Zweck? Eine belastbare Freigabe verbindet deshalb Spezifikationsprüfung, eingefrorene Anforderungen, maschinellen Beweis und unabhängige Ergebnisvalidierung. Eine perfekte Verifikationsquote ist damit kein Endpunkt, sondern ein Glied in einer nachvollziehbaren Beweiskette.

Quellen & Transparenz

• Wu et al.: MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs, arXiv:2609.19391v1, insbesondere Abschnitte 3 und 4.
• National Institute of Standards and Technology: AI Risk Management Framework Core, insbesondere MAP 2.3 sowie MEASURE 2.3–2.6 und 2.13.

Redaktioneller Hinweis: Aufgaben, Quoten, Ablauf und Aufwand sind berichtete Quellenbefunde. Die Vier-Tore-Prüfung und der Transfer auf Prüfmittelqualifizierung und Freigabeprozesse sind FQI-Einordnung. Unterstützt durch Künstliche Intelligenz (KI) erstellt und gegen die angegebenen Quellen geprüft.