Kurzfazit
Künstliche Intelligenz (KI) kann einen Agenten antreiben. Sein Leistungsnachweis darf nicht wie ein allgemeines Gütesiegel gelesen werden. Der nicht begutachtete LEGIT-Preprint schlägt einen signierten digitalen Nachweis vor, der gemessene Qualität und Kosten an eine konkrete Konfiguration, Aufgabendomäne, Prüfmenge, Ressourcenbegrenzung, Evidenz und Gültigkeitsdauer bindet. Für FQI ist vor allem die Grenze wichtig: Eine gültige Signatur bestätigt Herkunft und Unverändertheit des Nachweises, aber nicht automatisch die Richtigkeit der Messung oder die Eignung für den eigenen Einsatz.
FQI Takeaway
- Nur die geprüfte Konfiguration qualifizieren: Modell, technische Steuerungsumgebung, Werkzeuge, Parameter, Aufgabendomäne und Budget bilden gemeinsam den Prüfgegenstand.
- Nachweis und Wahrheit trennen: Signatur und kryptografischer Fingerabdruck sichern Herkunft und Integrität; Messmethode, Referenz und Geltungsbereich brauchen eine eigene fachliche Bewertung.
- Gültigkeit aktiv überwachen: Änderungen, Ablauf, Sperrung oder neue Einsatzbedingungen verlangen eine definierte Requalifikation statt stiller Übernahme alter Scores.
Das Prinzip auf einen Blick
LEGIT beschreibt drei Schichten: eine anfängliche Leistungsprüfung, getrennte Aufzeichnungen späterer Einsatzergebnisse und eine vorgeschlagene Marktplatzauswahl. Der digitale Nachweis, im Paper Credential genannt, enthält die identifizierte Agentenkonfiguration, geprüfte Aufgabenbereiche, Aufgaben- oder Stichprobennachweis, Bewertungsregel, Tokenbudget, Qualität, Kosten pro gelöster Aufgabe, Evidenzverweise, Aussteller, Datum und Ablauf. Reputation aus späteren Einsätzen ist kein Bestandteil dieses statischen Prüfnachweises.
Begriffe kurz erklärt
- KI-Agent: System, das ein Sprachmodell mit Arbeitsablauf, Werkzeugen, Speicher und Ausführungslogik verbindet.
- Agenten-Harness: Technische Steuerungsumgebung für Anweisungen, Planung, Werkzeugaufrufe, Speicher und Abbruchregeln.
- Credential: Strukturierter digitaler Nachweis mit Aussagen eines Ausstellers über einen genau bezeichneten Gegenstand.
- Hash: Kryptografischer Fingerabdruck, der Veränderungen an einem bestimmten Datenstand erkennbar macht.
- Tokenbudget: Begrenzung der vom Agenten verarbeitbaren Textmenge und damit eines Teils seiner Ressourcen.
- W3C: World Wide Web Consortium; Standardisierungsgremium für Webtechnologien.
- NIST: National Institute of Standards and Technology; US-Institut für Standards und Technologie.
Deep Dive
Die Autoren definieren einen Agenten nicht nur über das Modell. Zum geprüften Gegenstand gehören Modellabhängigkeiten, Agenten-Harness, verfügbare Werkzeuge und Parameter. Ein Wechsel der Modellversion, der Werkzeugrechte oder der Kontextverwaltung kann deshalb eine neue Konfiguration erzeugen. Der Nachweis soll zudem trennen, welche Eigenschaften der Prüfer selbst beobachten konnte, welche nur vom Anbieter erklärt wurden und welche bei einem geschlossenen Dienst unbekannt bleiben.
Die Studie vergleicht 18 Konfigurationen mit drei Modellen von zwei Anbietern und ausgewählten Steuerungsvarianten. Die Benchmarkvergleiche verwenden überwiegend 127 gemeinsame Aufgaben unter festgelegten Tokenbudgets; zusätzlich werden Aufgaben aus GAIA und MATH-500 untersucht. Berichtete Größen sind unter anderem gelöste Aufgaben und Kosten pro gelöster Aufgabe. Korrigierte statistische Vergleiche stützen Unterschiede zwischen den geprüften Modellen. Für die Qualitätsunterschiede zwischen den geprüften Harness-Varianten sind sie hingegen nicht schlüssig. Unterschiedliche Kosten innerhalb eines Modells bleiben sichtbar. Die Befunde begründen, warum Qualität, Kosten, Budget und Konfiguration zusammen dokumentiert werden sollten, beweisen aber keinen Nutzen des gesamten Marktplatzsystems.
Für die Lieferantenqualifikation lässt sich daraus ein kontrollierter Prüfplan ableiten. Vor einer Beschaffung definiert das Unternehmen seine Aufgabenpopulation, Mindestqualität, Kosten- und Zeitgrenzen, kritische Fehlertypen, Referenzbewertung und Wiederholungen. Der Anbieter liefert nicht nur einen Gesamtscore, sondern Konfigurationskennung, Teststand, Einzelergebnisse oder prüfbare Evidenz, Messdatum und bekannte Abhängigkeiten. Die Freigabe gilt nur für den dokumentierten Einsatzbereich. Neue Modellversionen oder andere Werkzeugrechte lösen eine Änderungsbewertung aus.
Das World Wide Web Consortium (W3C) trennt bei verifizierbaren Nachweisen ausdrücklich technische Verifikation und fachliche Validierung. Ein gültiger, aktueller Nachweis ist eine authentische Aussage des Ausstellers; daraus folgt nicht, dass seine Behauptung wahr oder für eine bestimmte Nutzung geeignet ist. Der Prüfer bewertet deshalb Aussteller, Beweis, Gegenstand und Aussage nach eigenen Regeln. Das NIST AI Risk Management Framework ergänzt die Notwendigkeit, Messungen und Grenzen im jeweiligen Nutzungskontext zu dokumentieren und zu überwachen.
Grenzen und Risiken
LEGIT ist ein Preprint und kein etablierter Zertifizierungsstandard. Die Versuche betreffen ausgewählte Einmodell-Konfigurationen und zwei Aufgabenbestände; dynamische Modellmischungen, delegierte Agenten und andere Domänen sind nicht untersucht. Die End-to-End-Wirkung der vorgeschlagenen Marktplatzauswahl wurde nicht gegen einfachere Verfahren validiert. Eine Signatur erkennt keine ungenannte Änderung bei einem geschlossenen Anbieter. Auch die Reputation hängt von der Qualität und Manipulationssicherheit gemeldeter Einsatzergebnisse ab. Ohne vertrauenswürdigen Aussteller, geeignete Referenz und klare Requalifikation kann ein technisch gültiger Nachweis falsche Sicherheit schaffen.
FQI Fazit
Ein Agenten-Nachweis ist nützlich, wenn er eine Leistungsbehauptung enger macht, nicht größer. Er sollte zeigen, wer was an welcher Konfiguration, mit welchen Aufgaben, Regeln und Ressourcen gemessen hat und wie lange dieser Befund gelten darf. Die Freigabeentscheidung bleibt beim Anwender: Signatur prüfen, Evidenz bewerten, Einsatzgrenze vergleichen und Änderungen überwachen. So wird aus einem Score ein auditierbarer Qualifikationsnachweis, ohne ihn mit einem universellen Gütesiegel zu verwechseln.
Quellen & Transparenz
- Drew und Zhou: LEGIT: Credentialing Protocol for Trustworthy AI Agent Marketplaces, arXiv:2609.21325v1, eingereicht am 18. September 2026; HTML-Volltext.
- World Wide Web Consortium: Verifiable Credentials Data Model v2.0, W3C Recommendation vom 15. Mai 2025.
- National Institute of Standards and Technology: AI Risk Management Framework Core.
Redaktioneller Hinweis: Aufbau und Versuchsergebnisse von LEGIT stammen aus dem nicht begutachteten Preprint. Die Übertragung auf Lieferantenqualifikation, Änderungslenkung und Freigabe ist FQI-Einordnung. Das Verfahren ist kein anerkannter Konformitätsnachweis. Dieser KI-unterstützt erstellte Text bleibt bis zur ausdrücklichen menschlichen Freigabe ein Draft.