Gleiche Stichprobe, andere Systemkosten

Kurzfazit

Acht erzeugte Antworten sind nicht immer derselbe Prozess. Eine neue Studie hält die Kandidatenzahl bei acht konstant und verändert nur die Ausführung: alle Antworten in einem Batch oder verteilt auf bis zu acht serielle Aufrufe. Auf A100-Grafikprozessoren benötigen die seriellen Aufrufe 4,64- bis 4,86-mal so viel Brutto-Geräteenergie und erreichen eine 5,77- bis 6,12-mal höhere P95-Latenz. Für FQI ist das ein allgemeines Qualitätsproblem: Eine Ergebniskennzahl ohne freigegebene Prozessrezeptur kann Änderungen verdecken, die Kosten, Durchsatz und Einsatzfähigkeit massiv beeinflussen.

FQI Takeaway

• Die Prozessrezeptur mitfreigeben: Kandidatenzahl, Batchgröße, Zahl der Aufrufe, Hardware und Parallelisierung gehören zur kontrollierten Konfiguration.
• Messgrenzen offenlegen: Energie- und Zeitwerte sind nur vergleichbar, wenn Warm-up, Modellladen, Leerlauf, Geräteumfang und Statistik gleich definiert sind.
• Qualität und Systemwirkung gemeinsam prüfen: Höhere Trefferraten tragen erst, wenn Latenz, Energie, Durchsatz und Fehlerrisiko im Nutzungskontext akzeptabel bleiben.

Das Prinzip auf einen Blick

Bei Testzeit-Skalierung erzeugt ein Sprachmodell mehrere Lösungskandidaten und wählt die häufigste Antwort. Häufig beschreibt die Zahl N dieses Budget. Die Studie zeigt, dass N nur die Stückzahl erfasst. Für N = 8 vergleicht sie vier Ablaufpläne: einen Aufruf mit acht Kandidaten, zwei mit je vier, vier mit je zwei und acht mit je einem Kandidaten. Obwohl die logische Stichprobe gleich groß bleibt, verändern wiederholte Aufrufe und Bündelung den realen Prozess.

Begriffe kurz erklärt

• Batch: Gruppe von Kandidaten, die in einem gemeinsamen Modellaufruf verarbeitet werden.
• P95-Latenz: Zeitgrenze, unter der 95 Prozent der gemessenen Anfragen abgeschlossen sind.
• Durchsatz: Zahl verarbeiteter Anfragen pro Zeiteinheit.
• Brutto-GPU-Energie: Energie des Grafikprozessors im Messintervall, ohne Abzug des Leerlaufverbrauchs.
• Messgrenze: Festlegung, welche Komponenten, Prozessphasen und Verbräuche eine Kennzahl ein- oder ausschließt.
• KI: Künstliche Intelligenz; Systeme, die aus Daten Muster ableiten oder Aufgaben automatisiert unterstützen.
• Prompt: Arbeitsanweisung oder Eingabe für ein sprachverarbeitendes System.
• NIST: National Institute of Standards and Technology; US-Institut für Standards und Technologie.

Deep Dive

Zunächst bestätigt die Arbeit den erwarteten Nutzen zusätzlicher Kandidaten. Auf 500 GSM8K-Mathematikaufgaben steigt die Genauigkeit von N = 1 auf N = 8 bei Phi-3-mini um 8,4 Prozentpunkte und bei Qwen2.5-1.5B um 18,4 Punkte. Diese Generierungen dienen nur der Genauigkeitsanalyse; ihnen werden keine einzelnen Energie- oder Latenzwerte für N zugeordnet.

Danach wird N bei acht festgehalten. Die vier Ausführungspläne laufen auf denselben 100 GSM8K-Anfragen in drei Wiederholungen. Beim Übergang von einem gebündelten Aufruf zu acht Einzelaufrufen steigt die Brutto-GPU-Energie auf das 4,64-Fache bei Phi-3 und das 4,86-Fache bei Qwen. Die P95-Latenz steigt auf das 5,77- beziehungsweise 6,12-Fache; der Durchsatz fällt auf 16,7 beziehungsweise 17,9 Prozent der gebündelten Referenz.

Zwei weitere A100-Jobs je Modell bestätigen die Richtung mit engen Verhältnisbereichen. Ein ergänzender Versuch mit 500 kurzen SciQ-Antworten auf V100-Hardware zeigt ebenfalls höhere Energie und Latenz bei mehr Aufrufen, allerdings mit anderen Faktoren. Die Quelle behauptet deshalb nicht, dass eine einzelne Verhältniszahl für alle Systeme gilt.

Wichtig ist die dokumentierte Messgrenze. Gemessen wird die über NVML erfasste Energie des Grafikprozessors vom Beginn der Anfrage bis nach Antwortauswahl und Synchronisierung. Promptverarbeitung, Generierung und Abstimmung sind enthalten. Modellladen, Warm-up, abschließende Bewertung und Zählen für den Bericht sind ausgeschlossen. Leerlaufenergie wird nicht abgezogen; Energie von Rechner, Kühlung oder Netzteilen ist nicht enthalten.

Der FQI-Transfer ist eine Rezepturfreigabe. Eine kontrollierte Konfiguration für Künstliche Intelligenz (KI) nennt nicht nur Modell, Arbeitsanweisung oder Prompt und N. Sie dokumentiert Aufrufstruktur, Batchgröße, Parallelitätsgrad, Hardwareklasse, Präzision, Abbruchregeln und Messgrenze. Ein Änderungsantrag bewertet fachliche Qualität, P95- oder P99-Latenz, Durchsatz und Ressourcenwirkung. Verändert ein Team nur die Ausführungsplanung, ist das keine neutrale Betriebsoptimierung, sondern eine Prozessänderung mit möglicher Revalidierung.

Das National Institute of Standards and Technology (NIST), die US-Behörde für Messwesen und Standards, fordert dazu passend Messungen unter einsatznahen Bedingungen, dokumentierte Generalisierungsgrenzen und eine Bewertung von Umweltauswirkungen. Diese Orientierung setzt keine universellen Energie- oder Latenzgrenzen.

Grenzen und Risiken

Der Preprint ist nicht begutachtet und untersucht zwei Modelle, zwei Aufgabenarten sowie A100- und V100-Hardware mit Batch-Verarbeitung. Größere Modelle, dynamisches oder kontinuierliches Batching, gemeinsam genutzte Hardware, andere Inferenzsysteme und mehrere Grafikprozessoren können andere Ergebnisse liefern. Die Studie isoliert wiederholte Promptverarbeitung, Synchronisierung und Batch-Effekt nicht einzeln. Brutto-GPU-Energie ist außerdem keine vollständige Rechenzentrums- oder Umweltbilanz. Prozentwerte und Faktoren dürfen daher nicht als allgemeine Planungswerte übernommen werden.

FQI Fazit

Die Kandidatenzahl ist eine Ergebniskennzahl, aber keine vollständige Prozessbeschreibung. Wer KI-Prüfung oder Entscheidungsunterstützung freigibt, muss die Ausführung als kontrollierte Rezeptur behandeln. Erst die Verbindung von fachlichem Ergebnis, Ablaufplan, Messgrenze und Systemwirkung macht Vergleiche belastbar. So verhindert Qualitätsmanagement, dass zwei Prozesse auf dem Papier gleich aussehen, obwohl einer in der Praxis ein Vielfaches an Zeit und Energie benötigt.

Quellen & Transparenz

• Kashaniyan und Jannesari: Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling, arXiv:2609.19499v1, insbesondere Abschnitte IV–VII.
• National Institute of Standards and Technology: AI Risk Management Framework Core, insbesondere MEASURE 2.3, 2.5, 2.12 und 2.13.

Redaktioneller Hinweis: Modelle, Aufgaben, Ablaufpläne und Messwerte sind berichtete Quellenbefunde. Die Rezepturfreigabe und der Transfer auf Änderungslenkung und Prozessvalidierung sind FQI-Einordnung. Unterstützt durch Künstliche Intelligenz (KI) erstellt und gegen die angegebenen Quellen geprüft.