3.1 KiB
Einzelmessung des kompakten Investigation-Prompts
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist service-data/benchmarks/compact-investigation-20261017/request.json. Standardoutput ist result.json im selben Ordner. Ein vorhandenes Ergebnis verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung --output mit einem neuen Dateinamen verwenden.
Genau ein nativer Gemini-Aufruf, keine Wiederholung, kein Failover, kein expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche. Das vorhandene Gateway-Konfigurationsprofil bestimmt Modell, Denkstufe, Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
Instruktionen und Kontext werden als System-/User-Nachricht übertragen; das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt. Erfasst werden Eingabe-, Kandidaten-, Denk-, Cache- und Gesamttokens sowie Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
Der vorbereitete Prompt umfasst 8.396 Nachrichtenzeichen plus 2.486 Zeichen minifiziertes Ausgabeschema, zusammen 10.882. Das sind etwa 29 mal 375 Zeichen (des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
Testgrundlage ist der erste H1-Kontext von Bug 20 vor jeder Investigation- Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten. Messartefakte und Provenienz liegen im Benchmarkordner, nicht in der produktiven Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die Qualität oder Gesamtkosten einer vollständigen Untersuchung.
Korrektur nach HTTP 400
Der erste kompakte Aufruf wurde mit HTTP 400 abgelehnt. Kein Tokenzähler wurde zurückgegeben. Ein genauer Anbieterfehlertext wurde vom Transport nicht erhalten; die exakte serverseitige Ursache bleibt daher unbestätigt. Im Schema fanden sich const-only Diskriminatoren ohne type. Diese sind für den nativen Gemini-Subset ungeeignet. Die Messhilfe übersetzt string-const in type:string plus enum, oneOf in anyOf und primitive Typvereinigungen in anyOf. Nicht unterstützte Längen-/Pattern-/Unique-Regeln werden ausschließlich lokal geprüft. Nicht abgebildete komplexe Referenz-/Bedingungsschemata werden lokal abgelehnt. Originalprompt und vollständiger lokaler Validierungsvertrag bleiben gleich. Gemini-Referenz: https://ai.google.dev/api/generate-content#v1beta.GenerationConfig
Der bestehende fehlgeschlagene result.json bleibt erhalten. Neuer Versuch:
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-schemafix-1.json
Ausgangskostenstand laut Nutzer jetzt 8,30 EUR. Der vorherige Anstieg um 0,01 EUR ist als nachträglich sichtbare Kontodifferenz dokumentiert, nicht als exakter Einzelaufruf-Abrechnungsbeleg. Die Korrektur wurde nur offline geprüft.