5.4 KiB
Einzelmessung des kompakten Investigation-Prompts
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist service-data/benchmarks/compact-investigation-20261017/request.json. Standardoutput ist result.json im selben Ordner. Ein vorhandenes Ergebnis verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung --output mit einem neuen Dateinamen verwenden.
Genau ein nativer Gemini-Aufruf, keine Wiederholung, kein Failover, kein expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche. Das vorhandene Gateway-Konfigurationsprofil bestimmt Modell, Denkstufe, Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
Instruktionen und Kontext werden als System-/User-Nachricht übertragen; das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt. Erfasst werden Eingabe-, Kandidaten-, Denk-, Cache- und Gesamttokens sowie Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
Der vorbereitete Prompt umfasst 8.396 Nachrichtenzeichen plus 2.486 Zeichen minifiziertes Ausgabeschema, zusammen 10.882. Das sind etwa 29 mal 375 Zeichen (des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
Testgrundlage ist der erste H1-Kontext von Bug 20 vor jeder Investigation- Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten. Messartefakte und Provenienz liegen im Benchmarkordner, nicht in der produktiven Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die Qualität oder Gesamtkosten einer vollständigen Untersuchung.
Korrektur nach HTTP 400
Der erste kompakte Aufruf wurde mit HTTP 400 abgelehnt. Kein Tokenzähler wurde zurückgegeben. Ein genauer Anbieterfehlertext wurde vom Transport nicht erhalten; die exakte serverseitige Ursache bleibt daher unbestätigt. Im Schema fanden sich const-only Diskriminatoren ohne type. Diese sind für den nativen Gemini-Subset ungeeignet. Die Messhilfe übersetzt string-const in type:string plus enum, oneOf in anyOf und primitive Typvereinigungen in anyOf. Nicht unterstützte Längen-/Pattern-/Unique-Regeln werden ausschließlich lokal geprüft. Nicht abgebildete komplexe Referenz-/Bedingungsschemata werden lokal abgelehnt. Originalprompt und vollständiger lokaler Validierungsvertrag bleiben gleich. Gemini-Referenz: https://ai.google.dev/api/generate-content#v1beta.GenerationConfig
Der bestehende fehlgeschlagene result.json bleibt erhalten. Neuer Versuch:
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-schemafix-1.json
Ausgangskostenstand laut Nutzer jetzt 8,30 EUR. Der vorherige Anstieg um 0,01 EUR ist als nachträglich sichtbare Kontodifferenz dokumentiert, nicht als exakter Einzelaufruf-Abrechnungsbeleg. Die Korrektur wurde nur offline geprüft.
Anbieterdiagnose nach erneutem HTTP 400
Auch der erste Schemafix wurde von der API mit 400 abgewiesen. Die Ursache ist weiterhin offen. Der Probe-Aufruf liest nun bei HTTP-Fehlern opt-in höchstens 8 KB des Anbieterfehlers und gibt nur begrenzte Status-/Nachrichten- und Feldhinweise aus. API-Schlüssel, URLs und zitierte Werte werden bereinigt; Rohkörper werden nicht gespeichert. Der normale Gemini-Produktionspfad behält seine bisherigen kontrollierten Fehlercodes und verwirft weiterhin Rohfehler.
Eine bereits vorhandene Ergebnisdatei erzeugt PROMPT_PROBE_OUTPUT_EXISTS und keinen Netzaufruf. Auch ein fehlgeschlagener API-Versuch wird nicht überschrieben. Der nächste bewusst einzelne Diagnoseversuch lautet:
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-diagnostic-1.json
Dies ist keine weitere vermutete Schemakorrektur. Die konkrete Fehlermeldung muss erst vorliegen, bevor der eigentliche API-Vertrag weiter angepasst wird.
Isolierung ohne natives Antwortschema
Google meldete auch mit Diagnosehilfe lediglich INVALID_ARGUMENT ohne Feldhinweis. Die genaue Ursache ist damit nicht belegt. Ein neuer expliziter Modus umgeht die native Schemaübergabe: --schema-mode prompt setzt nur responseMimeType auf application/json und fügt den vollständigen lokalen Vertrag genau einmal in den Systemprompt ein. Alle Antwortregeln werden weiterhin lokal geprüft. Fallkontext, Aufgabe und Modelleinstellungen bleiben erhalten; der API-Input beträgt in diesem Modus 10.925 Nachrichtenzeichen einschließlich Vertrag und Einleitung.
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --schema-mode prompt --run --output service-data/benchmarks/compact-investigation-20261017/result-jsonmode-1.json
Dies ist ein isolierender Versuch, keine bestätigte Behebung der HTTP-Ursache. Keine automatische Wiederholung und kein automatischer Format-Fallback. Die Metadaten kennzeichnen den Transportmodus, damit Messungen vergleichbar bleiben.