95 lines
5.4 KiB
Markdown
95 lines
5.4 KiB
Markdown
# Einzelmessung des kompakten Investigation-Prompts
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run
|
|
```
|
|
|
|
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist
|
|
service-data/benchmarks/compact-investigation-20261017/request.json.
|
|
Standardoutput ist result.json im selben Ordner. Ein vorhandenes Ergebnis
|
|
verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung
|
|
--output mit einem neuen Dateinamen verwenden.
|
|
|
|
Genau ein nativer Gemini-Aufruf, keine Wiederholung, kein Failover, kein
|
|
expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche.
|
|
Das vorhandene Gateway-Konfigurationsprofil bestimmt Modell, Denkstufe,
|
|
Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
|
|
|
|
Instruktionen und Kontext werden als System-/User-Nachricht übertragen;
|
|
das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt.
|
|
Erfasst werden Eingabe-, Kandidaten-, Denk-, Cache- und Gesamttokens sowie
|
|
Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten
|
|
Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
|
|
|
|
Der vorbereitete Prompt umfasst 8.396 Nachrichtenzeichen plus 2.486 Zeichen
|
|
minifiziertes Ausgabeschema, zusammen 10.882. Das sind etwa 29 mal 375 Zeichen
|
|
(des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt
|
|
nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
|
|
|
|
Testgrundlage ist der erste H1-Kontext von Bug 20 vor jeder Investigation-
|
|
Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten.
|
|
Messartefakte und Provenienz liegen im Benchmarkordner, nicht in der produktiven
|
|
Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die
|
|
Qualität oder Gesamtkosten einer vollständigen Untersuchung.
|
|
|
|
## Korrektur nach HTTP 400
|
|
|
|
Der erste kompakte Aufruf wurde mit HTTP 400 abgelehnt. Kein Tokenzähler wurde
|
|
zurückgegeben. Ein genauer Anbieterfehlertext wurde vom Transport nicht erhalten;
|
|
die exakte serverseitige Ursache bleibt daher unbestätigt. Im Schema fanden sich
|
|
const-only Diskriminatoren ohne type. Diese sind für den nativen Gemini-Subset
|
|
ungeeignet. Die Messhilfe übersetzt string-const in type:string plus enum,
|
|
oneOf in anyOf und primitive Typvereinigungen in anyOf. Nicht unterstützte
|
|
Längen-/Pattern-/Unique-Regeln werden ausschließlich lokal geprüft. Nicht
|
|
abgebildete komplexe Referenz-/Bedingungsschemata werden lokal abgelehnt.
|
|
Originalprompt und vollständiger lokaler Validierungsvertrag bleiben gleich.
|
|
Gemini-Referenz: https://ai.google.dev/api/generate-content#v1beta.GenerationConfig
|
|
|
|
Der bestehende fehlgeschlagene result.json bleibt erhalten. Neuer Versuch:
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-schemafix-1.json
|
|
```
|
|
|
|
Ausgangskostenstand laut Nutzer jetzt 8,30 EUR. Der vorherige Anstieg um 0,01 EUR
|
|
ist als nachträglich sichtbare Kontodifferenz dokumentiert, nicht als exakter
|
|
Einzelaufruf-Abrechnungsbeleg. Die Korrektur wurde nur offline geprüft.
|
|
|
|
## Anbieterdiagnose nach erneutem HTTP 400
|
|
|
|
Auch der erste Schemafix wurde von der API mit 400 abgewiesen. Die Ursache
|
|
ist weiterhin offen. Der Probe-Aufruf liest nun bei HTTP-Fehlern opt-in höchstens
|
|
8 KB des Anbieterfehlers und gibt nur begrenzte Status-/Nachrichten- und
|
|
Feldhinweise aus. API-Schlüssel, URLs und zitierte Werte werden bereinigt;
|
|
Rohkörper werden nicht gespeichert. Der normale Gemini-Produktionspfad behält
|
|
seine bisherigen kontrollierten Fehlercodes und verwirft weiterhin Rohfehler.
|
|
|
|
Eine bereits vorhandene Ergebnisdatei erzeugt PROMPT_PROBE_OUTPUT_EXISTS und
|
|
keinen Netzaufruf. Auch ein fehlgeschlagener API-Versuch wird nicht überschrieben.
|
|
Der nächste bewusst einzelne Diagnoseversuch lautet:
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-diagnostic-1.json
|
|
```
|
|
|
|
Dies ist keine weitere vermutete Schemakorrektur. Die konkrete Fehlermeldung
|
|
muss erst vorliegen, bevor der eigentliche API-Vertrag weiter angepasst wird.
|
|
|
|
## Isolierung ohne natives Antwortschema
|
|
|
|
Google meldete auch mit Diagnosehilfe lediglich INVALID_ARGUMENT ohne Feldhinweis.
|
|
Die genaue Ursache ist damit nicht belegt. Ein neuer expliziter Modus umgeht die
|
|
native Schemaübergabe: --schema-mode prompt setzt nur responseMimeType auf
|
|
application/json und fügt den vollständigen lokalen Vertrag genau einmal in den
|
|
Systemprompt ein. Alle Antwortregeln werden weiterhin lokal geprüft. Fallkontext,
|
|
Aufgabe und Modelleinstellungen bleiben erhalten; der API-Input beträgt in diesem
|
|
Modus 10.925 Nachrichtenzeichen einschließlich Vertrag und Einleitung.
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --schema-mode prompt --run --output service-data/benchmarks/compact-investigation-20261017/result-jsonmode-1.json
|
|
```
|
|
|
|
Dies ist ein isolierender Versuch, keine bestätigte Behebung der HTTP-Ursache.
|
|
Keine automatische Wiederholung und kein automatischer Format-Fallback. Die
|
|
Metadaten kennzeichnen den Transportmodus, damit Messungen vergleichbar bleiben.
|