Adapt prompt probe schema to Gemini subset with full local validation

This commit is contained in:
Nico committed 2026-10-17 12:55:34 +02:00
1 parent 7c168182c1
commit 2eaba70083
4 files changed
+99 -18

No files matched your search

+36 -13
View File
@@ -4,30 +4,53 @@
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run
```
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist
service-data/benchmarks/compact-investigation-20261017/request.json.
Standardoutput ist result.json im selben Ordner. Ein vorhandenes Ergebnis
verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung
verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung
--output mit einem neuen Dateinamen verwenden.
Genau ein nativer Gemini-Aufruf, keine Wiederholung, kein Failover, kein
expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche.
expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche.
Das vorhandene Gateway-Konfigurationsprofil bestimmt Modell, Denkstufe,
Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
Instruktionen und Kontext werden als System-/User-Nachricht übertragen;
das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt.
Instruktionen und Kontext werden als System-/User-Nachricht übertragen;
das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt.
Erfasst werden Eingabe-, Kandidaten-, Denk-, Cache- und Gesamttokens sowie
Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten
Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten
Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
Der vorbereitete Prompt umfasst 8.396 Nachrichtenzeichen plus 2.486 Zeichen
minifiziertes Ausgabeschema, zusammen 10.882. Das sind etwa 29 mal 375 Zeichen
(des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt
nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
(des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt
nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
Testgrundlage ist der erste H1-Kontext von Bug 20 vor jeder Investigation-
Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten.
Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten.
Messartefakte und Provenienz liegen im Benchmarkordner, nicht in der produktiven
Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die
Qualität oder Gesamtkosten einer vollständigen Untersuchung.
Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die
Qualität oder Gesamtkosten einer vollständigen Untersuchung.
## Korrektur nach HTTP 400
Der erste kompakte Aufruf wurde mit HTTP 400 abgelehnt. Kein Tokenzähler wurde
zurückgegeben. Ein genauer Anbieterfehlertext wurde vom Transport nicht erhalten;
die exakte serverseitige Ursache bleibt daher unbestätigt. Im Schema fanden sich
const-only Diskriminatoren ohne type. Diese sind für den nativen Gemini-Subset
ungeeignet. Die Messhilfe übersetzt string-const in type:string plus enum,
oneOf in anyOf und primitive Typvereinigungen in anyOf. Nicht unterstützte
Längen-/Pattern-/Unique-Regeln werden ausschließlich lokal geprüft. Nicht
abgebildete komplexe Referenz-/Bedingungsschemata werden lokal abgelehnt.
Originalprompt und vollständiger lokaler Validierungsvertrag bleiben gleich.
Gemini-Referenz: https://ai.google.dev/api/generate-content#v1beta.GenerationConfig
Der bestehende fehlgeschlagene result.json bleibt erhalten. Neuer Versuch:
```powershell
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-schemafix-1.json
```
Ausgangskostenstand laut Nutzer jetzt 8,30 EUR. Der vorherige Anstieg um 0,01 EUR
ist als nachträglich sichtbare Kontodifferenz dokumentiert, nicht als exakter
Einzelaufruf-Abrechnungsbeleg. Die Korrektur wurde nur offline geprüft.