Adapt prompt probe schema to Gemini subset with full local validation
This commit is contained in:
1 parent
7c168182c1
commit
2eaba70083
4 files changed
+99
-18
No files matched your search
@@ -4,30 +4,53 @@
|
||||
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run
|
||||
```
|
||||
|
||||
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist
|
||||
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist
|
||||
service-data/benchmarks/compact-investigation-20261017/request.json.
|
||||
Standardoutput ist result.json im selben Ordner. Ein vorhandenes Ergebnis
|
||||
verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung
|
||||
verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung
|
||||
--output mit einem neuen Dateinamen verwenden.
|
||||
|
||||
Genau ein nativer Gemini-Aufruf, keine Wiederholung, kein Failover, kein
|
||||
expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche.
|
||||
expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche.
|
||||
Das vorhandene Gateway-Konfigurationsprofil bestimmt Modell, Denkstufe,
|
||||
Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
|
||||
Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
|
||||
|
||||
Instruktionen und Kontext werden als System-/User-Nachricht übertragen;
|
||||
das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt.
|
||||
Instruktionen und Kontext werden als System-/User-Nachricht übertragen;
|
||||
das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt.
|
||||
Erfasst werden Eingabe-, Kandidaten-, Denk-, Cache- und Gesamttokens sowie
|
||||
Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten
|
||||
Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
|
||||
Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten
|
||||
Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
|
||||
|
||||
Der vorbereitete Prompt umfasst 8.396 Nachrichtenzeichen plus 2.486 Zeichen
|
||||
minifiziertes Ausgabeschema, zusammen 10.882. Das sind etwa 29 mal 375 Zeichen
|
||||
(des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt
|
||||
nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
|
||||
(des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt
|
||||
nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
|
||||
|
||||
Testgrundlage ist der erste H1-Kontext von Bug 20 vor jeder Investigation-
|
||||
Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten.
|
||||
Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten.
|
||||
Messartefakte und Provenienz liegen im Benchmarkordner, nicht in der produktiven
|
||||
Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die
|
||||
Qualität oder Gesamtkosten einer vollständigen Untersuchung.
|
||||
Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die
|
||||
Qualität oder Gesamtkosten einer vollständigen Untersuchung.
|
||||
|
||||
## Korrektur nach HTTP 400
|
||||
|
||||
Der erste kompakte Aufruf wurde mit HTTP 400 abgelehnt. Kein Tokenzähler wurde
|
||||
zurückgegeben. Ein genauer Anbieterfehlertext wurde vom Transport nicht erhalten;
|
||||
die exakte serverseitige Ursache bleibt daher unbestätigt. Im Schema fanden sich
|
||||
const-only Diskriminatoren ohne type. Diese sind für den nativen Gemini-Subset
|
||||
ungeeignet. Die Messhilfe übersetzt string-const in type:string plus enum,
|
||||
oneOf in anyOf und primitive Typvereinigungen in anyOf. Nicht unterstützte
|
||||
Längen-/Pattern-/Unique-Regeln werden ausschließlich lokal geprüft. Nicht
|
||||
abgebildete komplexe Referenz-/Bedingungsschemata werden lokal abgelehnt.
|
||||
Originalprompt und vollständiger lokaler Validierungsvertrag bleiben gleich.
|
||||
Gemini-Referenz: https://ai.google.dev/api/generate-content#v1beta.GenerationConfig
|
||||
|
||||
Der bestehende fehlgeschlagene result.json bleibt erhalten. Neuer Versuch:
|
||||
|
||||
```powershell
|
||||
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run --output service-data/benchmarks/compact-investigation-20261017/result-schemafix-1.json
|
||||
```
|
||||
|
||||
Ausgangskostenstand laut Nutzer jetzt 8,30 EUR. Der vorherige Anstieg um 0,01 EUR
|
||||
ist als nachträglich sichtbare Kontodifferenz dokumentiert, nicht als exakter
|
||||
Einzelaufruf-Abrechnungsbeleg. Die Korrektur wurde nur offline geprüft.
|
||||
Reference in new issue
Block a user