Add single-call measurement for prepared investigation prompts
This commit is contained in:
1 parent
3989a07e05
commit
7c168182c1
4 files changed
+140
-2
No files matched your search
@@ -0,0 +1,33 @@
|
||||
# Einzelmessung des kompakten Investigation-Prompts
|
||||
|
||||
```powershell
|
||||
.\.venv\Scripts\python.exe -m viano_bug_analysis.prompt_probe --run
|
||||
```
|
||||
|
||||
Ohne --run erfolgt nur eine lokale Prüfung. Standardinput ist
|
||||
service-data/benchmarks/compact-investigation-20261017/request.json.
|
||||
Standardoutput ist result.json im selben Ordner. Ein vorhandenes Ergebnis
|
||||
verhindert unbeabsichtigte Wiederholungen; für eine bewusst neue Messung
|
||||
--output mit einem neuen Dateinamen verwenden.
|
||||
|
||||
Genau ein nativer Gemini-Aufruf, keine Wiederholung, kein Failover, kein
|
||||
expliziter Cache und keinerlei Ausführung der vorgeschlagenen Recherche.
|
||||
Das vorhandene Gateway-Konfigurationsprofil bestimmt Modell, Denkstufe,
|
||||
Ausgabelimit und Timeout. Produktionsprompts bleiben unverändert.
|
||||
|
||||
Instruktionen und Kontext werden als System-/User-Nachricht übertragen;
|
||||
das Ausgabeschema wird ausschließlich im nativen generationConfig gesetzt.
|
||||
Erfasst werden Eingabe-, Kandidaten-, Denk-, Cache- und Gesamttokens sowie
|
||||
Laufzeit, Modellversion, JSON-Schemavalidität und der Hash der vorbereiteten
|
||||
Anfrage. Eine passende JSON-Struktur allein beweist keine fachliche Qualität.
|
||||
|
||||
Der vorbereitete Prompt umfasst 8.396 Nachrichtenzeichen plus 2.486 Zeichen
|
||||
minifiziertes Ausgabeschema, zusammen 10.882. Das sind etwa 29 mal 375 Zeichen
|
||||
(des englischen Minimaltests). Formatierung der lesbaren PROMPT.txt zählt
|
||||
nicht als zusätzlicher API-Input. Keine Tokenschätzung ersetzt die API-Messung.
|
||||
|
||||
Testgrundlage ist der erste H1-Kontext von Bug 20 vor jeder Investigation-
|
||||
Recherche; die Vorbereitung enthält keine später festgestellten Spawndaten.
|
||||
Messartefakte und Provenienz liegen im Benchmarkordner, nicht in der produktiven
|
||||
Fallakte. Ein Einzeltest untersucht Schrittwahl und Kontextgröße, nicht die
|
||||
Qualität oder Gesamtkosten einer vollständigen Untersuchung.
|
||||
Reference in new issue
Block a user