47 lines
2.5 KiB
Markdown
47 lines
2.5 KiB
Markdown
# Minimaler Investigation-Prompt: vier Vergleichsanfragen
|
|
|
|
Vorbereitung ohne Netzwerk:
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.minimal_prompt_test
|
|
```
|
|
|
|
Ausführung durch den Nutzer (vier potenziell kostenpflichtige API-Aufrufe):
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.minimal_prompt_test --run
|
|
```
|
|
|
|
Standardkonfiguration: config/llm.working-brief.local.toml. Standardausgabe:
|
|
service-data/benchmarks/minimal-prompts-20261017/plan.json und results.json.
|
|
Der vorbereitete Plan muss unverändert zur Konfiguration passen. Ein vorhandenes
|
|
results.json verhindert eine unbeabsichtigte Wiederholung. Für einen bewusst
|
|
neuen Durchlauf eine neue --output-Angabe verwenden.
|
|
|
|
Vier Varianten: de_plain, de_json, en_plain, en_json. Deutsch 429 Zeichen,
|
|
Englisch 375 Zeichen, inhaltlich gleichwertiger Bug/Hypothese/Arbeitsauftrag.
|
|
Innerhalb einer Sprache ist der Text identisch. Nur JSON-Varianten verwenden
|
|
responseMimeType und das native Schema für step und purpose. Kein Systemprompt,
|
|
kein Investigation-Kontext, keine Werkzeuge, kein Fallpaket, keine Fallakte,
|
|
keine Schemaeinbettung als zusätzliche Nachricht und kein expliziter Cache.
|
|
Der isolierte native Gemini-Aufruf vermeidet die zusätzlichen Hüllen des normalen
|
|
Gateways. Das ist ausschließlich eine Messhilfe; Produktionspfade bleiben gleich.
|
|
|
|
Modell, Denkstufe, Outputlimit und Timeout werden aus derselben Providerkonfiguration
|
|
übernommen. Aktuell: gemini-3.8-flash, medium, 16384 Outputtokens als Obergrenze.
|
|
Das hohe Limit ist keine Aufforderung, es auszuschöpfen. Kurzer Input garantiert
|
|
keine kurze Denkphase. Keine automatischen Wiederholungen und kein Failover;
|
|
anderenfalls wäre die Zahl und Vergleichbarkeit der vier Aufrufe unklar.
|
|
|
|
Erfasst werden tatsächliche Modellversion, Antwort, Abschlussgrund, Laufzeit,
|
|
Inputtokens, sichtbare Kandidatentokens, Denktokens, Cachetokens und Gesamttokens.
|
|
Fehlende API-Zähler bleiben null; Denk- und Ausgabetokens werden getrennt berichtet,
|
|
nicht doppelt addiert. Implizites Caching bleibt anbieterseitig möglich und wird
|
|
anhand der Antwortmetriken sichtbar. Ein Einzelwert je Variante ist eine
|
|
Untergrenzen-Stichprobe, kein stabiler Leistungs- oder Sprachvergleich.
|
|
|
|
Es wird keine SQL-Abfrage ausgeführt. Generierte Abfragevorschläge sind nur Text.
|
|
Die Antworten bewerten wir nicht als vollständige Buganalyse. Vorbereitung und
|
|
Offline-Tests verursachen keine API-Kosten. Speicherverbrauch der vorbereiteten
|
|
Messung liegt nur im Kilobytebereich; Testbestand bei Vorbereitung ca. 18,85 GB.
|