2.5 KiB
Minimaler Investigation-Prompt: vier Vergleichsanfragen
Vorbereitung ohne Netzwerk:
.\.venv\Scripts\python.exe -m viano_bug_analysis.minimal_prompt_test
Ausführung durch den Nutzer (vier potenziell kostenpflichtige API-Aufrufe):
.\.venv\Scripts\python.exe -m viano_bug_analysis.minimal_prompt_test --run
Standardkonfiguration: config/llm.working-brief.local.toml. Standardausgabe: service-data/benchmarks/minimal-prompts-20261017/plan.json und results.json. Der vorbereitete Plan muss unverändert zur Konfiguration passen. Ein vorhandenes results.json verhindert eine unbeabsichtigte Wiederholung. Für einen bewusst neuen Durchlauf eine neue --output-Angabe verwenden.
Vier Varianten: de_plain, de_json, en_plain, en_json. Deutsch 429 Zeichen, Englisch 375 Zeichen, inhaltlich gleichwertiger Bug/Hypothese/Arbeitsauftrag. Innerhalb einer Sprache ist der Text identisch. Nur JSON-Varianten verwenden responseMimeType und das native Schema für step und purpose. Kein Systemprompt, kein Investigation-Kontext, keine Werkzeuge, kein Fallpaket, keine Fallakte, keine Schemaeinbettung als zusätzliche Nachricht und kein expliziter Cache. Der isolierte native Gemini-Aufruf vermeidet die zusätzlichen Hüllen des normalen Gateways. Das ist ausschließlich eine Messhilfe; Produktionspfade bleiben gleich.
Modell, Denkstufe, Outputlimit und Timeout werden aus derselben Providerkonfiguration übernommen. Aktuell: gemini-3.8-flash, medium, 16384 Outputtokens als Obergrenze. Das hohe Limit ist keine Aufforderung, es auszuschöpfen. Kurzer Input garantiert keine kurze Denkphase. Keine automatischen Wiederholungen und kein Failover; anderenfalls wäre die Zahl und Vergleichbarkeit der vier Aufrufe unklar.
Erfasst werden tatsächliche Modellversion, Antwort, Abschlussgrund, Laufzeit, Inputtokens, sichtbare Kandidatentokens, Denktokens, Cachetokens und Gesamttokens. Fehlende API-Zähler bleiben null; Denk- und Ausgabetokens werden getrennt berichtet, nicht doppelt addiert. Implizites Caching bleibt anbieterseitig möglich und wird anhand der Antwortmetriken sichtbar. Ein Einzelwert je Variante ist eine Untergrenzen-Stichprobe, kein stabiler Leistungs- oder Sprachvergleich.
Es wird keine SQL-Abfrage ausgeführt. Generierte Abfragevorschläge sind nur Text. Die Antworten bewerten wir nicht als vollständige Buganalyse. Vorbereitung und Offline-Tests verursachen keine API-Kosten. Speicherverbrauch der vorbereiteten Messung liegt nur im Kilobytebereich; Testbestand bei Vorbereitung ca. 18,85 GB.