Prepare bounded casebuilding trial with explicit phase stop
This commit is contained in:
1 parent
02f63702ba
commit
0dcd2ab6df
3 files changed
+102
-3
No files matched your search
@@ -0,0 +1,50 @@
|
||||
# Begrenzter Casebuilding-Test
|
||||
|
||||
Der Test vom 14.10.2026 verwendet eine frische Fallakte aus den ursprünglichen
|
||||
wowdiag/wowsrc-Paketen, die lokale World-Testdatenbank und den festgelegten Git-Commit.
|
||||
Die vorherige gestoppte Analyse wird nicht fortgesetzt.
|
||||
|
||||
Workspace: `service-data/trials/casebuilding-20261014`
|
||||
Case-ID: `BUG-000020`
|
||||
Package-ID: `trial-casebuilding-BUG-000020-20261014`
|
||||
|
||||
Der deterministische CaseBuilder wurde bereits ohne LLM ausgeführt. Das gültige
|
||||
Paket enthält vier belegte Projektabfragen: die Git-Schemafundstellen für Creature
|
||||
und Quest sowie DB-Namen/Details für die gemeldete Creature und Quest. Insbesondere
|
||||
ist `23486 = Goldark Snipehunter` vor der Interpretation sichtbar.
|
||||
Die Lösung des bekannten Bugs wurde nicht vorgegeben. Snapshots für die Prüfung
|
||||
liegen als `case.before-llm.json`, `case.before-llm.md` und `preparation.json` im Workspace.
|
||||
|
||||
In der PowerShell mit gesetztem API-Key aus dem Repository-Verzeichnis starten:
|
||||
|
||||
```powershell
|
||||
.\.venv\Scripts\python.exe -m viano_bug_analysis.trial run --workspace service-data/trials/casebuilding-20261014 --llm-config config/llm.timeout300.local.toml --project-config config/project.local.toml --case-id BUG-000020 --package-id trial-casebuilding-BUG-000020-20261014 --stop-after interpretation --max-dispatches 6
|
||||
```
|
||||
|
||||
Dieser Befehl führt kostenpflichtige LLM-Anfragen aus. `--stop-after interpretation`
|
||||
beendet den Lauf bei der bestätigten Interpretation mit `PHASE_COMPLETE`, auch bei
|
||||
einer erneuten Ausführung desselben Befehls. Er startet keine Hypothesengenerierung
|
||||
oder Investigation. `--max-dispatches 6` begrenzt zusätzlich die einzelnen Schritte;
|
||||
die bestehende Korrekturpolicy begrenzt ungültige Antworten separat. Provider-Retries
|
||||
folgen der LLM-Konfiguration; der Dienst wartet nicht aktiv auf einen Retry-Zeitpunkt.
|
||||
|
||||
Bei `RETRY_PENDING`/`DEFERRED` nach dem angegebenen Zeitpunkt denselben Befehl
|
||||
erneut ausführen. `YIELDED` bedeutet, dass das Schrittlimit vor einem bestätigten
|
||||
Ergebnis erreicht wurde; derselbe Befehl setzt fort. Bei `ERROR`, `BLOCKED` oder
|
||||
`REVIEW` zuerst die Ausgabe auswerten.
|
||||
|
||||
Prüfkriterien nach `PHASE_COMPLETE`:
|
||||
|
||||
- Goldark wird korrekt von den betroffenen Wolpertingern unterschieden.
|
||||
- Testerbeobachtung, erwartetes Verhalten und Annahmen bleiben getrennt.
|
||||
- Neue technische Aussagen zitieren die DB-/Git-Fakten aus dem Case.
|
||||
- Nicht gelesene Spawns werden nicht als bekannte Daten ausgegeben.
|
||||
- DB-Snapshot und Sourcecode-Schemata werden nicht mit Live-Serverbeobachtungen verwechselt.
|
||||
- Verbleibende Wissenslücken sind sichtbar; die Interpretation behauptet noch keine Root Cause.
|
||||
- Modellaufrufe, Input-/Output-Tokens, Korrekturversuche und Laufzeit werden aus der
|
||||
gespeicherten LLM-Historie ausgewertet. Ohne konfigurierte Preise ist `estimated_cost`
|
||||
gegebenenfalls null; tatsächliche Kosten sind zusätzlich im Provider-Dashboard sichtbar.
|
||||
|
||||
Der JSON-Abschluss zeigt den Pfad der neuen Paketgeneration. Die vollständige
|
||||
Interpretation, JSON/Markdown-Zusammenfassung, Prompt und Tokenmetadaten liegen
|
||||
in diesem Paket. Der vorbereitete Case bleibt append-only erhalten.
|
||||
Reference in new issue
Block a user