51 lines
3.0 KiB
Markdown
51 lines
3.0 KiB
Markdown
# Begrenzter Casebuilding-Test
|
|
|
|
Der Test vom 14.10.2026 verwendet eine frische Fallakte aus den ursprünglichen
|
|
wowdiag/wowsrc-Paketen, die lokale World-Testdatenbank und den festgelegten Git-Commit.
|
|
Die vorherige gestoppte Analyse wird nicht fortgesetzt.
|
|
|
|
Workspace: `service-data/trials/casebuilding-20261014`
|
|
Case-ID: `BUG-000020`
|
|
Package-ID: `trial-casebuilding-BUG-000020-20261014`
|
|
|
|
Der deterministische CaseBuilder wurde bereits ohne LLM ausgeführt. Das gültige
|
|
Paket enthält vier belegte Projektabfragen: die Git-Schemafundstellen für Creature
|
|
und Quest sowie DB-Namen/Details für die gemeldete Creature und Quest. Insbesondere
|
|
ist `23486 = Goldark Snipehunter` vor der Interpretation sichtbar.
|
|
Die Lösung des bekannten Bugs wurde nicht vorgegeben. Snapshots für die Prüfung
|
|
liegen als `case.before-llm.json`, `case.before-llm.md` und `preparation.json` im Workspace.
|
|
|
|
In der PowerShell mit gesetztem API-Key aus dem Repository-Verzeichnis starten:
|
|
|
|
```powershell
|
|
.\.venv\Scripts\python.exe -m viano_bug_analysis.trial run --workspace service-data/trials/casebuilding-20261014 --llm-config config/llm.timeout300.local.toml --project-config config/project.local.toml --case-id BUG-000020 --package-id trial-casebuilding-BUG-000020-20261014 --stop-after interpretation --max-dispatches 6
|
|
```
|
|
|
|
Dieser Befehl führt kostenpflichtige LLM-Anfragen aus. `--stop-after interpretation`
|
|
beendet den Lauf bei der bestätigten Interpretation mit `PHASE_COMPLETE`, auch bei
|
|
einer erneuten Ausführung desselben Befehls. Er startet keine Hypothesengenerierung
|
|
oder Investigation. `--max-dispatches 6` begrenzt zusätzlich die einzelnen Schritte;
|
|
die bestehende Korrekturpolicy begrenzt ungültige Antworten separat. Provider-Retries
|
|
folgen der LLM-Konfiguration; der Dienst wartet nicht aktiv auf einen Retry-Zeitpunkt.
|
|
|
|
Bei `RETRY_PENDING`/`DEFERRED` nach dem angegebenen Zeitpunkt denselben Befehl
|
|
erneut ausführen. `YIELDED` bedeutet, dass das Schrittlimit vor einem bestätigten
|
|
Ergebnis erreicht wurde; derselbe Befehl setzt fort. Bei `ERROR`, `BLOCKED` oder
|
|
`REVIEW` zuerst die Ausgabe auswerten.
|
|
|
|
Prüfkriterien nach `PHASE_COMPLETE`:
|
|
|
|
- Goldark wird korrekt von den betroffenen Wolpertingern unterschieden.
|
|
- Testerbeobachtung, erwartetes Verhalten und Annahmen bleiben getrennt.
|
|
- Neue technische Aussagen zitieren die DB-/Git-Fakten aus dem Case.
|
|
- Nicht gelesene Spawns werden nicht als bekannte Daten ausgegeben.
|
|
- DB-Snapshot und Sourcecode-Schemata werden nicht mit Live-Serverbeobachtungen verwechselt.
|
|
- Verbleibende Wissenslücken sind sichtbar; die Interpretation behauptet noch keine Root Cause.
|
|
- Modellaufrufe, Input-/Output-Tokens, Korrekturversuche und Laufzeit werden aus der
|
|
gespeicherten LLM-Historie ausgewertet. Ohne konfigurierte Preise ist `estimated_cost`
|
|
gegebenenfalls null; tatsächliche Kosten sind zusätzlich im Provider-Dashboard sichtbar.
|
|
|
|
Der JSON-Abschluss zeigt den Pfad der neuen Paketgeneration. Die vollständige
|
|
Interpretation, JSON/Markdown-Zusammenfassung, Prompt und Tokenmetadaten liegen
|
|
in diesem Paket. Der vorbereitete Case bleibt append-only erhalten.
|