Record successful BUG-20 trial and display remediation handoffs
This commit is contained in:
Nico committed
1 parent
22fe68c976
commit
57984e5793
4 files changed
+240
-2
No files matched your search
@@ -0,0 +1,89 @@
|
||||
# Bug 20: vollständiger Live-Test mit Investigation-Arbeitsstand
|
||||
|
||||
Ausgeführt mit derselben Konfiguration wie Bug 17:
|
||||
`config/llm.working-brief.local.toml`, `config/project.local.toml`.
|
||||
Programmstand der Analyse: `816f525`; letzter Stand bei Vorbereitung `22fe68c`
|
||||
(zusätzlich lokales Lesewerkzeug). Keine Referenzlösung und keine alte Analyse
|
||||
als Input übergeben. Originalinputs: `BUG-000020-20261008-130429.tar.gz` und
|
||||
`WOWSRC-BUG-000020-20261008-130446.tar.gz`.
|
||||
|
||||
## Ergebnis
|
||||
|
||||
**OUTPUT_READY**, Generation 86, nach 16 Dispatches. Diagnose bestätigt H1:
|
||||
fehlende Spawn-Datensätze für Wild Wolpertinger, Creature Entry **23487**, auf
|
||||
Map 0 und damit am betroffenen Standort in Dun Morogh.
|
||||
|
||||
Die entscheidende Datenbankabfrage E000002 filtert `creature.id = 23487`, liest
|
||||
unter anderem GUID, Map, Gebiet und Koordinaten, Limit 50/Offset 0. Sie liefert
|
||||
18 Zeilen, alle auf Map 1, `coverage=complete_filtered_rows`, `truncated=false`.
|
||||
Der alternative Entry 22943 liefert in E000005 mit derselben vollständigen
|
||||
Abdeckung keine Zeilen. Das sind tatsächliche Abfragen des lokalen DB-Snapshots,
|
||||
keine aus Schema oder Paket-Dateinamen abgeleiteten Behauptungen.
|
||||
|
||||
Der Codingauftrag ist als **SQL-Vorlage mit expliziten Platzhaltern** für fehlende
|
||||
Koordinaten, GUIDs und weitere Spawnparameter angelegt; Event-Verknüpfung 24 ist
|
||||
vorgesehen. Vorhandene Horde-Spawns sollen unverändert bleiben. Der separate
|
||||
menschliche Auftrag verlangt, geeignete Koordinaten zu **recherchieren oder
|
||||
festzulegen**, GUIDs zuzuweisen und die Vorlage zu vervollständigen. Er verlangt
|
||||
nicht ausschließlich kanonische Originaldaten. BugAnalysis wartet nicht auf
|
||||
diese reine Behebungszuarbeit.
|
||||
|
||||
H1 erreicht `strongly_supported`; H2 (Sichtbarkeit) und H3 (Event-Verknüpfung)
|
||||
werden geschwächt und verworfen. Der beantragte Frühabschluss wird von der
|
||||
finalen Diagnose akzeptiert. Restbudgets: H1 92, H2 97, H3 93. Das Budget wurde
|
||||
also nicht sinnlos aufgebraucht. H1 bleibt im internen Zustand `active`, weil
|
||||
sein Abschluss über das Early-Review-Protokoll erfolgt; die Gesamtanalyse ist
|
||||
abgeschlossen, nicht in einer Warteschleife.
|
||||
|
||||
## Metriken
|
||||
|
||||
| Metrik | Wert |
|
||||
|---|---:|
|
||||
| Nutzerberichtete Kosten | **0,18 EUR** (7,71 → 7,89) |
|
||||
| Gesamtlaufzeit | **7:19,0 Minuten** |
|
||||
| Provider-Zeit über alle Aufrufe | 328,671 Sekunden |
|
||||
| LLM-Aufrufe gesamt | 15 |
|
||||
| Davon Investigation | 9 |
|
||||
| Inputtokens insgesamt, Cache eingeschlossen | 366.105 |
|
||||
| Davon gecacht | 213.030 |
|
||||
| Outputtokens, Thinking eingeschlossen | 46.794 |
|
||||
| Davon Thinking | 33.638 |
|
||||
| Investigation: ungecachte Eingabetokens | 42.741 |
|
||||
| Investigation: Outputtokens inkl. Thinking | 26.735 |
|
||||
| Intern abgelehnte Antworten | 1 × LLM_OUTPUT_SCHEMA |
|
||||
|
||||
Cache bei allen neun Investigation-Antworten bestätigt: je 23.670 Tokens,
|
||||
eine Erstellung und acht Wiederverwendungen. Die abgelehnte Antwort wurde
|
||||
kontrolliert verworfen und im Lauf korrigiert, ohne BLOCKED-Zustand.
|
||||
|
||||
Der bekannte frühere erfolgreiche Bug-20-Gesamtlauf kostete laut Nutzer 0,38 EUR.
|
||||
Der aktuelle berichtete Betrag liegt rund 53 % darunter. Dieser Vergleich
|
||||
isoliert nicht die Wirkung des Arbeitsstands: Prompts, Caching und lokale
|
||||
Verarbeitung wurden seitdem mehrfach verändert. Der Kostenstand kann außerdem
|
||||
verzögert abrechnen. Ein einzelner erfolgreicher Referenzfall garantiert keine
|
||||
allgemeine Erfolgsquote oder Kostenhöhe für andere Bugs.
|
||||
|
||||
## Bewertung und Grenzen
|
||||
|
||||
Für diesen bekannten positiven Referenzfall ist der Durchlauf fachlich und
|
||||
technisch erfolgreich: korrekte Creature-Identität, belegte fehlende Spawndaten,
|
||||
gezielte Gegenprüfungen, passende differenzierte Übergabe und vollständiger
|
||||
Paketabschluss innerhalb des gewünschten Kostenbereichs.
|
||||
|
||||
Die Diagnose formuliert ihre Aussagen teilweise zu absolut: Fehlende statische
|
||||
DB-Spawns schließen nicht automatisch jeden denkbaren dynamischen Spawnpfad aus.
|
||||
Auch „Map 0“ ist keine Gebiets-ID für Dun Morogh. Die vollständige Abwesenheit
|
||||
auf Map 0 schließt aber statische Spawns am betroffenen Standort auf dieser Map
|
||||
mit ein. Der Befund trifft die bekannte Ursache; universelle Formulierungen
|
||||
sollten nicht mit einem vollständigen Ausschluss aller Laufzeitpfade verwechselt
|
||||
werden. Die bekannte Validierungsreibung des Arbeitsstand-Vertrags verschwindet
|
||||
durch diesen günstigeren Einzeltest nicht.
|
||||
|
||||
Das Paket wurde validiert. Eine lokale HTML-Leseansicht mit eigenem Bereich für
|
||||
Coding-/Menschenaufträge wurde erzeugt; alle 507 Beleg-/Navigations-/Dateilinks
|
||||
auflösbar. Fünf Tests für das Lesewerkzeug bestanden. Die Analyseimplementierung
|
||||
wurde bei dieser Auswertung nicht verändert, keine weiteren API-Aufrufe gestartet.
|
||||
|
||||
Messdaten: `measurements/bug20-working-brief-live-20261016.json`.
|
||||
Erfasste Testdaten vor der zusätzlichen Lesekopie: rund 16,89 GB, weiterhin
|
||||
unter der 20-GB-Vorgabe.
|
||||
@@ -0,0 +1,110 @@
|
||||
{
|
||||
"measurement": "bug20_working_brief_live_v1",
|
||||
"commit": "22fe68c",
|
||||
"workspace": "service-data\\trials\\bug20-working-brief-20261016",
|
||||
"identity": {
|
||||
"case_id": "BUG-000020",
|
||||
"package_id": "trial-working-brief-BUG-000020-20261016",
|
||||
"package_generation": 86,
|
||||
"state": "OUTPUT_READY"
|
||||
},
|
||||
"duration_seconds": 439.0303,
|
||||
"calls": 15,
|
||||
"investigation_calls": 9,
|
||||
"phase_calls": {
|
||||
"INTERPRETING_CASE": 3,
|
||||
"GENERATING_HYPOTHESES": 1,
|
||||
"INVESTIGATING_HYPOTHESES": 9,
|
||||
"BUILDING_DIAGNOSIS": 2
|
||||
},
|
||||
"usage": {
|
||||
"input_tokens": 366105,
|
||||
"output_tokens": 46794,
|
||||
"reasoning_tokens": 33638,
|
||||
"cached_input_tokens": 213030,
|
||||
"cache_created_tokens": 23670,
|
||||
"elapsed_seconds": 328.67100000000005,
|
||||
"estimated_cost": 0.14828924999999998,
|
||||
"estimated_cache_storage_cost": 0.00098625,
|
||||
"estimated_cost_scope": "Known subtotal only; 9 of 15 calls have complete estimated_cost."
|
||||
},
|
||||
"investigation_usage": {
|
||||
"input_tokens": 255771,
|
||||
"output_tokens": 26735,
|
||||
"reasoning_tokens": 20562,
|
||||
"cached_input_tokens": 213030,
|
||||
"cache_created_tokens": 23670,
|
||||
"elapsed_seconds": 197.45199999999997,
|
||||
"estimated_cost": 0.14828924999999998,
|
||||
"estimated_cache_storage_cost": 0.00098625
|
||||
},
|
||||
"cache_statuses": {
|
||||
"created": 1,
|
||||
"reused": 8
|
||||
},
|
||||
"cached_tokens_per_inv": {
|
||||
"23670": 9
|
||||
},
|
||||
"errors": [
|
||||
{
|
||||
"hypothesis": "H3",
|
||||
"code": "LLM_OUTPUT_SCHEMA",
|
||||
"kind": "invalid_response",
|
||||
"llm_ref": "llm/operations/b7f2e84e7ce1ab15fea771e71ef5c71f3321d1b419eefa7f3f69f110b5c356c6/round-0001.json"
|
||||
}
|
||||
],
|
||||
"call_statuses": {
|
||||
"SUCCESS": 14,
|
||||
"ERROR": 1
|
||||
},
|
||||
"cost_eur_start": 7.71,
|
||||
"cost_eur_end": 7.89,
|
||||
"cost_eur_delta": 0.18,
|
||||
"early_stop": {
|
||||
"countercheck_refs": [
|
||||
"E000004",
|
||||
"E000005"
|
||||
],
|
||||
"deferred_hypotheses": [],
|
||||
"evidence_refs": [
|
||||
"E000001",
|
||||
"E000002",
|
||||
"E000004",
|
||||
"E000005"
|
||||
],
|
||||
"fingerprint": "aefa64a8f813a1df46cfa3cc84f8be3339bceebefe7627610c636d139def6843",
|
||||
"hypothesis_id": "H1",
|
||||
"number": 1,
|
||||
"reason": "Investigation of creature and game_event_creature tables confirms that Wild Wolpertinger (entry 23487) only has spawn entries on map 1 (Durotar) tied to Brewfest event 24, while Dun Morogh (map 0) has zero spawn entries for either 23487 or 22943.",
|
||||
"status": "requested"
|
||||
},
|
||||
"hypotheses": {
|
||||
"H1": {
|
||||
"confidence": "strongly_supported",
|
||||
"disposition": "active",
|
||||
"iterations": 3
|
||||
},
|
||||
"H2": {
|
||||
"confidence": "weakened",
|
||||
"disposition": "reject",
|
||||
"iterations": 2
|
||||
},
|
||||
"H3": {
|
||||
"confidence": "weakened",
|
||||
"disposition": "reject",
|
||||
"iterations": 3
|
||||
}
|
||||
},
|
||||
"hypothesis_remaining_budget": {
|
||||
"H1": 92,
|
||||
"H2": 97,
|
||||
"H3": 93
|
||||
},
|
||||
"limitations": [
|
||||
"Reported account delta, subject to billing latency.",
|
||||
"No direct equal-progress comparison to the earlier interrupted BUG-17 trial.",
|
||||
"Token output includes reasoning; cached input is part of total input.",
|
||||
"Correct reference cause, but dynamic paths were not exhaustively excluded.",
|
||||
"Estimated costs are incomplete: only investigation calls have configured input rates; do not treat their sum as a total analysis estimate."
|
||||
]
|
||||
}
|
||||
Reference in new issue
Block a user