diff --git a/docs/bug20-working-brief-live-test-20261016.md b/docs/bug20-working-brief-live-test-20261016.md new file mode 100644 index 0000000..db9d2d4 --- /dev/null +++ b/docs/bug20-working-brief-live-test-20261016.md @@ -0,0 +1,89 @@ +# Bug 20: vollständiger Live-Test mit Investigation-Arbeitsstand + +Ausgeführt mit derselben Konfiguration wie Bug 17: +`config/llm.working-brief.local.toml`, `config/project.local.toml`. +Programmstand der Analyse: `816f525`; letzter Stand bei Vorbereitung `22fe68c` +(zusätzlich lokales Lesewerkzeug). Keine Referenzlösung und keine alte Analyse +als Input übergeben. Originalinputs: `BUG-000020-20261008-130429.tar.gz` und +`WOWSRC-BUG-000020-20261008-130446.tar.gz`. + +## Ergebnis + +**OUTPUT_READY**, Generation 86, nach 16 Dispatches. Diagnose bestätigt H1: +fehlende Spawn-Datensätze für Wild Wolpertinger, Creature Entry **23487**, auf +Map 0 und damit am betroffenen Standort in Dun Morogh. + +Die entscheidende Datenbankabfrage E000002 filtert `creature.id = 23487`, liest +unter anderem GUID, Map, Gebiet und Koordinaten, Limit 50/Offset 0. Sie liefert +18 Zeilen, alle auf Map 1, `coverage=complete_filtered_rows`, `truncated=false`. +Der alternative Entry 22943 liefert in E000005 mit derselben vollständigen +Abdeckung keine Zeilen. Das sind tatsächliche Abfragen des lokalen DB-Snapshots, +keine aus Schema oder Paket-Dateinamen abgeleiteten Behauptungen. + +Der Codingauftrag ist als **SQL-Vorlage mit expliziten Platzhaltern** für fehlende +Koordinaten, GUIDs und weitere Spawnparameter angelegt; Event-Verknüpfung 24 ist +vorgesehen. Vorhandene Horde-Spawns sollen unverändert bleiben. Der separate +menschliche Auftrag verlangt, geeignete Koordinaten zu **recherchieren oder +festzulegen**, GUIDs zuzuweisen und die Vorlage zu vervollständigen. Er verlangt +nicht ausschließlich kanonische Originaldaten. BugAnalysis wartet nicht auf +diese reine Behebungszuarbeit. + +H1 erreicht `strongly_supported`; H2 (Sichtbarkeit) und H3 (Event-Verknüpfung) +werden geschwächt und verworfen. Der beantragte Frühabschluss wird von der +finalen Diagnose akzeptiert. Restbudgets: H1 92, H2 97, H3 93. Das Budget wurde +also nicht sinnlos aufgebraucht. H1 bleibt im internen Zustand `active`, weil +sein Abschluss über das Early-Review-Protokoll erfolgt; die Gesamtanalyse ist +abgeschlossen, nicht in einer Warteschleife. + +## Metriken + +| Metrik | Wert | +|---|---:| +| Nutzerberichtete Kosten | **0,18 EUR** (7,71 → 7,89) | +| Gesamtlaufzeit | **7:19,0 Minuten** | +| Provider-Zeit über alle Aufrufe | 328,671 Sekunden | +| LLM-Aufrufe gesamt | 15 | +| Davon Investigation | 9 | +| Inputtokens insgesamt, Cache eingeschlossen | 366.105 | +| Davon gecacht | 213.030 | +| Outputtokens, Thinking eingeschlossen | 46.794 | +| Davon Thinking | 33.638 | +| Investigation: ungecachte Eingabetokens | 42.741 | +| Investigation: Outputtokens inkl. Thinking | 26.735 | +| Intern abgelehnte Antworten | 1 × LLM_OUTPUT_SCHEMA | + +Cache bei allen neun Investigation-Antworten bestätigt: je 23.670 Tokens, +eine Erstellung und acht Wiederverwendungen. Die abgelehnte Antwort wurde +kontrolliert verworfen und im Lauf korrigiert, ohne BLOCKED-Zustand. + +Der bekannte frühere erfolgreiche Bug-20-Gesamtlauf kostete laut Nutzer 0,38 EUR. +Der aktuelle berichtete Betrag liegt rund 53 % darunter. Dieser Vergleich +isoliert nicht die Wirkung des Arbeitsstands: Prompts, Caching und lokale +Verarbeitung wurden seitdem mehrfach verändert. Der Kostenstand kann außerdem +verzögert abrechnen. Ein einzelner erfolgreicher Referenzfall garantiert keine +allgemeine Erfolgsquote oder Kostenhöhe für andere Bugs. + +## Bewertung und Grenzen + +Für diesen bekannten positiven Referenzfall ist der Durchlauf fachlich und +technisch erfolgreich: korrekte Creature-Identität, belegte fehlende Spawndaten, +gezielte Gegenprüfungen, passende differenzierte Übergabe und vollständiger +Paketabschluss innerhalb des gewünschten Kostenbereichs. + +Die Diagnose formuliert ihre Aussagen teilweise zu absolut: Fehlende statische +DB-Spawns schließen nicht automatisch jeden denkbaren dynamischen Spawnpfad aus. +Auch „Map 0“ ist keine Gebiets-ID für Dun Morogh. Die vollständige Abwesenheit +auf Map 0 schließt aber statische Spawns am betroffenen Standort auf dieser Map +mit ein. Der Befund trifft die bekannte Ursache; universelle Formulierungen +sollten nicht mit einem vollständigen Ausschluss aller Laufzeitpfade verwechselt +werden. Die bekannte Validierungsreibung des Arbeitsstand-Vertrags verschwindet +durch diesen günstigeren Einzeltest nicht. + +Das Paket wurde validiert. Eine lokale HTML-Leseansicht mit eigenem Bereich für +Coding-/Menschenaufträge wurde erzeugt; alle 507 Beleg-/Navigations-/Dateilinks +auflösbar. Fünf Tests für das Lesewerkzeug bestanden. Die Analyseimplementierung +wurde bei dieser Auswertung nicht verändert, keine weiteren API-Aufrufe gestartet. + +Messdaten: `measurements/bug20-working-brief-live-20261016.json`. +Erfasste Testdaten vor der zusätzlichen Lesekopie: rund 16,89 GB, weiterhin +unter der 20-GB-Vorgabe. diff --git a/docs/measurements/bug20-working-brief-live-20261016.json b/docs/measurements/bug20-working-brief-live-20261016.json new file mode 100644 index 0000000..a2903c0 --- /dev/null +++ b/docs/measurements/bug20-working-brief-live-20261016.json @@ -0,0 +1,110 @@ +{ + "measurement": "bug20_working_brief_live_v1", + "commit": "22fe68c", + "workspace": "service-data\\trials\\bug20-working-brief-20261016", + "identity": { + "case_id": "BUG-000020", + "package_id": "trial-working-brief-BUG-000020-20261016", + "package_generation": 86, + "state": "OUTPUT_READY" + }, + "duration_seconds": 439.0303, + "calls": 15, + "investigation_calls": 9, + "phase_calls": { + "INTERPRETING_CASE": 3, + "GENERATING_HYPOTHESES": 1, + "INVESTIGATING_HYPOTHESES": 9, + "BUILDING_DIAGNOSIS": 2 + }, + "usage": { + "input_tokens": 366105, + "output_tokens": 46794, + "reasoning_tokens": 33638, + "cached_input_tokens": 213030, + "cache_created_tokens": 23670, + "elapsed_seconds": 328.67100000000005, + "estimated_cost": 0.14828924999999998, + "estimated_cache_storage_cost": 0.00098625, + "estimated_cost_scope": "Known subtotal only; 9 of 15 calls have complete estimated_cost." + }, + "investigation_usage": { + "input_tokens": 255771, + "output_tokens": 26735, + "reasoning_tokens": 20562, + "cached_input_tokens": 213030, + "cache_created_tokens": 23670, + "elapsed_seconds": 197.45199999999997, + "estimated_cost": 0.14828924999999998, + "estimated_cache_storage_cost": 0.00098625 + }, + "cache_statuses": { + "created": 1, + "reused": 8 + }, + "cached_tokens_per_inv": { + "23670": 9 + }, + "errors": [ + { + "hypothesis": "H3", + "code": "LLM_OUTPUT_SCHEMA", + "kind": "invalid_response", + "llm_ref": "llm/operations/b7f2e84e7ce1ab15fea771e71ef5c71f3321d1b419eefa7f3f69f110b5c356c6/round-0001.json" + } + ], + "call_statuses": { + "SUCCESS": 14, + "ERROR": 1 + }, + "cost_eur_start": 7.71, + "cost_eur_end": 7.89, + "cost_eur_delta": 0.18, + "early_stop": { + "countercheck_refs": [ + "E000004", + "E000005" + ], + "deferred_hypotheses": [], + "evidence_refs": [ + "E000001", + "E000002", + "E000004", + "E000005" + ], + "fingerprint": "aefa64a8f813a1df46cfa3cc84f8be3339bceebefe7627610c636d139def6843", + "hypothesis_id": "H1", + "number": 1, + "reason": "Investigation of creature and game_event_creature tables confirms that Wild Wolpertinger (entry 23487) only has spawn entries on map 1 (Durotar) tied to Brewfest event 24, while Dun Morogh (map 0) has zero spawn entries for either 23487 or 22943.", + "status": "requested" + }, + "hypotheses": { + "H1": { + "confidence": "strongly_supported", + "disposition": "active", + "iterations": 3 + }, + "H2": { + "confidence": "weakened", + "disposition": "reject", + "iterations": 2 + }, + "H3": { + "confidence": "weakened", + "disposition": "reject", + "iterations": 3 + } + }, + "hypothesis_remaining_budget": { + "H1": 92, + "H2": 97, + "H3": 93 + }, + "limitations": [ + "Reported account delta, subject to billing latency.", + "No direct equal-progress comparison to the earlier interrupted BUG-17 trial.", + "Token output includes reasoning; cached input is part of total input.", + "Correct reference cause, but dynamic paths were not exhaustively excluded.", + "Estimated costs are incomplete: only investigation calls have configured input rates; do not treat their sum as a total analysis estimate." + ] +} diff --git a/scripts/render_case_review.py b/scripts/render_case_review.py index 1b92c2f..9578267 100644 --- a/scripts/render_case_review.py +++ b/scripts/render_case_review.py @@ -116,7 +116,10 @@ def render(reader): '
Dies ist eine Leseansicht der gespeicherten Fallakte. Modellbewertungen sind keine unabhängig bestätigten Fakten. Die Originaltexte bleiben in ihrer gespeicherten Sprache.
'] if not art.get('diagnosis'): parts.append('Eine finale Diagnose und ein Abschlussauftrag liegen in diesem Paket noch nicht vor.
') - else:parts.append('Noch kein strukturierter Arbeitsstand gespeichert.
') parts.append('Status: '+e(coding.get('assignment','nicht angegeben'))+'
') + request=coding.get('request',{}) + for key,label in [('required_change','Geforderte Änderung'),('implementation_guidance','Vorgehen'), + ('placeholders','Offene Platzhalter'),('missing_information','Fehlende Angaben'), + ('validation_requirements','Prüfung nach Umsetzung')]: + if key in request:parts.append('Noch kein Codingauftrag vorhanden.
') + if art.get('human_dev_request'): + text=reader.read_bytes(art['human_dev_request']).decode('utf8') + # Deterministic plain Markdown display, no embedded HTML execution. + import re + parts.append(''+e(line)+'
') + else:parts.append('Noch kein menschlicher Auftrag vorhanden.
') parts.append('Beleg-Links aus den Hypothesen führen hierher. Jeder Beleg zeigt seine eigene Abfrage und Reichweite.
') for eid,entry in evidence.items(): content=entry['content'];captures=content.get('items',[]) @@ -162,7 +187,7 @@ def render(reader): body='