From 57984e5793f8d496c12ab90e5026b46c4331b2e4 Mon Sep 17 00:00:00 2001 From: Nitsu45 Date: Fri, 16 Oct 2026 23:50:54 +0200 Subject: [PATCH] Record successful BUG-20 trial and display remediation handoffs --- .../bug20-working-brief-live-test-20261016.md | 89 ++++++++++++++ .../bug20-working-brief-live-20261016.json | 110 ++++++++++++++++++ scripts/render_case_review.py | 29 ++++- tests/test_case_review.py | 14 +++ 4 files changed, 240 insertions(+), 2 deletions(-) create mode 100644 docs/bug20-working-brief-live-test-20261016.md create mode 100644 docs/measurements/bug20-working-brief-live-20261016.json diff --git a/docs/bug20-working-brief-live-test-20261016.md b/docs/bug20-working-brief-live-test-20261016.md new file mode 100644 index 0000000..db9d2d4 --- /dev/null +++ b/docs/bug20-working-brief-live-test-20261016.md @@ -0,0 +1,89 @@ +# Bug 20: vollständiger Live-Test mit Investigation-Arbeitsstand + +Ausgeführt mit derselben Konfiguration wie Bug 17: +`config/llm.working-brief.local.toml`, `config/project.local.toml`. +Programmstand der Analyse: `816f525`; letzter Stand bei Vorbereitung `22fe68c` +(zusätzlich lokales Lesewerkzeug). Keine Referenzlösung und keine alte Analyse +als Input übergeben. Originalinputs: `BUG-000020-20261008-130429.tar.gz` und +`WOWSRC-BUG-000020-20261008-130446.tar.gz`. + +## Ergebnis + +**OUTPUT_READY**, Generation 86, nach 16 Dispatches. Diagnose bestätigt H1: +fehlende Spawn-Datensätze für Wild Wolpertinger, Creature Entry **23487**, auf +Map 0 und damit am betroffenen Standort in Dun Morogh. + +Die entscheidende Datenbankabfrage E000002 filtert `creature.id = 23487`, liest +unter anderem GUID, Map, Gebiet und Koordinaten, Limit 50/Offset 0. Sie liefert +18 Zeilen, alle auf Map 1, `coverage=complete_filtered_rows`, `truncated=false`. +Der alternative Entry 22943 liefert in E000005 mit derselben vollständigen +Abdeckung keine Zeilen. Das sind tatsächliche Abfragen des lokalen DB-Snapshots, +keine aus Schema oder Paket-Dateinamen abgeleiteten Behauptungen. + +Der Codingauftrag ist als **SQL-Vorlage mit expliziten Platzhaltern** für fehlende +Koordinaten, GUIDs und weitere Spawnparameter angelegt; Event-Verknüpfung 24 ist +vorgesehen. Vorhandene Horde-Spawns sollen unverändert bleiben. Der separate +menschliche Auftrag verlangt, geeignete Koordinaten zu **recherchieren oder +festzulegen**, GUIDs zuzuweisen und die Vorlage zu vervollständigen. Er verlangt +nicht ausschließlich kanonische Originaldaten. BugAnalysis wartet nicht auf +diese reine Behebungszuarbeit. + +H1 erreicht `strongly_supported`; H2 (Sichtbarkeit) und H3 (Event-Verknüpfung) +werden geschwächt und verworfen. Der beantragte Frühabschluss wird von der +finalen Diagnose akzeptiert. Restbudgets: H1 92, H2 97, H3 93. Das Budget wurde +also nicht sinnlos aufgebraucht. H1 bleibt im internen Zustand `active`, weil +sein Abschluss über das Early-Review-Protokoll erfolgt; die Gesamtanalyse ist +abgeschlossen, nicht in einer Warteschleife. + +## Metriken + +| Metrik | Wert | +|---|---:| +| Nutzerberichtete Kosten | **0,18 EUR** (7,71 → 7,89) | +| Gesamtlaufzeit | **7:19,0 Minuten** | +| Provider-Zeit über alle Aufrufe | 328,671 Sekunden | +| LLM-Aufrufe gesamt | 15 | +| Davon Investigation | 9 | +| Inputtokens insgesamt, Cache eingeschlossen | 366.105 | +| Davon gecacht | 213.030 | +| Outputtokens, Thinking eingeschlossen | 46.794 | +| Davon Thinking | 33.638 | +| Investigation: ungecachte Eingabetokens | 42.741 | +| Investigation: Outputtokens inkl. Thinking | 26.735 | +| Intern abgelehnte Antworten | 1 × LLM_OUTPUT_SCHEMA | + +Cache bei allen neun Investigation-Antworten bestätigt: je 23.670 Tokens, +eine Erstellung und acht Wiederverwendungen. Die abgelehnte Antwort wurde +kontrolliert verworfen und im Lauf korrigiert, ohne BLOCKED-Zustand. + +Der bekannte frühere erfolgreiche Bug-20-Gesamtlauf kostete laut Nutzer 0,38 EUR. +Der aktuelle berichtete Betrag liegt rund 53 % darunter. Dieser Vergleich +isoliert nicht die Wirkung des Arbeitsstands: Prompts, Caching und lokale +Verarbeitung wurden seitdem mehrfach verändert. Der Kostenstand kann außerdem +verzögert abrechnen. Ein einzelner erfolgreicher Referenzfall garantiert keine +allgemeine Erfolgsquote oder Kostenhöhe für andere Bugs. + +## Bewertung und Grenzen + +Für diesen bekannten positiven Referenzfall ist der Durchlauf fachlich und +technisch erfolgreich: korrekte Creature-Identität, belegte fehlende Spawndaten, +gezielte Gegenprüfungen, passende differenzierte Übergabe und vollständiger +Paketabschluss innerhalb des gewünschten Kostenbereichs. + +Die Diagnose formuliert ihre Aussagen teilweise zu absolut: Fehlende statische +DB-Spawns schließen nicht automatisch jeden denkbaren dynamischen Spawnpfad aus. +Auch „Map 0“ ist keine Gebiets-ID für Dun Morogh. Die vollständige Abwesenheit +auf Map 0 schließt aber statische Spawns am betroffenen Standort auf dieser Map +mit ein. Der Befund trifft die bekannte Ursache; universelle Formulierungen +sollten nicht mit einem vollständigen Ausschluss aller Laufzeitpfade verwechselt +werden. Die bekannte Validierungsreibung des Arbeitsstand-Vertrags verschwindet +durch diesen günstigeren Einzeltest nicht. + +Das Paket wurde validiert. Eine lokale HTML-Leseansicht mit eigenem Bereich für +Coding-/Menschenaufträge wurde erzeugt; alle 507 Beleg-/Navigations-/Dateilinks +auflösbar. Fünf Tests für das Lesewerkzeug bestanden. Die Analyseimplementierung +wurde bei dieser Auswertung nicht verändert, keine weiteren API-Aufrufe gestartet. + +Messdaten: `measurements/bug20-working-brief-live-20261016.json`. +Erfasste Testdaten vor der zusätzlichen Lesekopie: rund 16,89 GB, weiterhin +unter der 20-GB-Vorgabe. diff --git a/docs/measurements/bug20-working-brief-live-20261016.json b/docs/measurements/bug20-working-brief-live-20261016.json new file mode 100644 index 0000000..a2903c0 --- /dev/null +++ b/docs/measurements/bug20-working-brief-live-20261016.json @@ -0,0 +1,110 @@ +{ + "measurement": "bug20_working_brief_live_v1", + "commit": "22fe68c", + "workspace": "service-data\\trials\\bug20-working-brief-20261016", + "identity": { + "case_id": "BUG-000020", + "package_id": "trial-working-brief-BUG-000020-20261016", + "package_generation": 86, + "state": "OUTPUT_READY" + }, + "duration_seconds": 439.0303, + "calls": 15, + "investigation_calls": 9, + "phase_calls": { + "INTERPRETING_CASE": 3, + "GENERATING_HYPOTHESES": 1, + "INVESTIGATING_HYPOTHESES": 9, + "BUILDING_DIAGNOSIS": 2 + }, + "usage": { + "input_tokens": 366105, + "output_tokens": 46794, + "reasoning_tokens": 33638, + "cached_input_tokens": 213030, + "cache_created_tokens": 23670, + "elapsed_seconds": 328.67100000000005, + "estimated_cost": 0.14828924999999998, + "estimated_cache_storage_cost": 0.00098625, + "estimated_cost_scope": "Known subtotal only; 9 of 15 calls have complete estimated_cost." + }, + "investigation_usage": { + "input_tokens": 255771, + "output_tokens": 26735, + "reasoning_tokens": 20562, + "cached_input_tokens": 213030, + "cache_created_tokens": 23670, + "elapsed_seconds": 197.45199999999997, + "estimated_cost": 0.14828924999999998, + "estimated_cache_storage_cost": 0.00098625 + }, + "cache_statuses": { + "created": 1, + "reused": 8 + }, + "cached_tokens_per_inv": { + "23670": 9 + }, + "errors": [ + { + "hypothesis": "H3", + "code": "LLM_OUTPUT_SCHEMA", + "kind": "invalid_response", + "llm_ref": "llm/operations/b7f2e84e7ce1ab15fea771e71ef5c71f3321d1b419eefa7f3f69f110b5c356c6/round-0001.json" + } + ], + "call_statuses": { + "SUCCESS": 14, + "ERROR": 1 + }, + "cost_eur_start": 7.71, + "cost_eur_end": 7.89, + "cost_eur_delta": 0.18, + "early_stop": { + "countercheck_refs": [ + "E000004", + "E000005" + ], + "deferred_hypotheses": [], + "evidence_refs": [ + "E000001", + "E000002", + "E000004", + "E000005" + ], + "fingerprint": "aefa64a8f813a1df46cfa3cc84f8be3339bceebefe7627610c636d139def6843", + "hypothesis_id": "H1", + "number": 1, + "reason": "Investigation of creature and game_event_creature tables confirms that Wild Wolpertinger (entry 23487) only has spawn entries on map 1 (Durotar) tied to Brewfest event 24, while Dun Morogh (map 0) has zero spawn entries for either 23487 or 22943.", + "status": "requested" + }, + "hypotheses": { + "H1": { + "confidence": "strongly_supported", + "disposition": "active", + "iterations": 3 + }, + "H2": { + "confidence": "weakened", + "disposition": "reject", + "iterations": 2 + }, + "H3": { + "confidence": "weakened", + "disposition": "reject", + "iterations": 3 + } + }, + "hypothesis_remaining_budget": { + "H1": 92, + "H2": 97, + "H3": 93 + }, + "limitations": [ + "Reported account delta, subject to billing latency.", + "No direct equal-progress comparison to the earlier interrupted BUG-17 trial.", + "Token output includes reasoning; cached input is part of total input.", + "Correct reference cause, but dynamic paths were not exhaustively excluded.", + "Estimated costs are incomplete: only investigation calls have configured input rates; do not treat their sum as a total analysis estimate." + ] +} diff --git a/scripts/render_case_review.py b/scripts/render_case_review.py index 1b92c2f..9578267 100644 --- a/scripts/render_case_review.py +++ b/scripts/render_case_review.py @@ -116,7 +116,10 @@ def render(reader): '

Dies ist eine Leseansicht der gespeicherten Fallakte. Modellbewertungen sind keine unabhängig bestätigten Fakten. Die Originaltexte bleiben in ihrer gespeicherten Sprache.

'] if not art.get('diagnosis'): parts.append('

Eine finale Diagnose und ein Abschlussauftrag liegen in diesem Paket noch nicht vor.

') - else:parts.append('

Diagnose

'+readable(load(art['diagnosis']))) + else: + result=load(art['diagnosis']);diagnosis=result.get('diagnosis',result) + parts.append('

Diagnose

'+readable(diagnosis.get('root_cause'))+ + details('Vollständige Diagnose und Gegenprüfung',readable(diagnosis))) parts.append('

Was wurde gemeldet?

'+readable(case.get('bug'))+ '

Menschliche Beobachtungen

'+readable(case.get('human_observations'))+'
') parts.append('

Wie wurde der Fall eingeordnet?

') @@ -133,6 +136,28 @@ def render(reader): else:parts.append('

Noch kein strukturierter Arbeitsstand gespeichert.

') parts.append('

Offene Fragen

'+readable([q for q in h['questions'] if not q['resolved']])) parts.append(details('Ansatz und vollständiger Hypothesenzustand',raw(h))+'') + parts.append('

Welche Aufträge wurden übergeben?

') + if art.get('change_request'): + coding=load(art['change_request']) + parts.append('

Codingauftrag

Status: '+e(coding.get('assignment','nicht angegeben'))+'

') + request=coding.get('request',{}) + for key,label in [('required_change','Geforderte Änderung'),('implementation_guidance','Vorgehen'), + ('placeholders','Offene Platzhalter'),('missing_information','Fehlende Angaben'), + ('validation_requirements','Prüfung nach Umsetzung')]: + if key in request:parts.append('

'+label+'

'+readable(request[key])) + parts.append(details('Vollständiger Codingauftrag',raw(coding))) + else:parts.append('

Noch kein Codingauftrag vorhanden.

') + if art.get('human_dev_request'): + text=reader.read_bytes(art['human_dev_request']).decode('utf8') + # Deterministic plain Markdown display, no embedded HTML execution. + import re + parts.append('

Auftrag an den menschlichen Entwickler

') + for line in text.splitlines(): + line=re.sub(r'\\([\\`*_{}\[\]()#+\-.!|])',r'\1',line) + if line.startswith('#'): + parts.append('

'+e(line.lstrip('# ').strip())+'

') + elif line.strip():parts.append('

'+e(line)+'

') + else:parts.append('

Noch kein menschlicher Auftrag vorhanden.

') parts.append('

Was wurde tatsächlich recherchiert?

Beleg-Links aus den Hypothesen führen hierher. Jeder Beleg zeigt seine eigene Abfrage und Reichweite.

') for eid,entry in evidence.items(): content=entry['content'];captures=content.get('items',[]) @@ -162,7 +187,7 @@ def render(reader): body='' parts.append(details(group+' · '+str(len(names))+' Dateien',body)) parts.append('
') - nav=''.join(''+label+'' for anchor,label in [('overview','Überblick'),('case','Fehlerbericht'),('interpretation','Einordnung'),('hypotheses','Hypothesen'),('evidence','Recherchebelege'),('history','Verlauf'),('calls','LLM-Aufrufe'),('files','Originaldateien')]) + nav=''.join(''+label+'' for anchor,label in [('overview','Überblick'),('case','Fehlerbericht'),('interpretation','Einordnung'),('hypotheses','Hypothesen'),('handoffs','Aufträge'),('evidence','Recherchebelege'),('history','Verlauf'),('calls','LLM-Aufrufe'),('files','Originaldateien')]) css='''*{box-sizing:border-box}html{scroll-behavior:smooth;scroll-padding-top:24px}body{margin:0;background:#f3f5f7;color:#202d3d;font:16px/1.65 system-ui,Segoe UI,sans-serif}aside{position:fixed;width:230px;inset:0 auto 0 0;padding:36px 24px;background:#172b3c;color:white}aside b{display:block;margin-bottom:30px}aside a{display:block;color:#d7e6ed;text-decoration:none;padding:10px 12px;border-radius:6px}aside a:hover{background:#294555}main{max-width:1200px;margin-left:230px;padding:42px 48px 80px}header{padding:0 10px 26px}.eyebrow{letter-spacing:.16em;color:#537581;font-size:12px;font-weight:700}h1{font-size:40px;line-height:1.15;margin:14px 0}.subtitle{font-size:22px;color:#536574}h2{font-size:25px;margin:0 0 20px}h3{font-size:20px;line-height:1.4;margin:20px 0 12px}h4{font-size:15px;margin:16px 0 6px}p{margin:8px 0 12px;white-space:pre-wrap;overflow-wrap:anywhere}section{background:white;border:1px solid #e0e5ea;border-radius:12px;padding:28px;margin-bottom:24px}.stats{display:flex;gap:12px;margin-bottom:20px}.stats article{background:#eef4f6;border-radius:8px;padding:16px;flex:1}.stats strong{display:block;font-size:30px;line-height:1.2}.badge{display:inline-block;border-radius:20px;background:#e4f1ed;color:#1f6552;padding:4px 12px;font-size:13px;font-weight:650;margin-right:12px}.small,.muted{font-size:13px;color:#607181}.notice{background:#fff6df;border-left:3px solid #d6a449;padding:12px 16px;font-size:14px}.hypothesis{padding:8px 0 28px;border-bottom:1px solid #e2e8ef}.finding{padding:8px 16px;margin:12px 0;border-left:3px solid #a4b6c5;background:#f5f8fa}.finding.against{border-color:#c67d64;background:#fff8f4}.finding.support{border-color:#5e9c87;background:#f1f8f5}.chip{display:inline-block;padding:2px 8px;background:#e6edf4;border-radius:4px;text-decoration:none;color:#305975;font-size:12px;margin:2px}details{margin:12px 0;border:1px solid #e0e6eb;border-radius:7px;padding:12px 16px}summary{cursor:pointer;font-weight:600;overflow-wrap:anywhere}details[open]>summary{margin-bottom:16px}pre{white-space:pre-wrap;overflow-wrap:anywhere;background:#f0f3f6;padding:16px;font:12px/1.6 Consolas,monospace;max-height:650px;overflow:auto}.code{white-space:pre;overflow:auto}.field{margin:12px 0}.field-label{display:block;font-weight:650;color:#4b6172;font-size:13px}li{margin:6px 0}a{color:#246b91}article:target{outline:3px solid #78abc5;outline-offset:5px}@media(max-width:850px){aside{position:static;width:auto;padding:16px}aside b{margin-bottom:10px}aside a{display:inline-block}main{margin:0;padding:24px 16px}.stats{flex-wrap:wrap}section{padding:20px}}@media print{aside{display:none}main{margin:0;padding:0}details{break-inside:avoid}}''' return ''+e(manifest['case_id'])+' · Fallakte
'+''.join(parts)+'
' diff --git a/tests/test_case_review.py b/tests/test_case_review.py index fe98ea5..4c51832 100644 --- a/tests/test_case_review.py +++ b/tests/test_case_review.py @@ -55,3 +55,17 @@ def test_reserved_filename_never_overwrites_package_payload(make_package,tmp_pat with pytest.raises(ValueError,match='reserved'): review.create(p,dest) assert not dest.exists() + + +def test_completed_package_displays_coding_and_human_handoffs(make_package,manifest,tmp_path): + manifest['artifacts'].update(change_request='handoffs/coding.json',human_dev_request='handoffs/human.md') + p=make_package(document=manifest,entries={ + 'handoffs/coding.json':json.dumps({'assignment':'assigned','request':{ + 'required_change':'SQL template with placeholders','placeholders':[{'token':'{{POSITION_X}}'}]}}), + 'handoffs/human.md':'# Human\n\nResearch or define suitable coordinates.\n'}) + output=review.create(p,tmp_path/'view') + html=output.read_text(encoding='utf8') + assert 'href="#handoffs"' in html + assert 'SQL template with placeholders' in html and '{{POSITION_X}}' in html + assert 'Research or define suitable coordinates.' in html + assert '