Record working brief live trial metrics and validation friction

docs/working-brief-live-test-20261016.md

@@ -0,0 +1,104 @@
+# Bug 17: Live-Test des Investigation-Arbeitsstands
+
+Code: `816f525`. Workspace: `bug17-working-brief-20261016`.
+Vergleich: `bug17-stable-case-cache-20261016`, historischer v11-Stand.
+Beide auf 20 Dispatches begrenzt, beide YIELDED, keine abgeschlossene Diagnose.
+Referenzlösung nicht an das Modell übergeben. Der ursprüngliche Fehler ist im
+bereitgestellten Source-Stand bereits behoben; ein begründetes ergebnisloses
+Analyseende wäre fachlich akzeptabel. Ein technischer Block ist davon zu trennen.
+
+## Gemessene Werte
+
+| Metrik | Vorher | Neuer Lauf |
+|---|---:|---:|
+| Nutzerberichtete Kosten | 0,34 EUR | 0,31 EUR (7,40 → 7,71) |
+| Gesamtdauer, Observer-Start bis -Ende | 20:02,6 | 8:42,3 |
+| Summierte Provider-Zeit, alle Phasen | 275,453 s | 409,328 s |
+| LLM-Antworten gesamt / Investigation | 21 / 17 | 21 / 17 |
+| Inputtokens gesamt, einschließlich Cache | 658.995 | 576.864 |
+| Outputtokens gesamt, einschließlich Thinking | 31.378 | 45.814 |
+| Thinkingtokens, Teilmenge des Outputs | 22.227 | 31.279 |
+| Gecachte Eingabetokens gesamt | 339.779 | 367.761 |
+| Investigation: ungecachte Eingabetokens | 249.274 | 138.936 |
+| Investigation: Outputtokens einschließlich Thinking | 24.345 | 38.473 |
+| Investigation: Live-Transport, UTF-8 | 645.032 B | 396.109 B |
+| Intern abgelehnte Investigation-Antworten | 1 | 7 |
+
+Die Gesamtlaufzeit umfasst lokale Verarbeitung und Modellaufrufe. Die deutlich
+kleinere lokale Restzeit ist mit der zuvor implementierten Checkpoint-Optimierung
+vereinbar, aber der Test isoliert diese Ursache nicht. Der neue Provider-Anteil
+ist trotz kürzerer Gesamtdauer höher. Die Eingangsdaten sind dieselben, aber
+Hypothesenanzahl, Queries und Fortschritt verschieden; der Vergleich ist kein
+kontrollierter Nachweis einer pro erfolgreichem Untersuchungsschritt erreichten
+Kostenersparnis.
+
+## Inhaltliche Bewertung
+
+- Der Arbeitsstand wurde angelegt, versioniert und weitergeführt.
+- H1 wechselte von einer anfangs noch falschen Unterstützungseinstufung zu
+  `weakened`: der belegte QuestAccept-Override, die passende Quest-ID und der
+  Aufruf von StartEvent wurden schließlich als Gegenbelege eingeordnet.
+- Danach wechselte der Scheduler zu H2. H1 wurde nicht mehr wie im alten Lauf
+  über 13 Iterationen bei `supported` bevorzugt weiterverfolgt.
+- H2 ist im gespeicherten Zustand noch `plausible`. Die letzte Modellantwort
+  wollte H2 wegen des gefundenen Core-Dispatchs ebenfalls abschwächen; diese
+  Antwort wurde jedoch wegen Referenzinkonsistenz verworfen. Das ist kein
+  fehlendes Gegenargument, sondern ein technischer Vertragsfehler.
+- H3 ist nach dem initialen Durchlauf noch `unassessed`. Budgets sind erhalten:
+  H1 76, H2 79, H3 90. Es wurde kein Budgetabbruch ausgelöst.
+- Die Briefs enthalten teilweise veraltete neutrale Aussagen, etwa einen noch
+  unbestätigten Callback, obwohl andere Hypothesen inzwischen weiter sind.
+  Vollständige Belege sind weiterhin vorhanden; ihre semantische Zusammenführung
+  ist nicht durch das Speicherformat garantiert.
+
+## Technische Reibung und wirtschaftliche Bewertung
+
+Alle 17 Investigation-Antworten nutzten den Cache mit je 21.633 gecachten Tokens:
+2 Erstellungen, 15 Wiederverwendungen. Der Cache funktioniert.
+
+Sieben Antworten wurden verworfen:
+
+- 2 × `INVESTIGATION_BRIEF_CHANGE`: ein bestehender Befund wurde ohne den
+  vorgeschriebenen Änderungseintrag umformuliert/erweitert.
+- 2 × `INVESTIGATION_BRIEF_REFERENCE`: fortgeschriebene neutrale Befunde
+  referenzierten E000001, das in `update.evidence_refs` fehlte.
+- 1 × `INVESTIGATION_CAUSAL_EFFECT`: `mixed` ohne Gegenbelege.
+- 2 × `LLM_OUTPUT_SCHEMA`: `additionalProperties` beziehungsweise `oneOf`.
+  Die gespeicherten sicheren Diagnosen enthalten nicht die exakten fehlerhaften
+  Antwortfelder; eine genauere Behauptung wäre nicht belegt.
+
+Die neue Pflicht, dieselben Referenzen zusätzlich an mehreren Stellen aufzuführen,
+und eine exakte Gleichheit auch bei rein redaktionellen Befundänderungen erzeugen
+vermeidbare Reibung. Die Ablehnungen erfolgten kontrolliert und vor Toolausführung/
+Budgetabrechnung; dennoch kosten ihre Modellantworten Tokens und Zeit. Sie
+verbrauchten 16.370 Outputtokens und 139,733 s Provider-Zeit; der konfigurierte
+Schätzwert beträgt 0,123744075 USD, ausdrücklich nicht EUR-Rechnungsbetrag.
+
+Der Input wurde kleiner, aber der Gesamterfolg ist wirtschaftlich noch nicht
+ausreichend: nur 10 von 17 Investigation-Antworten wurden angenommen, gegenüber
+16 von 17 vorher. Outputtokens steigen insgesamt um rund 46 %, in der Investigation
+um rund 58 %. Die berichtete Kostenersparnis von 0,03 EUR rechtfertigt keine
+Behauptung gleicher Qualität bei gleichem Fortschritt.
+
+## Nächster sinnvoller Schritt
+
+Vor einer Fortsetzung die Brief-Schnittstelle vereinfachen:
+
+1. Redundante Referenzmengen deterministisch ableiten, statt das Modell dieselben
+   IDs mehrfach fehlerfrei wiederholen zu lassen. Unbekannte Belege bleiben
+   verboten; keine unbemerkte Umwandlung einer semantisch falschen Bewertung.
+2. Die Nachvollziehbarkeit kleiner Text-/Scope-Präzisierungen möglichst beim
+   Controller protokollieren. Explizite Begründungen für entfernte oder in ihrer
+   kausalen Richtung geänderte Befunde weiterhin verlangen. Das Erkennen einer
+   rein redaktionellen Änderung ist semantisch schwierig; keine pauschale
+   Akzeptanz beliebiger Änderungen ohne Prüfung.
+3. Bei Ablehnungen die konkrete fehlende ID oder das betroffene Feld angeben,
+   nicht nur einen allgemeinen Fehlercode. Keine zusätzliche LLM-Abfrage.
+4. Vor weiterem Kürzen alter Recherchepayloads zunächst diese Reibung beseitigen.
+
+Es wurden nur Messungen und diese Testbeschreibung gespeichert, keine
+Programmänderung und keine zusätzliche API-Anfrage vorgenommen. Erfasste
+Testdaten nach dem Lauf: 18.092.447.774 Bytes, unter der 20-GB-Vorgabe. Ein weiterer
+großer Lauf benötigt vorher wieder eine Prüfung/Bereinigung der Testdaten.
+
+Aggregierte Messdaten: `measurements/working-brief-live-test-20261016.json`.