VianoBugAnalysis/docs/working-brief-live-test-20261016.md

# Bug 17: Live-Test des Investigation-Arbeitsstands

Code: `816f525`. Workspace: `bug17-working-brief-20261016`.
Vergleich: `bug17-stable-case-cache-20261016`, historischer v11-Stand.
Beide auf 20 Dispatches begrenzt, beide YIELDED, keine abgeschlossene Diagnose.
Referenzlösung nicht an das Modell übergeben. Der ursprüngliche Fehler ist im
bereitgestellten Source-Stand bereits behoben; ein begründetes ergebnisloses
Analyseende wäre fachlich akzeptabel. Ein technischer Block ist davon zu trennen.

## Gemessene Werte

| Metrik | Vorher | Neuer Lauf |
|---|---:|---:|
| Nutzerberichtete Kosten | 0,34 EUR | 0,31 EUR (7,40 → 7,71) |
| Gesamtdauer, Observer-Start bis -Ende | 20:02,6 | 8:42,3 |
| Summierte Provider-Zeit, alle Phasen | 275,453 s | 409,328 s |
| LLM-Antworten gesamt / Investigation | 21 / 17 | 21 / 17 |
| Inputtokens gesamt, einschließlich Cache | 658.995 | 576.864 |
| Outputtokens gesamt, einschließlich Thinking | 31.378 | 45.814 |
| Thinkingtokens, Teilmenge des Outputs | 22.227 | 31.279 |
| Gecachte Eingabetokens gesamt | 339.779 | 367.761 |
| Investigation: ungecachte Eingabetokens | 249.274 | 138.936 |
| Investigation: Outputtokens einschließlich Thinking | 24.345 | 38.473 |
| Investigation: Live-Transport, UTF-8 | 645.032 B | 396.109 B |
| Intern abgelehnte Investigation-Antworten | 1 | 7 |

Die Gesamtlaufzeit umfasst lokale Verarbeitung und Modellaufrufe. Die deutlich
kleinere lokale Restzeit ist mit der zuvor implementierten Checkpoint-Optimierung
vereinbar, aber der Test isoliert diese Ursache nicht. Der neue Provider-Anteil
ist trotz kürzerer Gesamtdauer höher. Die Eingangsdaten sind dieselben, aber
Hypothesenanzahl, Queries und Fortschritt verschieden; der Vergleich ist kein
kontrollierter Nachweis einer pro erfolgreichem Untersuchungsschritt erreichten
Kostenersparnis.

## Inhaltliche Bewertung

- Der Arbeitsstand wurde angelegt, versioniert und weitergeführt.
- H1 wechselte von einer anfangs noch falschen Unterstützungseinstufung zu
  `weakened`: der belegte QuestAccept-Override, die passende Quest-ID und der
  Aufruf von StartEvent wurden schließlich als Gegenbelege eingeordnet.
- Danach wechselte der Scheduler zu H2. H1 wurde nicht mehr wie im alten Lauf
  über 13 Iterationen bei `supported` bevorzugt weiterverfolgt.
- H2 ist im gespeicherten Zustand noch `plausible`. Die letzte Modellantwort
  wollte H2 wegen des gefundenen Core-Dispatchs ebenfalls abschwächen; diese
  Antwort wurde jedoch wegen Referenzinkonsistenz verworfen. Das ist kein
  fehlendes Gegenargument, sondern ein technischer Vertragsfehler.
- H3 ist nach dem initialen Durchlauf noch `unassessed`. Budgets sind erhalten:
  H1 76, H2 79, H3 90. Es wurde kein Budgetabbruch ausgelöst.
- Die Briefs enthalten teilweise veraltete neutrale Aussagen, etwa einen noch
  unbestätigten Callback, obwohl andere Hypothesen inzwischen weiter sind.
  Vollständige Belege sind weiterhin vorhanden; ihre semantische Zusammenführung
  ist nicht durch das Speicherformat garantiert.

## Technische Reibung und wirtschaftliche Bewertung

Alle 17 Investigation-Antworten nutzten den Cache mit je 21.633 gecachten Tokens:
2 Erstellungen, 15 Wiederverwendungen. Der Cache funktioniert.

Sieben Antworten wurden verworfen:

- 2 × `INVESTIGATION_BRIEF_CHANGE`: ein bestehender Befund wurde ohne den
  vorgeschriebenen Änderungseintrag umformuliert/erweitert.
- 2 × `INVESTIGATION_BRIEF_REFERENCE`: fortgeschriebene neutrale Befunde
  referenzierten E000001, das in `update.evidence_refs` fehlte.
- 1 × `INVESTIGATION_CAUSAL_EFFECT`: `mixed` ohne Gegenbelege.
- 2 × `LLM_OUTPUT_SCHEMA`: `additionalProperties` beziehungsweise `oneOf`.
  Die gespeicherten sicheren Diagnosen enthalten nicht die exakten fehlerhaften
  Antwortfelder; eine genauere Behauptung wäre nicht belegt.

Die neue Pflicht, dieselben Referenzen zusätzlich an mehreren Stellen aufzuführen,
und eine exakte Gleichheit auch bei rein redaktionellen Befundänderungen erzeugen
vermeidbare Reibung. Die Ablehnungen erfolgten kontrolliert und vor Toolausführung/
Budgetabrechnung; dennoch kosten ihre Modellantworten Tokens und Zeit. Sie
verbrauchten 16.370 Outputtokens und 139,733 s Provider-Zeit; der konfigurierte
Schätzwert beträgt 0,123744075 USD, ausdrücklich nicht EUR-Rechnungsbetrag.

Der Input wurde kleiner, aber der Gesamterfolg ist wirtschaftlich noch nicht
ausreichend: nur 10 von 17 Investigation-Antworten wurden angenommen, gegenüber
16 von 17 vorher. Outputtokens steigen insgesamt um rund 46 %, in der Investigation
um rund 58 %. Die berichtete Kostenersparnis von 0,03 EUR rechtfertigt keine
Behauptung gleicher Qualität bei gleichem Fortschritt.

## Nächster sinnvoller Schritt

Vor einer Fortsetzung die Brief-Schnittstelle vereinfachen:

1. Redundante Referenzmengen deterministisch ableiten, statt das Modell dieselben
   IDs mehrfach fehlerfrei wiederholen zu lassen. Unbekannte Belege bleiben
   verboten; keine unbemerkte Umwandlung einer semantisch falschen Bewertung.
2. Die Nachvollziehbarkeit kleiner Text-/Scope-Präzisierungen möglichst beim
   Controller protokollieren. Explizite Begründungen für entfernte oder in ihrer
   kausalen Richtung geänderte Befunde weiterhin verlangen. Das Erkennen einer
   rein redaktionellen Änderung ist semantisch schwierig; keine pauschale
   Akzeptanz beliebiger Änderungen ohne Prüfung.
3. Bei Ablehnungen die konkrete fehlende ID oder das betroffene Feld angeben,
   nicht nur einen allgemeinen Fehlercode. Keine zusätzliche LLM-Abfrage.
4. Vor weiterem Kürzen alter Recherchepayloads zunächst diese Reibung beseitigen.

Es wurden nur Messungen und diese Testbeschreibung gespeichert, keine
Programmänderung und keine zusätzliche API-Anfrage vorgenommen. Erfasste
Testdaten nach dem Lauf: 18.092.447.774 Bytes, unter der 20-GB-Vorgabe. Ein weiterer
großer Lauf benötigt vorher wieder eine Prüfung/Bereinigung der Testdaten.

Aggregierte Messdaten: `measurements/working-brief-live-test-20261016.json`.