VianoBugAnalysis/docs/working-brief-live-test-20261016.md

Bug 17: Live-Test des Investigation-Arbeitsstands

Code: 816f525. Workspace: bug17-working-brief-20261016. Vergleich: bug17-stable-case-cache-20261016, historischer v11-Stand. Beide auf 20 Dispatches begrenzt, beide YIELDED, keine abgeschlossene Diagnose. Referenzlösung nicht an das Modell übergeben. Der ursprüngliche Fehler ist im bereitgestellten Source-Stand bereits behoben; ein begründetes ergebnisloses Analyseende wäre fachlich akzeptabel. Ein technischer Block ist davon zu trennen.

Gemessene Werte

Metrik	Vorher	Neuer Lauf
Nutzerberichtete Kosten	0,34 EUR	0,31 EUR (7,40 → 7,71)
Gesamtdauer, Observer-Start bis -Ende	20:02,6	8:42,3
Summierte Provider-Zeit, alle Phasen	275,453 s	409,328 s
LLM-Antworten gesamt / Investigation	21 / 17	21 / 17
Inputtokens gesamt, einschließlich Cache	658.995	576.864
Outputtokens gesamt, einschließlich Thinking	31.378	45.814
Thinkingtokens, Teilmenge des Outputs	22.227	31.279
Gecachte Eingabetokens gesamt	339.779	367.761
Investigation: ungecachte Eingabetokens	249.274	138.936
Investigation: Outputtokens einschließlich Thinking	24.345	38.473
Investigation: Live-Transport, UTF-8	645.032 B	396.109 B
Intern abgelehnte Investigation-Antworten	1	7

Die Gesamtlaufzeit umfasst lokale Verarbeitung und Modellaufrufe. Die deutlich kleinere lokale Restzeit ist mit der zuvor implementierten Checkpoint-Optimierung vereinbar, aber der Test isoliert diese Ursache nicht. Der neue Provider-Anteil ist trotz kürzerer Gesamtdauer höher. Die Eingangsdaten sind dieselben, aber Hypothesenanzahl, Queries und Fortschritt verschieden; der Vergleich ist kein kontrollierter Nachweis einer pro erfolgreichem Untersuchungsschritt erreichten Kostenersparnis.

Inhaltliche Bewertung

• Der Arbeitsstand wurde angelegt, versioniert und weitergeführt.
• H1 wechselte von einer anfangs noch falschen Unterstützungseinstufung zu weakened: der belegte QuestAccept-Override, die passende Quest-ID und der Aufruf von StartEvent wurden schließlich als Gegenbelege eingeordnet.
• Danach wechselte der Scheduler zu H2. H1 wurde nicht mehr wie im alten Lauf über 13 Iterationen bei supported bevorzugt weiterverfolgt.
• H2 ist im gespeicherten Zustand noch plausible. Die letzte Modellantwort wollte H2 wegen des gefundenen Core-Dispatchs ebenfalls abschwächen; diese Antwort wurde jedoch wegen Referenzinkonsistenz verworfen. Das ist kein fehlendes Gegenargument, sondern ein technischer Vertragsfehler.
• H3 ist nach dem initialen Durchlauf noch unassessed. Budgets sind erhalten: H1 76, H2 79, H3 90. Es wurde kein Budgetabbruch ausgelöst.
• Die Briefs enthalten teilweise veraltete neutrale Aussagen, etwa einen noch unbestätigten Callback, obwohl andere Hypothesen inzwischen weiter sind. Vollständige Belege sind weiterhin vorhanden; ihre semantische Zusammenführung ist nicht durch das Speicherformat garantiert.

Technische Reibung und wirtschaftliche Bewertung

Alle 17 Investigation-Antworten nutzten den Cache mit je 21.633 gecachten Tokens: 2 Erstellungen, 15 Wiederverwendungen. Der Cache funktioniert.

Sieben Antworten wurden verworfen:

• 2 × INVESTIGATION_BRIEF_CHANGE: ein bestehender Befund wurde ohne den vorgeschriebenen Änderungseintrag umformuliert/erweitert.
• 2 × INVESTIGATION_BRIEF_REFERENCE: fortgeschriebene neutrale Befunde referenzierten E000001, das in update.evidence_refs fehlte.
• 1 × INVESTIGATION_CAUSAL_EFFECT: mixed ohne Gegenbelege.
• 2 × LLM_OUTPUT_SCHEMA: additionalProperties beziehungsweise oneOf. Die gespeicherten sicheren Diagnosen enthalten nicht die exakten fehlerhaften Antwortfelder; eine genauere Behauptung wäre nicht belegt.

Die neue Pflicht, dieselben Referenzen zusätzlich an mehreren Stellen aufzuführen, und eine exakte Gleichheit auch bei rein redaktionellen Befundänderungen erzeugen vermeidbare Reibung. Die Ablehnungen erfolgten kontrolliert und vor Toolausführung/ Budgetabrechnung; dennoch kosten ihre Modellantworten Tokens und Zeit. Sie verbrauchten 16.370 Outputtokens und 139,733 s Provider-Zeit; der konfigurierte Schätzwert beträgt 0,123744075 USD, ausdrücklich nicht EUR-Rechnungsbetrag.

Der Input wurde kleiner, aber der Gesamterfolg ist wirtschaftlich noch nicht ausreichend: nur 10 von 17 Investigation-Antworten wurden angenommen, gegenüber 16 von 17 vorher. Outputtokens steigen insgesamt um rund 46 %, in der Investigation um rund 58 %. Die berichtete Kostenersparnis von 0,03 EUR rechtfertigt keine Behauptung gleicher Qualität bei gleichem Fortschritt.

Nächster sinnvoller Schritt

Vor einer Fortsetzung die Brief-Schnittstelle vereinfachen:

1. Redundante Referenzmengen deterministisch ableiten, statt das Modell dieselben IDs mehrfach fehlerfrei wiederholen zu lassen. Unbekannte Belege bleiben verboten; keine unbemerkte Umwandlung einer semantisch falschen Bewertung.
2. Die Nachvollziehbarkeit kleiner Text-/Scope-Präzisierungen möglichst beim Controller protokollieren. Explizite Begründungen für entfernte oder in ihrer kausalen Richtung geänderte Befunde weiterhin verlangen. Das Erkennen einer rein redaktionellen Änderung ist semantisch schwierig; keine pauschale Akzeptanz beliebiger Änderungen ohne Prüfung.
3. Bei Ablehnungen die konkrete fehlende ID oder das betroffene Feld angeben, nicht nur einen allgemeinen Fehlercode. Keine zusätzliche LLM-Abfrage.
4. Vor weiterem Kürzen alter Recherchepayloads zunächst diese Reibung beseitigen.

Es wurden nur Messungen und diese Testbeschreibung gespeichert, keine Programmänderung und keine zusätzliche API-Anfrage vorgenommen. Erfasste Testdaten nach dem Lauf: 18.092.447.774 Bytes, unter der 20-GB-Vorgabe. Ein weiterer großer Lauf benötigt vorher wieder eine Prüfung/Bereinigung der Testdaten.

Aggregierte Messdaten: measurements/working-brief-live-test-20261016.json.