Derive final diagnosis references and provide targeted correction feedback

2026-10-17 11:57:21 +02:00
1 parent 49095ac803
commit cf69aa3aa9
@@ -0,0 +1,41 @@
+# Schlankere finale Diagnose v6
+
+Neue Anfragen verwenden diagnosis_v6 beziehungsweise diagnosis_early_v6.
+Gespeicherte Anfragen v1–v5 behalten ihre bisherigen Prompts, Verträge und
+Wiederaufnahmeprüfung. Die kanonische Diagnose bleibt im bisherigen Format.
+
+Die LLM darf die redundante Gesamtbegründung `reason` weglassen. Der Controller
+leitet sie aus `decision_basis.causal_explanation` ab. Ursachenbeschreibung,
+Bewertung und Gegenprüfung bleiben semantische Aufgaben der LLM; der neue
+Prompt verlangt dort keine wiederholte Gesamtargumentation.
+
+Bei einer bestätigten Diagnose ergänzt der Controller die Ursachenbelege in
+der Belegliste der ausgewählten Hypothese. Andere Bewertungen und Gegenprüfungen
+werden nicht verändert. Es werden keine Belege erfunden, keine Bewertungen
+umgestuft und keine Beweisqualität aus der Referenzübernahme abgeleitet.
+Unbekannte IDs, reine Schemabelege als Ursachenbeweis, fehlende Gegenprüfung und
+unaufgelöste materielle Widersprüche werden weiterhin abgelehnt.
+
+Originalantworten bleiben unverändert im LLM-Protokoll. Die abgeleitete Diagnose
+wird separat gespeichert. Wiederaufnahme und portabler Replay prüfen dieselbe
+deterministische Ableitung gegen die gebundene Originalantwort.
+
+Validierungsfehler speichern bei Beleg- und Gegenprüfungsfehlern Feld und konkrete
+Anforderung. Die nächste Anfrage erhält diese Hinweise sowie spezifische
+Anweisungen für Auswahl, Widersprüche, Unsicherheit und unzureichende Kausalität.
+Ältere Promptversionen erhalten weiterhin ihre eingefrorenen Rückmeldungen.
+
+## Offline-Prüfung am Live-Test vom 17.10.2026
+
+Bug 20 endete bei OUTPUT_READY, 19 Dispatches, 18 LLM-Aufrufen und 8:10 Minuten.
+Kostenstand 7,98 → 8,29 EUR: 0,31 EUR. Investigation: zehn Aufrufe ohne ungültige
+Antwort, 23.931 Ausgabe-Tokens einschließlich Denken gegenüber zuvor 26.735.
+Finale Diagnose: drei statt einem Aufruf, zweimal DIAGNOSIS_UNGROUNDED.
+
+Beide abgelehnten Originalantworten führten E000004 in der Ursache, aber nicht
+in der Bewertung der ausgewählten H1. Offline bestehen beide nach der neuen
+Referenzableitung die unveränderte fachliche Validierung. Ihre Argumentation
+wurde dabei nicht umgeschrieben. Das ist kein neuer Live-Test und keine Zusage
+über zukünftige Gesamtkosten.
+
+Messdaten: measurements/bug20-lean-reply-live-20261017.json.
@@ -0,0 +1,56 @@
+{
+  "code_commit": "49095ac",
+  "cost_eur_start": 7.98,
+  "cost_eur_end": 8.29,
+  "cost_eur_delta": 0.31,
+  "duration_seconds": 490.408729,
+  "dispatches": 19,
+  "calls": 18,
+  "phases": {
+    "BUILDING_DIAGNOSIS": {
+      "calls": 4,
+      "input_tokens": 81989,
+      "output_tokens": 19441,
+      "reasoning_tokens": 13613,
+      "cached_input_tokens": 41584,
+      "elapsed_seconds": 126.82900000000001
+    },
+    "GENERATING_HYPOTHESES": {
+      "calls": 1,
+      "input_tokens": 15529,
+      "output_tokens": 4564,
+      "reasoning_tokens": 3119,
+      "cached_input_tokens": 0,
+      "elapsed_seconds": 32.657
+    },
+    "INTERPRETING_CASE": {
+      "calls": 3,
+      "input_tokens": 60953,
+      "output_tokens": 3451,
+      "reasoning_tokens": 740,
+      "cached_input_tokens": 0,
+      "elapsed_seconds": 25.234
+    },
+    "INVESTIGATING_HYPOTHESES": {
+      "calls": 10,
+      "input_tokens": 287649,
+      "output_tokens": 23931,
+      "reasoning_tokens": 18351,
+      "cached_input_tokens": 228710,
+      "elapsed_seconds": 169.45399999999998
+    }
+  },
+  "investigation_invalid_responses": 0,
+  "diagnosis_rejections": [
+    {
+      "code": "DIAGNOSIS_UNGROUNDED",
+      "reason": "E000004 cited in root cause but omitted from selected H1 evaluation references; repeated twice."
+    },
+    {
+      "code": "DIAGNOSIS_UNGROUNDED",
+      "reason": "E000004 cited in root cause but omitted from selected H1 evaluation references; repeated twice."
+    }
+  ],
+  "result": "OUTPUT_READY",
+  "quality": "Known missing 23487 map-0 spawns identified; SQL placeholders and suitable human-approved coordinates requested. Static Horde spawns do not exhaustively exclude dynamic Alliance paths; diagnosis wording remains too categorical."
+}