Preserve curated rejected LLM responses with context and failure analysis

This commit is contained in:
Nico committed 2026-10-19 23:33:17 +02:00
1 parent f9792586d1
commit 26cd9d3d04
44 files changed
+3237

No files matched your search

+1
View File
@@ -7,6 +7,7 @@
- Älteste Testläufe zuerst bereinigen, soweit erforderlich, um die Grenze einzuhalten. Aktuelle Vergleichsläufe nur innerhalb dieses Gesamtbudgets behalten. Vor rekursivem Löschen die aufgelösten Zielpfade prüfen; keine Quelldaten, Projektkonfiguration, Testdatenbank oder Source-Checkouts mitlöschen.
- Langfristig ausschließlich das Ergebnis und eine Beschreibung des Testlaufes archivieren. Die Beschreibung sollte Eingaben/Referenzen, Code- und Konfigurationsstand ohne Geheimnisse, Testziel, Ergebnisbewertung sowie verfügbare Laufzeit-, Token-, Cache- und Kostenmetriken festhalten.
- Vollständige Zwischenstände, Paketgenerationen, Request-/Response-Dumps und temporäre Arbeitskopien sind keine dauerhaften Testarchive. Ein finales Ergebnispaket darf als Ergebnis archiviert werden.
- Ausdrücklich ausgenommen vom Verbot langfristiger Request-/Response-Dumps ist das vom Nutzer beauftragte, kleine und kuratierte Fehlerkorpus unter `tests/fixtures/llm_rejections/`: ausgewählte abgelehnte Antworten mit benötigtem Prüfkontext und Fehleranalyse dürfen dort dauerhaft versioniert bleiben. Es sind keine vollständigen Testlaufarchive. Das Korpus darf bei der automatischen Testlaufbereinigung nicht mitgelöscht werden und zählt weiterhin zum gesamten Speicherbudget für Entwicklungs-/Testdaten.
- Diese Aufbewahrungsregel erlaubt keine Entfernung einzelner Inhalte aus einer erhaltenen Case-Akte. Paketinhalt und lokale Aufbewahrung vollständiger Testläufe bleiben getrennte Anliegen.
## Ausführung