Archive standalone token usage reports and retention rules

This commit is contained in:
Nico committed 2026-10-20 10:59:33 +02:00
1 parent 3872735c0a
commit 3beac3bd1c
8 files changed
+1829

No files matched your search

+7
View File
@@ -15,3 +15,10 @@
- Kostenpflichtige LLM-Testläufe führt der Nutzer selbst aus, sofern er nicht ausdrücklich eine andere Ausführung beauftragt.
- Lokale Commits sind erlaubt. Nicht pushen; der Nutzer führt Pushes selbst durch.
- `docs/architecture.md` ist die maßgebliche Designspezifikation und darf ohne ausdrücklichen Auftrag nicht geändert werden.
## Dauerhafte Testmetriken
- Nach jeder ausgewerteten LLM-Testausführung die Tokenbilanz unabhängig vom Case-Paket unter `docs/test-results/token-usage/` sichern. Vor dem Entfernen eines Test-Workspaces das Vorhandensein des Berichts prüfen.
- Gesamtverbrauch einschließlich Korrektur-/Wiederholungsaufrufen und bereinigte Phasenbilanzen getrennt ausweisen; gemeinsame Aufrufe nur einmal zählen. Fehlende Werte bleiben als unbekannt gekennzeichnet. Denktokens nicht erneut zu Ausgabetokens addieren, wenn sie darin bereits enthalten sind.
- Lauf-/Case-Identität, Ergebnis und Messumfang, Prompt-/Modellversionen, Konfigurations-/Quellenhashes, Cachewerte, verfügbare API-/Falllaufzeiten sowie Kostenstände mit Abrechnungsstatus festhalten. Bereits berichtete Snapshots erhalten, spätere Fortschritte als neue Snapshots ergänzen.
- Berichte enthalten keine Prompts, vollständigen Antworten, Secrets oder Konfigurationsinhalte. Die kleinen Metrikberichte und Vergleiche dürfen langfristig versioniert bleiben; sie zählen zum Speicherbudget für Testdaten.