opsmith / llmops / Modul

Evaluation

„Fühlt sich besser an“ ist keine Metrik: Eval-Sets, LLM-as-Judge und Regressionsgates in CI.

EINFÜHRUNGEvaluation: „fühlt sich besser an“ ist keine Metrik~9 Min
ADR-001EVALUATIONsolide
ADR-002EVAL-SET-BAUsolide
ADR-003METRIK-WAHLsolide
ADR-004KOMPONENTEN-EVALsenior
ADR-005EVAL-SET-PFLEGEsenior
ADR-006LLM-AS-JUDGEsenior
ADR-007JUDGE-DESIGNsenior
ADR-008ONLINE-EVALsenior
ADR-009SCHWELLENWERTEsenior
ADR-010CI-GATEprincipal
ADR-011HUMAN-EVALprincipal