opsmith / Track

LLM Production Ops

Ein LLM-System bauen lehren die anderen Tracks — dieser lehrt, es laufen zu lassen: beobachten, was in Produktion passiert, Qualitätsdegradation ohne Ground-Truth erkennen, Prompts und Modelle sicher ausrollen und im Störfall einen probabilistischen Dienst betreiben. Das „Ops“ in LLMOps und die Brücke zur klassischen SRE-Praxis.

Track Boss · Abschlusslage

Reliabilität, SLOs & Incident

Der Abschluss-Check des Tracks: begründe deine Entscheidung unter den Trade-offs der vorherigen Module.

Boss betreten →

Observability & Telemetrie

Das System sehen: was pro Request erfassen, verteiltes Tracing über die Pipeline, Sampling, Laufzeit-Provenienz und die Metrik-vs-Trace-vs-Log-Entscheidung.

7 Lektionen · Decision Checks

Produktions-Qualität & Drift

Degradation ohne Ground-Truth erkennen: label-freie Proxy-Signale, Input- und Output-Drift, stille Modellwechsel, Regressions-Triage und die Baseline als Voraussetzung für jeden Alarm.

7 Lektionen · Decision Checks

Kosten & Kapazität steuern

Kosten, Provider-Quoten und Warteschlangen als gemeinsame Laufzeitgrenze betreiben: messen, budgetieren, priorisieren und unter Last kontrolliert degradieren.

4 Lektionen · Decision Checks

Release & Rollout

Sicher ändern — CD für LLM: Prompt und Modell als versioniertes Artefakt, Canary, Shadow-Deploy, Rollback-Trigger für Qualitätsregressionen, Modell-Pinning und der Kill-Switch.

8 Lektionen · 1 Mission

Reliabilität, SLOs & Incident

Einen probabilistischen Dienst betreiben: SLIs/SLOs definieren, Tail-Latenz, graceful degradation, Provider-Rate-Limits als Kapazitätsgrenze, Incident-Response ohne Stacktrace und Provider-Ausfallrisiko.

7 Lektionen · Decision Checks