opsmith / Track

LLMOps

Architektur-Urteil für produktive AI-Systeme: RAG-Aufbau, Retrieval-Qualität, Evaluation und Security — als Entscheidungs-Szenarien im ADR-Format, nicht als Tutorial.

Track Boss · Abschlusslage

Security

Der Abschluss-Check des Tracks: begründe deine Entscheidung unter den Trade-offs der vorherigen Module.

Boss betreten →

RAG-System-Architektur

Retrieval-Verfahren, Chunking, Embeddings und Kontextgröße — die Grundsatzentscheidungen, bevor die erste Zeile RAG-Code steht.

13 Lektionen · Decision Checks

RAG Data Lifecycle: Rechte, Qualität, Löschung

Retrieval beginnt vor dem Index und endet nicht beim Re-Embedden: Dokumente aufnehmen, Berechtigungen erhalten, Qualität messen, Änderungen nachvollziehen und Daten zuverlässig entfernen.

5 Lektionen · 1 Mission

RAG-Qualität

Wenn Retrieval läuft, aber die Präzision nicht stimmt: Reranking, Query-Rewriting, Fusionsgewichtung und Grounding.

12 Lektionen · Decision Checks

Evaluation

„Fühlt sich besser an“ ist keine Metrik: Eval-Sets, LLM-as-Judge und Regressionsgates in CI.

12 Lektionen · Decision Checks

Security

Prompt Injection, Excessive Agency, Datenschutz und unsichere Output-Verarbeitung — die OWASP-LLM-Risiken, die in Produktion tatsächlich auftreten.

11 Lektionen · Decision Checks