LLM-Evaluation in Produktion

Die Demo überzeugt. Zwei Wochen später ändert jemand das Modell. Die Antworten werden unsicherer. Fehlt Evaluation, merkt das niemand rechtzeitig.

Was Evaluation hier heißt

Nicht ein einmaliger Blindtest mit fünf Lieblingsfragen. Ein festes Set: Frage, erwartete Quelle oder erwartete Entscheidung, wer das Set pflegt. Nach jedem Prompt-, Modell- oder Index-Wechsel läuft dasselbe Set.

Ohne das ist „besser“ ein Gefühl. In einem Audit zählt Gefühl nichts.

Was ich messe

Trifft die Antwort die Quelle, die ein Mensch öffnen kann?

Sagt das System Nein, wenn die Basis fehlt?

Bleibt die Halluzinationsrate nach einem Modellwechsel stehen?

Steigt die Kostenlinie, ohne dass die Qualität steigt?

Werkzeuge wie RAGAS helfen. Sie ersetzen die Regel nicht. Die Regel sitzt im Ablauf: messen, dann ändern. Nicht umgekehrt.

Typischer Fund

Ein Team wechselt von einem kleinen auf ein größeres Modell. Die Texte klingen besser. Die Quellenquote fällt. Revision hätte das erst in der Abnahme gesehen. Mit einem Set von 40 Fragen wäre es am Tag des Wechsels sichtbar gewesen.

Das hängt an Quellenbindung. Evaluation ohne Beleg prüft Stil. Evaluation mit Beleg prüft, ob live gehen darf.

Was der Readiness-Check daraus macht

An Tag 3 des LLM-Readiness-Checks schaue ich, ob ein Set existiert und ob jemand es nach einem Change laufen lässt. Fehlt es, steht das im Bericht als Blocker, nicht als Nice-to-have.

Verwandt: Antworten rekonstruieren, Hybrid-RAG. Die Leistung sitzt unter KI-Engineering. Der Beweis aus der Praxis: der Audit-Assistent.