LLM-Evaluierung

LLM-Evaluierung („Evals“) ist die Art, wie Sie ein Feature testen, das auf einem Large Language Model aufbaut: Sie lassen es über einen festen Satz von Eingaben laufen, bewerten jede Ausgabe nach definierten Kriterien und verfolgen die Scores über die Zeit. Klassische Tests prüfen einen exakten erwarteten Wert. LLM-Ausgaben sind Freitext, der von Lauf zu Lauf variiert; die Evaluierung ersetzt exakte Gleichheit daher durch eine Mischung aus deterministischen Prüfungen, bewerteten Scores und menschlichem Review und beurteilt das Feature anhand von Bestehensquoten über viele Fälle statt anhand eines einzelnen Beispiels.

Beispiel

Ein Klassifikator für Support-Tickets, evaluiert gegen einen gelabelten Datensatz:

import { readFileSync } from 'node:fs';
import { classifyTicket } from '../src/classifier';

type Case = { input: string; expected: 'billing' | 'bug' | 'account' | 'other' };
const cases: Case[] = JSON.parse(readFileSync('evals/tickets.json', 'utf8'));

let correct = 0;
for (const c of cases) {
  const result = await classifyTicket(c.input);
  if (result.label === c.expected) correct++;
  else console.log(`MISS expected=${c.expected} got=${result.label} :: ${c.input}`);
}

const accuracy = correct / cases.length;
console.log(`accuracy ${(accuracy * 100).toFixed(1)}% over ${cases.length} cases`);
if (accuracy < 0.9) process.exit(1); // regression gate

Arten von Prüfungen, von der zuverlässigsten zur unzuverlässigsten

• Deterministisch. Gültiges JSON, passt zu einem Schema, enthält ein Pflichtfeld, bleibt unter einer Längengrenze, wählt ein Label aus einer erlaubten Menge. Günstig und wiederholbar; setzen Sie sie überall ein, wo sie passen.
• Referenzbasiert. Vergleich mit einer bekannten guten Antwort: exakte Übereinstimmung bei Labels oder Überlappungs- und Ähnlichkeitsscores bei Freitext. Ähnlichkeitsscores sind grob und müssen kalibriert werden.
• Modellbasiert. Ein anderes LLM bewertet die Ausgabe anhand einer Rubrik (LLM-as-a-Judge). Skaliert für offenen Text, bringt aber eigene Fehler mit.
• Menschliches Review. Am vertrauenswürdigsten bei nuancierter Qualität und die Referenz, an der Sie die automatischen Prüfungen kalibrieren.

Was etabliert ist und was sich noch bewegt

Etabliert: Evaluierung auf einem versionierten Datensatz, Evals bei jeder Prompt- oder Modelländerung, Verfolgung der Scores über die Zeit und Einbeziehung von Angriffsfällen wie Prompt Injection. Noch in Bewegung: die Wahl der Metriken für offene Textgenerierung, wie weit man modellbasierten Scores trauen kann, und das Tooling, das sich schnell ändert.

Häufige Fehler

Eine Änderung anhand einer Handvoll manueller Chats beurteilen; zu wenige Fälle verwenden, um eine echte Änderung von Rauschen zu unterscheiden; jeden Fall nur einmal ausführen, obwohl die Ausgaben variieren (mehrfach ausführen und die Streuung berichten); und den Eval-Satz veralten lassen, während sich der echte Nutzertraffic verschiebt.