So prüfe ich einen KI-Assistenten
How I test an AI assistant
Ein KI-Assistent antwortet nicht jedes Mal gleich. Trotzdem muss ein Unternehmen wissen, ob er verlässlich ist. Hier zeige ich in fünf Schritten, wie ich so ein System prüfbar mache.
An AI assistant does not answer the same way twice. A company still has to know whether it can rely on it. Here are the five steps I use to make such a system testable.
Illustratives Beispiel: ein interner Assistent, der Fragen zu technischen Handbüchern beantwortet. Es enthält keine Daten, Systeme oder Ergebnisse eines Arbeitgebers oder Kunden.
Illustrative example: an internal assistant that answers questions about technical manuals. It contains no data, systems or results from any employer or client.
Risiken klären, bevor getestet wird
Clarify the risks before testing
Zuerst frage ich: Was wäre der teuerste Fehler? Daraus folgen die Prioritäten.
First I ask: what would be the most expensive mistake? The priorities follow from that.
- Erfundene Zahlen oder Quellen (Halluzination)
- Eingeschleuste Anweisungen in Nutzertexten oder Dokumenten (Prompt Injection)
- Weitergabe interner Informationen
- Stille Verschlechterung nach einem Modell- oder Prompt-Wechsel
- Invented figures or sources (hallucination)
- Instructions smuggled in through user text or documents (prompt injection)
- Leaking internal information
- Silent degradation after a model or prompt change
Eine feste Testbasis aufbauen
Build a fixed test set
Ich stelle einen festen Fragenkatalog zusammen, gemeinsam mit den Fachleuten, die die Antworten kennen. Zu jeder Frage gehört ein erwartetes Verhalten, nicht ein exakter Text.
I put together a fixed set of questions with the domain experts who know the answers. Each question has an expected behaviour, not an exact wording.
- Beantwortbar: Die Antwort steht im Handbuch und muss die Quelle nennen.
- Nicht beantwortbar: Der Assistent muss sagen, dass er es nicht weiß.
- Angriffe: Texte mit versteckten Anweisungen, die er ignorieren muss.
- Answerable: the answer is in the manual and must cite the source.
- Unanswerable: the assistant must say it does not know.
- Attacks: texts with hidden instructions that it must ignore.
Automatisieren, wo es geht
Automate where possible
Die Tests laufen in der bestehenden Pipeline, zum Beispiel mit Python oder Robot Framework und Jenkins. Ich kombiniere drei Arten von Prüfungen:
The tests run in the existing pipeline, for example with Python or Robot Framework and Jenkins. I combine three kinds of checks:
- Feste Regeln: Format, Quellenangabe vorhanden, keine verbotenen Inhalte.
- Inhaltlicher Vergleich: Stimmt die Antwort mit der Referenz überein? Ein zweites Modell kann bewerten, ein Mensch prüft Stichproben.
- Sicherheit: Ein Satz Angriffstexte bei jedem Lauf.
- Fixed rules: format, a source is cited, no forbidden content.
- Content comparison: does the answer match the reference? A second model can score it; a person reviews samples.
- Security: a set of attack texts on every run.
Klare Freigaberegeln
Clear release rules
Vor dem Test wird festgelegt, was eine Freigabe verhindert. So entscheidet nicht das Bauchgefühl.
What blocks a release is agreed before testing. That way gut feeling does not decide.
Im Betrieb weiter prüfen
Keep testing in operation
Nach jedem Wechsel von Modell, Prompt oder Dokumenten läuft der Fragenkatalog erneut. Echte Fragen aus dem Betrieb, die schiefgingen, wandern als neue Testfälle in den Katalog.
After every change of model, prompt or documents the question set runs again. Real questions from operation that went wrong become new test cases.
Was das Team davon hat
What the team gets
- Eine nachvollziehbare Entscheidung, ob der Assistent live gehen darf
- Modellwechsel, die planbar statt riskant sind
- Ein Testkatalog, der mit jedem Fehler besser wird
- A traceable decision on whether the assistant may go live
- Model changes that are predictable instead of risky
- A test set that gets better with every failure