Wie bleiben KI-Agenten kontrollierbar, wenn sie Werkzeuge aufrufen, Zustände verändern und mehrstufige Aufgaben bearbeiten?
Der Deep Dive verbindet begrenzte Handlungsfreiheit mit Evaluation und Monitoring. Werkzeugrechte, Zustände, Abbruchbedingungen und menschliche Freigaben werden gemeinsam mit realistischen Testfällen und Betriebssignalen entwickelt.
Werkzeuge, Funktionsrechte, Identitäten und Zustandsverwaltung
Prompt Injection, indirekte Anweisungen und Excessive Agency
Szenariobasierte Evaluation mehrstufiger Abläufe
Tracing, Kosten, Abbruch, Freigabe, Fallback und Incident Response
Lernziele
Was Teilnehmende anschließend können sollen
1
Handlungsfreiheit begrenzen
Werkzeuge, Berechtigungen, Zustände, Budgets und Stopps so gestalten, dass der Agent kontrollierbar bleibt.
2
Mehrstufiges Verhalten evaluieren
Erfolg, Fehlentscheidungen, Abweichungen und unerlaubte Werkzeugnutzung in reproduzierbaren Szenarien prüfen.
3
Betrieb und Eingriff vorbereiten
Tracing, Kennzahlen, Warnsignale, menschliche Freigaben, Fallbacks und Vorfallwege zusammenführen.
Anwendung
Praxisaufgabe und Ergebnisartefakte
Praxisaufgabe
Agentenlauf und Kontrollpunkte bewerten: Einen mehrstufigen Ablauf mit Werkzeugaufrufen prüfen, Fehlerszenarien ergänzen und Eingriffs-, Abbruch- sowie Freigabepunkte festlegen.
Ergebnisartefakte
Agenten- und Werkzeugmatrix mit Berechtigungsgrenzen
Evaluationsplan für Normal-, Fehler- und Angriffsszenarien
Monitoring-, Abbruch- und Eingriffskriterien für den Betrieb
Durchführung
Mögliche Formate
1
Technischer Deep Dive
Architektur, Kontrollen und Ergebnisartefakte mit hohem Praxisanteil erarbeiten.
Dauer: halber oder ganzer Tag · Gruppengröße: typisch 6–16 Personen
