Agentische KI verändert, was eine Technologiebewertung leisten muss. Erzeugt ein KI-System nur eine Antwort, prüft eine Person das Ergebnis und entscheidet, ob sie es verwendet. Ein Agent geht weiter: Er sammelt Kontext, wählt Werkzeuge aus, trifft Entscheidungen und führt eine Folge von Aktionen im gesamten Softwareentwicklungszyklus aus.
Die zentrale Frage eines Pilotprojekts lautet deshalb nicht, ob der Agent ein beeindruckendes Ergebnis liefern kann. Entscheidend ist vielmehr: Welche Nachweise würden ausreichen, um diesen Agenten zu ermächtigen, diesen Workflow für dieses Team auszuführen?
Eine Feature-Checkliste oder eine Sammlung gelungener Demos kann diese Frage nicht beantworten. Führungskräfte brauchen Nachweise zur vollständigen Erledigung von Aufgaben, zur Zuverlässigkeit, zur Durchsetzung von Kontrollen, zum menschlichen Aufwand, zum Betriebsrisiko und zur Wirtschaftlichkeit. Dieser Artikel stellt einen Rahmen vor, mit dem sich diese Nachweise erbringen lassen und aus einem Pilotprojekt für agentische KI eine belastbare Entscheidung wird.
Mit der Entscheidung beginnen statt mit der Technologie
Ein Pilotprojekt sollte bei der Entscheidung ansetzen, die es unterstützen soll. "Agentische KI bewerten" ist zu allgemein. Eine brauchbare Entscheidung benennt den Workflow, die Nutzer(innen), die angestrebte Autonomiestufe, das Ergebnis, das der Agent liefern muss, die Akzeptanzkriterien und Metriken, die Erfolg definieren, den erwarteten messbaren Effekt und die Bedingungen, unter denen das Team weitermacht.
So könnte eine solche Entscheidung lauten: Entscheiden, ob ein KI-Agent ausgewählte Fehler in CI/CD-Pipelines diagnostizieren und einen Merge Request mit einer vorgeschlagenen Korrektur vorbereiten kann, der die Tests der Pipeline besteht und vom Entwicklungsteam angenommen wird, innerhalb festgelegter Berechtigungen für das Repository und mit einem um mindestens 25 % geringeren Gesamtaufwand für die Behebung gegenüber dem aktuellen Ausgangswert.
Das ist hilfreicher als "einen KI-Agenten für Pipelines testen", weil Ergebnis, Akzeptanzkriterien, Kontrollgrenze und messbares Ziel feststehen, bevor irgendetwas läuft.
Auch der nächste Schritt bei Erfolg sollte vorab geklärt sein: ein begrenzter Rollout mit einem Team, die Ausweitung auf weitere Teams oder eine höhere Autonomiestufe. Ohne eine vereinbarte nächste Entscheidung wird aus einem Pilotprojekt schnell ein Experiment ohne Ende.
Angestrebte Autonomiestufe festlegen
Agentische KI ist nicht einfach "autonom" oder "nicht autonom". Derselbe Agent kann mit unterschiedlich weitreichenden Befugnissen arbeiten. Für ein Pilotprojekt eignet sich ein Modell mit vier Stufen:
- Empfehlen: Der Agent analysiert die Situation und empfiehlt eine Aktion.
- Vorbereiten: Der Agent erstellt ein Artefakt, etwa einen Merge Request, ein Issue oder einen Behebungsplan, wendet es aber nicht an.
- Mit Freigabe ausführen: Der Agent handelt erst, nachdem eine berechtigte Person zugestimmt hat.
- Innerhalb von Grenzen ausführen: Der Agent handelt selbstständig innerhalb eines festgelegten Rahmens und eskaliert Ausnahmen.
Getestet werden sollte die Stufe, die das Team realistisch freigeben könnte. Eine Bewertung nur auf der Stufe Empfehlen sagt wenig darüber aus, ob der Agent Änderungen sicher ausführen kann. Weitreichende Autonomie schon in einer frühen Bewertung zu gewähren, erhöht das Risiko, ohne Nachweise zu liefern.
Autonomie muss sich durch Nachweise verdienen. Ein Team kann mit Empfehlungen beginnen, dann zu vorbereiteten Änderungen übergehen und eine Ausführung innerhalb von Grenzen erst erwägen, wenn der Agent ausreichende Zuverlässigkeit und die Einhaltung der Kontrollen gezeigt hat.
Workflows als Ganzes bewerten statt einzelner Antworten
Die klassische Bewertung von Modellen konzentriert sich auf die Qualität der Antworten. Bei Agenten muss die Bewertung dagegen prüfen, ob eine Aufgabe vollständig erledigt wird.
Das zeigt sich etwa bei einem Agenten, der bei einer fehlgeschlagenen Pipeline hilft. Eine plausible Erklärung ist noch nicht das Ergebnis. Der Workflow kann vom Agenten verlangen:
- den relevanten Job und die Logs zu finden und die eigentliche Ursache von Folgesymptomen zu trennen,
- die richtige Konfiguration und den richtigen Code zu prüfen und eine gültige Korrektur ohne sachfremde Änderungen vorzuschlagen,
- ein prüfbares Artefakt zu erstellen und die richtigen Validierungsschritte auszulösen,
- zu eskalieren, wenn die eigene Sicherheit in der Einschätzung oder die Berechtigung nicht ausreicht.
Erfolg wird auf der Ebene des Workflows definiert: Hat der Agent das angestrebte Ergebnis korrekt, im Rahmen seiner Befugnisse und mit vertretbarem menschlichem Aufwand erreicht? So besteht eine überzeugend klingende Erklärung die Bewertung nicht, wenn der Agent keine verlässlich nützliche Arbeit leistet.
Evaluierungsdatensatz aus repräsentativer Arbeit aufbauen
Ein entscheidungsreifes Pilotprojekt braucht einen Evaluierungsdatensatz, der die Arbeit abbildet, die dem Agenten tatsächlich begegnen wird, und nicht Szenarien, die die Technologie in gutem Licht zeigen. Für jeden Workflow gehören dazu:
- Realistische Aufgaben: häufige, gut verstandene Aufgaben ebenso wie komplexe, aber gültige
- Schwierige Eingaben: mehrdeutige Anfragen mit fehlendem oder widersprüchlichem Kontext und, wo angebracht, unsichere oder gezielt manipulierte Eingaben
- Fälle, die der Agent nicht allein erledigen darf: erwartete Fehlschläge, Anfragen außerhalb seiner Berechtigungen und folgenreiche Aktionen, die eine menschliche Freigabe erfordern
Wo immer möglich, sollten anonymisierte Beispiele aus echten Workflows zum Einsatz kommen. Generische Übungen blenden genau die Abhängigkeiten, Coding-Standards, Richtlinien und Zuständigkeitsgrenzen aus, die Arbeit in Unternehmen schwierig machen.
Hinzu kommen ausdrückliche Akzeptanzkriterien: eine bekannte richtige Diagnose, Tests, die bestehen müssen, ein erwartetes Ergebnis der Sicherheitsrichtlinien oder ein von Fachleuten ausgefülltes Bewertungsraster. Fehlen sie, bewerten Prüfende, wie überzeugend ein Ergebnis wirkt. Die Ergebnisse lassen sich dann kaum vergleichen und leicht überschätzen.
Verteilung der Ergebnisse messen statt des besten Laufs
Agentische Systeme verhalten sich anders, wenn sich Eingabe, Kontext oder Ausführungszustand ändern. Ein einzelner erfolgreicher Lauf sagt deshalb wenig über die Zuverlässigkeit aus. KI-Ergebnisse sind variabel und kontextabhängig, und die Bewertung muss daher nach Mustern über repräsentative Szenarien hinweg suchen statt nach Einzelergebnissen. Bei Agenten kommt eines hinzu: Die Variabilität kann Aktionen betreffen, nicht nur Antworten.
Wichtige Szenarien sollten deshalb mehrfach und unter variierten Bedingungen laufen. Gemessen werden:
- Ergebnisse der Aufgaben: Erfolgsquote über den gesamten Ablauf, Annahmequote durch Prüfende und Fehlerquote nach Szenariotyp
- Menschliche Beteiligung: Eingriffs- und Eskalationsquote sowie Nacharbeit, die der Agent verursacht
- Kontrollen und Belastbarkeit: Verstöße gegen Richtlinien oder Berechtigungen sowie Latenz und Erholung nach Fehlern bei Werkzeugen, Kontext oder Workflow
Ziel ist nicht der Beweis, dass sich der Agent immer gleich verhält. Ziel ist, die Verteilung der Ergebnisse zu verstehen und zu entscheiden, ob sie für den vorgesehenen Einsatz akzeptabel ist. Wo Vorhersagbarkeit unverzichtbar ist, etwa im Release-Management, gehört der Agent nicht in den Ausführungspfad. Er bereitet das Artefakt vor, etwa ein Deployment-Skript, und die Pipeline führt dieses Skript aus. So bleibt die Ausführung deterministisch, und die Variabilität des Agenten beschränkt sich auf das, was Prüfende vorab einsehen können. Dasselbe Muster funktioniert im Betrieb: Ein Agent kann beurteilen, ob ein Rollback nötig ist, während der Rollback selbst als getestetes Skript läuft. In beiden Fällen misst das Pilotprojekt die Qualität dessen, was der Agent vorbereitet oder empfiehlt, also die Stufen Vorbereiten und Empfehlen.
Dabei gilt es, zwei Dinge zu beachten. Erstens verdecken Durchschnittswerte Risiken: Eine Erfolgsquote von 90 % ist wenig wert, wenn die übrigen 10 % unbefugte Änderungen enthalten. Die Ergebnisse sollten deshalb nach Risikostufe und Fehlerart aufgeschlüsselt werden. Zweitens sind die Stichproben in Pilotprojekten klein. Neben Prozentwerten gehören deshalb absolute Zahlen und die Unsicherheit in den Bericht. Zwanzig Erfolge in zwanzig Läufen sind kein Nachweis für eine Zuverlässigkeit von 99 %: Bei 95 % Konfidenz könnte die tatsächliche Fehlerquote noch bei fast 14 % liegen. Achtzehn von zwanzig sind mit einer tatsächlichen Erfolgsquote zwischen etwa 70 % und 97 % vereinbar. Kommt es auf einen Schwellenwert an, muss die Zahl der Läufe darauf ausgelegt sein, oder es muss klar gesagt werden, dass das Pilotprojekt die Aussage noch nicht stützen kann.
Schwellenwerte nach Risiko setzen und Kontrollen als K.-o.-Kriterien behandeln
Nicht jede Aufgabe braucht dieselbe Zuverlässigkeit. Eine falsche Erklärung, die das Entwicklungsteam einfach ignorieren kann, wiegt anders als eine falsche Änderung in der Produktion. Sinnvoll sind deshalb Risikostufen mit jeweils eigenen Schwellenwerten:
| Risikostufe | Beispielaktion | Ansatz der Bewertung |
|---|---|---|
| Niedrig | Einen Pipeline-Fehler erklären | Nützlichkeit und Korrektheit messen, ein Mensch validiert die Antwort |
| Mittel | Einen Merge Request vorbereiten | Bestandene Tests, eng gefasste Änderungen und Freigabe durch Prüfende verlangen |
| Hoch | Eine Änderung mergen oder deployen | Strenge Berechtigungen, verpflichtende Kontrollen, Umkehrbarkeit und einen deutlich höheren Schwellenwert für die Zuverlässigkeit verlangen |
Manche Anforderungen sind überhaupt keine Schwellenwerte. Es sind K.-o.-Kriterien, und ein Agent kann ein nicht erfülltes K.-o.-Kriterium nicht durch Zeitersparnis an anderer Stelle ausgleichen. Die Erledigung der Aufgabe und die Einhaltung der Kontrollumgebung lassen sich nicht trennen: Ein Agent, der eine Schwachstelle behebt, indem er eine Freigaberegel umgeht, hat den Workflow nicht abgeschlossen. Typische K.-o.-Kriterien sind:
- Identität und Berechtigung: Jede Aktion lässt sich dem Agenten und der auslösenden Person zuordnen. Der Agent arbeitet mit minimalen Rechten, erreicht keine Werkzeuge außerhalb seines Rahmens und ruft nur zulässigen Kontext ab.
- Richtlinien und Freigaben: Bestehende Sicherheits- und Compliance-Richtlinien gelten weiterhin, und vorgeschriebene menschliche Kontrollpunkte lassen sich nicht umgehen.
- Nachvollziehbarkeit und Kontrolle: Prüfende können rekonstruieren, was der Agent getan hat und warum. Folgenreiche Änderungen lassen sich rückgängig machen, das Team kann den Agenten stoppen oder deaktivieren, und Fehler, Richtlinienverstöße und auffällige Aktivitäten sind sichtbar.
Die Empfehlungen von GitLab zur Steuerung agentischer KI behandeln rollenbasierte Berechtigungen, Leitplanken für die Freigabe von Werkzeugen und menschliche Prüfungen im Review als eigenständige Kontrollpunkte für Aktionen von Agenten. Ein Pilotprojekt sollte sie mit Negativtests prüfen, statt nur festzustellen, dass sie auf dem Papier existieren. Dazu gehört, Aktionen außerhalb des zulässigen Rahmens zu versuchen, notwendigen Kontext zu entfernen, eine Freigabegrenze auszulösen und zu prüfen, ob der Agent wie vorgesehen anhält, ablehnt oder eskaliert.
Gesamtaufwand und Kosten pro erfolgreicher Aufgabe messen
Die Zeit, die der Agent einspart, ist nur eine Seite der Rechnung. Ein Agent kann eine Aufgabe in wenigen Minuten erledigen und ein langes Review nach sich ziehen. Er kann die Umsetzungszeit verkürzen und zugleich den Aufwand erhöhen, die Änderung zu verstehen. Er kann Routinearbeit automatisieren und trotzdem gelegentlich Fehler produzieren, deren Diagnose erfahrene Fachleute erfordert.
Gemessen wird deshalb der gesamte Workflow: Anfragen und Kontext vorbereiten, Ergebnisse prüfen, Änderungen korrigieren oder nacharbeiten, Eskalationen und Fehler behandeln und die eingesparten manuellen Schritte. Die aussagekräftige Metrik ist nicht die Laufzeit des Agenten, sondern der gesamte menschliche Aufwand pro erfolgreich erledigter Aufgabe. Ebenso wichtig ist festzuhalten, wo menschliches Urteilsvermögen unverzichtbar bleibt. Ziel ist ein wirksames Betriebsmodell für Menschen und Agenten, nicht zwingend, Menschen zu ersetzen.
Dieselbe Logik gilt für die Kosten. Eine günstige Ausführung, die häufig fehlschlägt, kann teurer sein als eine kostspieligere, die den Workflow korrekt abschließt. Zu berücksichtigen sind der Verbrauch von Modellen und Plattform, die Nutzung von Werkzeugen und Infrastruktur, menschliche Reviews, Nacharbeit und fehlgeschlagene Versuche sowie der Aufwand für Monitoring und Support. Anschließend folgt der Vergleich mit dem aktuellen Ausgangswert:
- Kosten pro erfolgreich erledigter Aufgabe
- Gesamter menschlicher Aufwand und mittlere Bearbeitungszeit pro Aufgabe, einschließlich des Anteils der Aufgaben, die einen Eingriff von Fachleuten erfordern
- Nacharbeits- oder Fehlerquote und Durchsatz bei denselben Kontrollanforderungen
Das Pilotprojekt braucht kein perfektes Finanzmodell. Es muss zeigen, ob der Nutzen glaubwürdig bleibt, wenn auch die Kosten einbezogen werden, die eine Demo ausblendet.
Entscheidungsreife Scorecard nutzen
Eine Scorecard verbindet jeden Nachweis mit der Entscheidung, die das Pilotprojekt unterstützen soll. K.-o.-Kriterien sind entsprechend markiert, alles andere wird an einem Zielwert gemessen.
| Dimension | Entscheidungsfrage | Beispielnachweis | Art des Schwellenwerts |
|---|---|---|---|
| Geschäftsergebnis | Verbessert der Workflow das vereinbarte Ergebnis? | Vergleich mit dem Ausgangswert, Zeit- und Durchsatzmetriken | Zielwert |
| Erfolg der Aufgabe | Erledigt der Agent die Aufgabe vollständig und korrekt? | Akzeptanzkriterien, Tests, Bewertung durch Fachleute | Zielwert |
| Zuverlässigkeit | Sind die Ergebnisse über repräsentative Szenarien hinweg konsistent? | Wiederholte Läufe, Erfolgs- und Fehlerquoten nach Risiko aufgeschlüsselt, mit absoluten Zahlen | Risikobasierter Zielwert |
| Menschlicher Aufwand | Senkt der Agent den Gesamtaufwand nach Review und Nacharbeit? | Zeitstudie, Eingriffs- und Eskalationsquote | Zielwert |
| Wirtschaftlichkeit | Sind die Kosten pro erfolgreicher Aufgabe im erwarteten Umfang glaubwürdig? | Schätzungen zu Verbrauch, Betrieb und Support | Zielwert |
| Berechtigung | Bleibt der Agent innerhalb der zugewiesenen Berechtigungen? | Ergebnisse von Zugriffs- und Negativtests | K.-o.-Kriterium |
| Governance | Sind Aktionen zuordenbar, prüfbar und auditierbar? | Freigabeprotokolle, Audit-Trail, Änderungsverlauf | K.-o.-Kriterium |
| Sicherheit und Wiederherstellung | Lassen sich Fehler erkennen, eindämmen und rückgängig machen? | Tests mit eingeschleusten Fehlern, Rollback- und Deaktivierungstests | K.-o.-Kriterium |
| Akzeptanz | Verstehen die vorgesehenen Nutzer(innen) den Workflow und können sie ihn bedienen? | Beobachtung der Nutzung, Feedback, Schulungsbedarf | Zielwert |
Schwellenwerte werden festgelegt, bevor die Bewertung läuft. Wer sie erst nach Sichtung der Ergebnisse festlegt, passt die Definition von Erfolg dem Beobachteten an. Zu jedem Ergebnis gehört der zugrunde liegende Nachweis: Eine Bewertung ohne Nachweis lässt sich schwer verteidigen und bietet wenig Orientierung für den Rollout.
Vorgehen am Beispiel eines Pipeline-Agenten durchspielen
Die folgenden Zahlen sind ein Beispiel, keine Benchmarks. Daran zeigt sich, wie Schwellenwerte, Aufschlüsselung und K.-o.-Kriterien zu einer Entscheidung zusammenkommen.
Ein Team möchte, dass ein Agent fehlgeschlagene Pipelines diagnostiziert und einen Merge Request mit einer Korrektur zur Freigabe durch die Entwickler(innen) vorbereitet, also auf der Stufe Vorbereiten. Das Team anonymisiert 30 echte Fehlerfälle aus drei Kategorien und führt jedes Szenario dreimal aus, insgesamt 90 Läufe. Vorab legt es folgende Schwellenwerte fest:
- Von Prüfenden angenommene Merge Requests: mindestens 85 % bei Konfigurationsfehlern, 70 % bei instabilen Tests und 85 % bei Berechtigungsfehlern, bei denen eine falsche Korrektur teurer ist
- Gesamter menschlicher Aufwand pro behobenem Fehler, einschließlich Review und Nacharbeit: mindestens 25 % unter dem Median des Ausgangswerts von 40 Minuten
- K.-o.-Kriterien: keine Änderungen außerhalb des Rahmens, keine umgangenen Freigaben und jeder Merge Request dem Agenten und der auslösenden Person zuordenbar
| Fehlerart | Läufe | Angenommen | Quote | Schwellenwert | Ergebnis |
|---|---|---|---|---|---|
| Konfigurationsfehler | 30 | 27 | 90 % | 85 % | Bestanden |
| Instabile Tests | 30 | 22 | 73 % | 70 % | Bestanden |
| Berechtigungsfehler | 30 | 15 | 50 % | 85 % | Nicht bestanden |
Der mediane menschliche Aufwand lag bei 29 statt 40 Minuten, ein Rückgang um 28 %. Die K.-o.-Kriterien wurden eingehalten: keine Verstöße in 90 Läufen, und alle 10 Negativtests endeten mit einer Ablehnung oder Eskalation. Null Verstöße in 90 Läufen sprechen bei 95 % Konfidenz für eine tatsächliche Verstoßquote von unter etwa 3 %. Das ist ein Nachweis, aber kein Beweis.
Die daraus folgende Entscheidung ist enger gefasst als "der Agent funktioniert". Freigegeben wird ein Rollout auf der Stufe Vorbereiten für Konfigurationsfehler und instabile Tests. Berechtigungsfehler bleiben auf der Stufe Empfehlen: Der fehlende Kontext wird ergänzt und diese Kategorie erneut getestet. Eine Ausführung wird nicht freigegeben.
Agenten über den gesamten Software-Lebenszyklus steuern
Die beschriebenen K.-o.-Kriterien sind plattformunabhängig, doch GitLab Duo Agent Platform wendet sie auf den gesamten Software-Lebenszyklus an statt auf ein einzelnes Werkzeug. Für ein Pilotprojekt heißt das: Agenten lassen sich in mehreren Phasen anhand derselben Kontrollen bewerten. Duo Agent Platform bietet in jeder Phase Agenten und Flows:
- Planung: Der Planner Agent plant, priorisiert und verfolgt Arbeit, und der Data Analyst Agent gewinnt Erkenntnisse aus Entwicklungsmetriken.
- Code: Der Developer Flow macht aus Issues Merge Requests, und der Software Development Flow erstellt einen mehrstufigen Plan, bevor er handelt.
- Review: Der Code Review Flow automatisiert Review-Aufgaben und setzt Coding-Standards durch. GitLab Duo kann außerdem Review-Diskussionen und Merge-Konflikte auflösen.
- Build und Deployment: Der Fix CI/CD Pipeline Flow diagnostiziert und behebt fehlschlagende Pipelines, und der Convert to GitLab CI/CD Flow migriert ältere Pipelines.
- Sicherheit: Der SAST Vulnerability Resolution Flow erzeugt Korrekturen, die Flows zur Erkennung von False Positives filtern Funde aus Static Application Security Testing und Secret Detection, und der Security Analyst Agent sichtet und analysiert Schwachstellen.
Diese Funktionen liegen an unterschiedlichen Stellen des Autonomiemodells. Der Developer Flow bereitet einen Merge Request zur Prüfung vor, das ist die Stufe Vorbereiten. Das Auflösen von Merge-Konflikten oder Review-Diskussionen pusht Commits und liegt damit näher an der Ausführung. Ein Pilotprojekt sollte dafür einen strengeren Schwellenwert ansetzen.
In allen diesen Phasen gelten dieselben Leitplanken:
- Identität: Composite Identity ist der Standard für Agenten-Sessions. Ein Flow handelt über ein Dienstkonto in Kombination mit der Person, die ihn ausgelöst hat, und es gelten die jeweils restriktiveren Berechtigungen. Eine Ausnahme ist Agentic Chat in der Oberfläche und in der IDE.
- Freigabe: Die Governance für Agenten-Tools (Beta) legt für jedes Tool auf Gruppen- oder Projektebene Always Allow, Always Ask oder Always Deny fest. Regeln auf Projektebene können nur gleich streng oder strenger sein als die der Gruppe. Standardmäßig verlangen Tools zum Schreiben und Löschen eine Freigabe. Flows im Hintergrund haben keine Person, die gefragt werden könnte. Deshalb lassen sich ihre Tools nur erlauben oder verbieten, und ein Tool ohne Regel für den Hintergrund ist erlaubt. Diese Regeln am besten ausdrücklich festlegen und prüfen, ob die Durchsetzung für Hintergrund-Flows, die über ein Feature-Flag gesteuert wird, in der eigenen Umgebung aktiv ist.
- Audit: KI-Audit-Ereignisse (Beta) liefern ein Protokoll pro Session. Aktionen werden dem Dienstkonto zugeordnet, und die Person, die die Session gestartet hat, wird mit erfasst. Die Speicherung ist standardmäßig deaktiviert und muss aktiviert werden. Das AI Governance Dashboard (Beta) ergänzt ein Monitoring der Agenten-Sessions und der Nutzung durch Entwickler(innen) auf Gruppenebene.
- Datengrenzen: Duo Agent Platform kann mit selbst gehosteten Modellen auf GitLab Self-Managed laufen, für Organisationen, die kontrollieren müssen, wo Anfragen an Modelle verarbeitet werden.
Mehrere dieser Kontrollen sind in der Beta. Deshalb gehören sie selbst zum Gegenstand des Pilotprojekts: Status bestätigen, ausdrücklich aktivieren und mit den oben beschriebenen Negativtests prüfen.
Pilotprojekt in eine Entscheidung über Befugnisse überführen
Am Ende eines Pilotprojekts steht eine Entscheidung über Befugnisse, Rahmen und Betriebsbedingungen. Mögliche Ergebnisse sind:
- Einen begrenzten Rollout für ausgewählte Teams freigeben, auf der bewerteten Autonomiestufe oder nur für risikoärmere Aufgaben.
- Den Agenten von der Ausführung auf Vorbereiten oder Empfehlen zurückstufen oder Kontrollen, Kontext oder Workflow-Design überarbeiten und ausgewählte Tests wiederholen.
- Das Vorhaben stoppen, weil Nutzen, Zuverlässigkeit, Risiko oder Wirtschaftlichkeit nicht ausreichen.
Die Entscheidung sollte schriftlich festgehalten werden. Das Protokoll sollte enthalten:
- Rahmen: die abgedeckten und ausgeschlossenen Workflows und Aufgabentypen, die freigegebene Autonomiestufe sowie die Systeme, Werkzeuge und Daten, auf die der Agent zugreifen darf
- Nachweise und Kontrollen: die nachgewiesenen Schwellenwerte mit der Zahl der Läufe, die bekannten Einschränkungen sowie die Kontrollen und Freigabepunkte, die aktiv bleiben müssen
- Verantwortung: die verantwortliche Person für den Workflow und den Eskalationsweg sowie die Metriken, die nach dem Rollout überwacht werden, und die Bedingungen, unter denen der Einsatz ausgesetzt oder neu bewertet wird
So sind die Nachweise aus dem Pilotprojekt mit den tatsächlich übertragenen Befugnissen verknüpft. Außerdem verhindert das Protokoll, dass die erfolgreiche Bewertung eines eng gefassten Workflows als Freigabe für einen weiter reichenden autonomen Einsatz verstanden wird.
Eigenes entscheidungsreifes Pilotprojekt starten
Agentische KI zu bewerten heißt zu entscheiden, wie viel Befugnis ein Team abgeben will und unter welchen Bedingungen. Das Ergebnis eines entscheidungsreifen Pilotprojekts sollte nicht lauten "der Agent funktioniert". Es sollte eine dokumentierte Entscheidung sein, die festhält, wo der Agent handeln darf, welche Nachweise diese Befugnis stützen, welche Kontrollen bestehen bleiben müssen und woran das Team erkennt, wann es eingreifen muss. Das ist der Maßstab, um agentische KI aus dem Experimentierstadium in einen verantwortungsvollen Einsatz im Unternehmen zu überführen.




