Vertrauenswürdige KI-Agenten: Vertrauen entsteht durch den Mechanismus

Ein vertrauenswürdiger KI-Agent verdient sich dein Vertrauen über einen nachprüfbaren Mechanismus: über die Schritte, mit denen er zu einer Antwort kommt, nicht über die Antwort selbst. Der Prozess des Agenten muss lesbar sein (du kannst die Schritte nachvollziehen, die er gegangen ist), ehrlich (der Plan, den du liest, ist auch der Plan, der tatsächlich gelaufen ist) und stabil (kommt eine Anforderung dazu, driftet er nicht von dem weg, was du wolltest). Ein starkes Modell liefert überzeugende Ergebnisse, egal ob es die Arbeit darunter wirklich gemacht hat. Deshalb ist die Qualität des Ergebnisses allein nie ein Beweis für Vertrauen. Den Beweis liefert der nachprüfbare Mechanismus.

Auf diesen Perspektivwechsel kommt es an, und so beurteile ich jeden Agenten, egal ob mein Team ihn gebaut hat oder ein Anbieter ihn mir verkaufen will. Der Rest dieses Artikels zeigt an einem konkreten Beispiel, wie das funktioniert: ein Recherche-Agent, der jeden Wettbewerber in einer Kategorie erfassen soll.

Warum entscheidet Vertrauen darüber, ob ein KI-Agent in den Produktivbetrieb geht, und nicht die Fähigkeit?

Weil die meisten Teams einen Agenten inzwischen dazu bringen, eine geschliffene Antwort auszugeben. Weit weniger können beweisen, dass sie vertrauenswürdig ist, und diese Lücke zeigt sich in den Zahlen. Gartner prognostizierte im Juni 2025, dass mehr als 40 % der Projekte mit agentischer KI bis Ende 2027 abgebrochen werden, und nannte als Gründe steigende Kosten, unklaren geschäftlichen Nutzen und unzureichende Risikokontrollen. Eine PwC-Umfrage vom April 2025 unter 308 US-Führungskräften ergab, dass Vertrauen zu den drei größten Hürden für KI-Agenten zählt, und dass dieses Vertrauen bei folgenschweren Aufgaben stark einbricht: Bei der Datenanalyse vertrauten die Befragten den Agenten (38 %) deutlich mehr als bei Finanztransaktionen (20 %).

Entwickler sind genauso vorsichtig. Im Stack Overflow Developer Survey 2025 gaben 46 % der Entwickler an, der Genauigkeit von KI-Werkzeugen zu misstrauen, gegenüber 33 %, die ihr vertrauen. Unter den erfahrenen Entwicklern haben nur 2,6 % „hohes Vertrauen" in KI-Ergebnisse, was die Umfrage als „einen weit verbreiteten Bedarf an menschlicher Prüfung für alle" wertet, „die in ihrer Rolle Verantwortung tragen". Das deckt sich mit dem, was ich sehe. Die Fähigkeit ist längst da; woran es hakt, ist nachprüfbares Vertrauen. Aus demselben Grund argumentiere ich, dass du aufhören solltest, KI-Agenten zu babysitten, und die Prüfung stattdessen fest einbauen solltest.

Was macht einen KI-Agenten vertrauenswürdig?

Drei Eigenschaften machen einen Mechanismus vertrauenswürdig. Sie gelten, egal ob du den Workflow baust oder einkaufst.

Lesbar: Du kannst den Prozess nachvollziehen, dem der Agent gefolgt ist. Du solltest die genaue Reihenfolge der Schritte sehen können, die der Agent gegangen ist: wonach er gesucht hat, was er abgerufen hat, was er aussortiert hat, was er zusammengeführt hat. Lesbarkeit erlaubt es einem Menschen, die Arbeit stichprobenartig zu prüfen („er hat nie die Behördenmeldungen durchsucht, also traue ich dieser Spalte nicht"), und sie erlaubt es einem zweiten Agenten, die Schritte kritisch gegenzulesen. Das Gegenteil ist die Blackbox: eine Antwort, deren Herleitung nirgends sichtbar ist.

Ehrlich: Der Plan, den du liest, ist der Plan, der gelaufen ist. Ein System kann einen Plan als Fließtext erzählen und seine Antwort dann über einen ganz anderen Weg erzeugen, den du nie zu sehen bekommst. Die starke Variante schließt diese Lücke. Der Plan ist das, was ausgeführt wird, es gibt also keinen Spalt zwischen Beschreibung und Verhalten. James Brady von Elicit hat es in einem Engineering-Vortrag über nachprüfbare Agenten 2025 so ausgedrückt: Der Plan sei „im Wortsinn der ausführbare Plan", keine Darstellung eines Plans. „Hat er wirklich das getan, was er gesagt hat?" ist damit keine Frage des Vertrauens mehr, sondern eine Frage der Tatsachen.

Stabil: Eine zusätzliche Anforderung bringt ihn nicht ins Driften. Echte Arbeit kommt in Schichten. Du bekommst eine erste Antwort, dann willst du etwas ergänzen. Bei vielen Systemen bröckelt genau beim Nachfassen das Vertrauen. Das Modell driftet, verliert einen Teil der ursprünglichen Anfrage oder lässt die neue Anforderung in die alten Ergebnisse einsickern und sie verändern, was oft einen Neustart erzwingt, der schon geprüfte Arbeit wegwirft. Ein stabiler Mechanismus lässt dich ergänzen, ohne das Bestehende zu stören: Alles, was du geprüft hast, bleibt unversehrt, und neu ist nur die tatsächlich neue Arbeit.

Lesbar, ehrlich, stabil. Hat ein Mechanismus alle drei, kann ich dahinterstehen. Fehlt auch nur eine, bist du wieder beim Hoffen.

Warum kannst du dem Ergebnis allein nicht vertrauen?

Weil dieses Problem schlimmer wird, je besser die Modelle werden. Ein schwaches Modell liefert Ergebnisse, die schwach aussehen, also misstraust du ihnen aus den richtigen Gründen. Ein starkes, modernes Modell liefert Ergebnisse, die hervorragend aussehen, egal ob es die Arbeit gemacht hat, denn flüssige Sprache kostet heute fast nichts. Eine selbstbewusste, plausible Antwort bekommst du von einem starken Modell, wenn es akribisch recherchiert hat, und genauso, wenn es klammheimlich Schritte übersprungen oder eine Zahl geraten hat. Über Agenten, die aus genau diesem Grund selbstbewusst danebenliegen, habe ich schon geschrieben.

Ergebnisqualität und Vertrauenswürdigkeit sind also zwei verschiedene Achsen, und der gefährliche Quadrant ist hohe scheinbare Qualität bei niedriger Nachprüfbarkeit: eine schöne Antwort, die du nicht prüfen kannst. Am härtesten trifft das mittelständische Unternehmen. Sie haben selten die Prüffunktion, mit der ein Großkonzern Ergebnissen standardmäßig misstraut. Die geschliffene Antwort landet auf einem Schreibtisch, sie sieht richtig aus, sie wird verwendet, und dazwischen gab es keinen Mechanismus, der „sieht richtig aus" von „ist vertrauenswürdig" hätte trennen können.

Wie machst du den Mechanismus eines Agenten nachprüfbar?

Du verschiebst ihn bewusst auf einer Skala, so weit, wie es dein Risiko verlangt. Es gibt kein Entweder-oder zwischen „Blackbox" und „vertrauenswürdig". Die meisten Teams liegen irgendwo auf dieser Skala, ohne sich je bewusst dafür entschieden zu haben: ein roher Prompt (Prozess unsichtbar), ein strukturierter Prompt (geführt, aber nicht nachprüfbar), ein geschriebener Plan, den du lesen kannst (prüfbar, aber getrennt von dem, was läuft), ein Plan, der selbst ausgeführt wird (lesbar und ehrlich in einem einzigen Artefakt), und ganz am äußeren Rand eine formale domänenspezifische Sprache. Das äußere Ende ist selten das Ziel. Entscheidend ist, dass du dich bewusst auf dieser Skala bewegst. Bradys Team hat so eine Sprache gebaut und den Großteil seines Vortrags darauf verwendet zu erklären, warum die meisten Teams sie nicht nachbauen sollten.

Mit klassischem Engineering kommst du schon fast bis zu lesbar, ehrlich und stabil. Drei Schritte erledigen den Großteil der Arbeit:

• Mach den Plan zu einem Artefakt, nicht zu einer Erzählung. Lass das System seinen Plan als lesbare Liste konkreter Schritte ausgeben, getrennt vom Fließtext. Sobald der Plan ein greifbares Ding ist statt einer bloßen Erzählung, kann ein Mensch ihn lesen und ein zweiter Agent ihn kritisch prüfen.
• Leite von oben neu her, dann cache, was unverändert ist. Wenn du eine Schicht ergänzt, lass die ganze Antwort von vorn durchlaufen, damit die neue Anforderung die alten Ergebnisse nicht klammheimlich kaputt macht, und cache alles, dessen Eingaben sich nicht verändert haben, damit wirklich nur die neue Arbeit läuft. Das macht Stabilität praktisch handhabbar.
• Zieh eine Grenze zwischen Nutzereingabe und deinen Zugangsdaten. Schotte alles, was ein Nutzer eintippt, von den Schlüsseln, Daten und Modellzugängen darunter ab. Das ist zugleich ein Sicherheits- und ein Vertrauensschritt.

Bei den ersten beiden Punkten läuft die Branche zusammen. Der Report State of Agent Engineering von LangChain, basierend auf 1.340 Antworten aus dem späten Jahr 2025, ergab, dass 94 % der Teams mit Agenten im Produktivbetrieb irgendeine Form von Observability im Einsatz haben und 71,5 % ein vollständiges Tracing, denn, so der Report, „ohne Einblick, wie ein Agent denkt und handelt, können Teams Fehler nicht zuverlässig debuggen, die Leistung nicht optimieren und kein Vertrauen aufbauen". Die größte Hürde, um Agenten in den Produktivbetrieb zu bringen, war die Qualität, nicht die Kosten, genannt von 32 % der Befragten.

Wie sieht ein vertrauenswürdiger Agent in der Praxis aus?

Nimm eine Aufgabe, die ein mittelständisches Team einem Agenten tatsächlich überträgt: „Finde die Unternehmen, die in unsere Kategorie investieren; hol für jedes die Produkte, die Partnerschaften und wie sie mit Regulierungsbehörden umgegangen sind; gib mir eine Tabelle für das Führungsmeeting." Das ist ein guter Test, weil sich das Ergebnis leicht vortäuschen lässt. Ein starkes Modell liefert in einem Rutsch eine saubere, autoritativ wirkende Tabelle, und du kannst nicht erkennen, ob jede Zelle aus einer echten Quelle stammt oder aus einer selbstbewussten Vermutung.

Ein vertrauenswürdiger Mechanismus verhält sich anders. Zuerst antwortet er nicht. Er stellt eine Rückfrage (die ganze Kategorie oder nur ein Segment?), weil die falsche Auslegung der erste Weg ist, auf dem eine Rechercheaufgabe klammheimlich schiefgeht. Danach wird jeder Schritt als expliziter Plan festgehalten, den du lesen kannst: Quellen durchsuchen, vollständige Dokumente statt Schnipsel abrufen, auf echte Treffer eingrenzen, zu jeder Organisation die Details ziehen, das Ganze zur Tabelle zusammenführen. Weil dieser Plan eine echte Abfolge ist und keine Erzählung, kannst du selbst eine Lücke erkennen („er hat die Behördenmeldungen nie gezogen"), und ein zweiter Agent kann ihn auf übersehene Quellen prüfen.

Dann kommt eine Schicht dazu: „Erfasse jetzt zusätzlich die Regulierungsbehörden und zeig, wie jedes Unternehmen mit ihnen interagiert hat." In einem stabilen Mechanismus bleiben die Suchen und die Eingrenzung, die du schon abgesegnet hast, identisch, aus dem Cache wiederverwendet, und neu ist nur die neue Arbeit. Du bist tiefer gegangen, ohne noch einmal prüfen zu müssen, was du schon für vertrauenswürdig hieltest. Die dritte Fassung ist genauso vertrauenswürdig wie die erste, weil sie auf ihr aufbaut und sie unangetastet lässt.

Wie passt du den Mechanismus ans Risiko an?

Du investierst dort in Vertrauenswürdigkeit, wo sie sich rechnet, denn sie hat ihren Preis. Für eine einmalige interne Abfrage einen voll lesbaren, neu herleitbaren Mechanismus zu verlangen, ist überkonstruiert. Für eine Entscheidung, die vor dem Vorstand oder der Compliance landet, eine Blackbox aus einem rohen Prompt auszuliefern, ist der umgekehrte Fehler, und der teurere. Die Disziplin steckt in einer einzigen Frage, gestellt bevor du baust oder kaufst: Was kostet es, hier falschzuliegen?

Die Daten zeigen, dass Käufer schon so abstufen. PwCs Führungskräfte vertrauten den Agenten bei risikoarmer Analyse weit mehr als bei Finanztransaktionen. Der Fehler, den die meisten Teams machen, ist gleichmäßiger Aufwand: das Triviale überkonstruieren, das Folgenschwere unterkonstruieren. Und wenn ein Use Case sich nicht zu einem Preis prüfbar machen lässt, den sein Risiko rechtfertigt, ist der richtige Schritt, die KI aus diesem Platz herauszuhalten. Nicht alles sollte ein Agent sein. Herauszufinden, welche Aufgaben überhaupt in einen Agenten gehören, ist genau die Frage, für deren Beantwortung ein KI-Readiness-Projekt gebaut ist.

Was verlangt der EU AI Act?

Bei folgenschweren Use Cases wird Nachprüfbarkeit zur gesetzlichen Pflicht statt zum netten Extra. Unter dem EU AI Act (Verordnung 2024/1689), dessen zentrale Pflichten für Hochrisiko-Systeme ab dem 2. August 2026 gelten, verlangt Artikel 12, dass Hochrisiko-KI-Systeme über ihren gesamten Lebenszyklus automatisch Ereignisse aufzeichnen, damit ihr Betrieb nachvollziehbar bleibt, und Artikel 13 verlangt, dass sie transparent genug sind, damit Betreiber ihre Ergebnisse deuten und korrekt nutzen können. Verstöße können mit bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden.

Das Gesetz verlangt also genau diese Eigenschaften: einen Prozess, der protokolliert, nachvollziehbar und lesbar ist für die Menschen, die dafür geradestehen. Baust du schon jetzt auf lesbar, ehrlich und stabil, dann baust du auf diese Linie zu, statt ihr später hektisch hinterherzurennen. Für die regulierten Dienstleister, mit denen ich arbeite, die Steuerkanzleien und Wirtschaftsprüfer, ist das genau die DSGVO- und GoBD-konforme Disziplin, die sie ohnehin brauchen.

Was heißt das für dich?

Meiner Erfahrung nach scheitern KI-Initiativen im Mittelstand bei folgenschwerer Arbeit selten daran, dass das Modell nicht fähig genug war. Sie scheitern, weil jemand einem Ergebnis vertraut hat, das er nicht prüfen konnte, und sich damit einmal öffentlich die Finger verbrannt hat. Deshalb beginnt bei mir jeder Workflow mit einem Prinzip, lange bevor ein Werkzeug ins Spiel kommt: KI fürs Urteil, Code fürs Handeln. Das Modell übernimmt den weichen, urteilslastigen Teil: lesen, abwägen, vorschlagen. Deterministischer Code übernimmt den Teil mit Konsequenzen, in Schritten, die du nachlesen und neu durchlaufen lassen kannst.

Jeden Workflow, den ich baue, messe ich an fünf Eigenschaften, die die operative Fassung der drei oben genannten sind. Er ist beobachtet (du siehst, was er getan hat, das ist Lesbarkeit), fundiert (seine Ergebnisse führen zurück auf echte Quellen, das ist Ehrlichkeit), gesteuert (Änderungen sind kontrolliert, damit er nicht driftet, das ist Stabilität), begrenzt (er bleibt in seinem Auftrag) und abgesichert (an den Rändern eskaliert er an einen Menschen). Deshalb ist jeder KI-Mitarbeiter, den ich betreibe, so gebaut, dass sich sein Mechanismus prüfen lässt. Dieselbe Disziplin steckt darunter, wie du herausfindest, ob ein KI-Agent wirklich funktioniert: Vertrauen kannst du nur dem, was du prüfen kannst.

Du kannst eine KI dazu bringen, dir fast jede Antwort auszuwerfen. Die Frage, die darüber entscheidet, ob sie in dein Unternehmen gehört, ist die schwierigere: Kannst du dem Weg vertrauen, auf dem sie zustande gekommen ist?

Häufige Fragen

Was macht einen KI-Agenten vertrauenswürdig?

Ein KI-Agent ist vertrauenswürdig, wenn sich sein Mechanismus prüfen lässt, also die Schritte, mit denen er zu einer Antwort gekommen ist, und nicht nur sein Ergebnis. Drei Eigenschaften bestimmen das: lesbar (du kannst die Schritte nachvollziehen, die er gegangen ist), ehrlich (der lesbare Plan ist der, der tatsächlich gelaufen ist) und stabil (eine zusätzliche Anforderung bringt ihn nicht ins Driften und lässt ihn die ursprüngliche Absicht nicht verlieren). Ein starkes Modell liefert überzeugende Ergebnisse, egal ob es die Arbeit gemacht hat, deshalb ist die Ergebnisqualität allein kein Beweis für Vertrauenswürdigkeit.

Warum kannst du dem Ergebnis eines KI-Agenten nicht vertrauen, selbst wenn es korrekt aussieht?

Weil Ergebnisqualität und Vertrauenswürdigkeit zwei verschiedene Dinge sind. Ein starkes Modell liefert flüssige, autoritativ wirkende Antworten, egal ob es sauber gearbeitet oder klammheimlich Schritte übersprungen und geraten hat. Je besser das Modell, desto überzeugender wird eine nicht nachprüfbare Antwort. Deshalb ergab die Stack-Overflow-Umfrage 2025, dass 46 % der Entwickler der Genauigkeit von KI misstrauen: Eine geschliffene Antwort, die du nicht prüfen kannst, ist nicht dasselbe wie eine korrekte. Vertrauen entsteht daraus, dass du nachvollziehen kannst, wie die Antwort zustande kam.

Wie prüfst du, was ein KI-Agent tatsächlich getan hat?

Mach den Plan des Agenten zu einem expliziten, lesbaren Artefakt statt zu einer Fließtext-Erzählung, damit ein Mensch oder ein zweiter Agent die genauen Schritte durchgehen kann. Nutze einen Mechanismus, bei dem der Plan, den du liest, der Plan ist, der ausgeführt wird, damit sich Ergebnisse auf die Schritte zurückführen lassen, die sie erzeugt haben. Ergänze Observability und Tracing, Praktiken, die laut der LangChain-Umfrage 2025 inzwischen 94 % der Teams mit Agenten im Produktivbetrieb einsetzen, damit du siehst, wie der Agent gedacht und gehandelt hat, und nicht nur, was er zurückgegeben hat.

Verlangt der EU AI Act, dass KI-Agenten nachvollziehbar sind?

Ja, bei Hochrisiko-Systemen. Unter dem EU AI Act (Verordnung 2024/1689), dessen zentrale Hochrisiko-Pflichten ab dem 2. August 2026 gelten, verlangt Artikel 12, dass Hochrisiko-KI-Systeme über ihren gesamten Lebenszyklus automatisch Ereignisse protokollieren, damit sie nachvollziehbar sind, und Artikel 13 verlangt, dass sie transparent genug sind, damit Betreiber ihre Ergebnisse deuten können. Verstöße können mit bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden.

Wann lohnt sich die Strenge eines Mechanismus im Verhältnis zu ihren Kosten?

Passe den Mechanismus ans Risiko an, indem du fragst, was es kosten würde, falschzuliegen. Risikoarme, umkehrbare Aufgaben können einen schnellen, leichtgewichtigen Mechanismus nutzen; folgenschwere, schwer umkehrbare Entscheidungen mit Verantwortung rechtfertigen einen voll lesbaren und neu herleitbaren. Der häufige Fehler ist gleichmäßiger Aufwand: triviale Aufgaben überkonstruieren, folgenschwere unterkonstruieren. Wenn sich ein Use Case nicht zu einem Preis nachprüfbar machen lässt, den sein Risiko rechtfertigt, lautet die richtige Antwort oft, die KI aus dieser Entscheidung herauszuhalten.

Quellen und Weiterführendes

• Gartner: Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 (2025)
• PwC: AI Agent Survey (2025)
• LangChain: State of Agent Engineering (2025)
• Stack Overflow: Developer Survey 2025: KI
• EU AI Act: Artikel 12: Protokollierung und Artikel 13: Transparenz (Verordnung 2024/1689)

Die Denkfigur „dem Mechanismus vertrauen" und das Beispiel mit dem Recherche-Agenten stützen sich auf einen öffentlichen Engineering-Vortrag von James Brady von Elicit über den Bau vertrauenswürdiger, nachprüfbarer agentischer Workflows. Die Umsetzungsdetails sind die dieses Unternehmens und dienen hier nur der Veranschaulichung; Brixon AI steht in keiner Verbindung zu Elicit.

Ich habe Brixon AI gebaut, um diese Disziplin in die KI-Mitarbeiter zu bringen, die ich in den Werkzeugen betreibe, die meine Kunden ohnehin nutzen, etwa Slack, Teams und Outlook, damit die Arbeit in einem Prozess erledigt wird, den du nachlesen kannst, und nicht in noch einem Werkzeug, das du babysitten musst. Wenn du sehen willst, ob sich deine folgenschwersten Aufgaben nachprüfbar machen lassen, lass uns reden.