Texte· Trust·
Autonomie wird verdient,
nicht eingestellt
Autonomiestufen sind meist ein Schieberegler in den Einstellungen. Das behandelt Vertrauen als Zustand, den man vorab erklärt, obwohl es ein Verlauf ist, der sich aus Belegen aufbaut. Delegation sollte aus dem wachsen, was bereits passiert ist.
Die meisten agentischen Produkte kommen mit einer Autonomie-Einstellung. Irgendwo in den Einstellungen sitzt ein Regler oder ein Auswahlfeld: vor jeder Aktion fragen, bei riskanten Aktionen fragen, vollständig autonom laufen. Der Mensch wählt eine Stufe, und das Produkt behandelt diese Wahl als Wahrheit darüber, wie viel diese Person dem System vertraut.
Das ist ein Kategorienfehler. Vertrauen ist kein Konfigurationswert. Es ist eine Beziehung, die sich über die Zeit entwickelt, durch wiederholte Interaktion, und sie bewegt sich in beide Richtungen. Ein Einstellungsdialog verlangt eine Antwort auf eine Frage, die man noch nicht beantworten kann: Wie sehr soll ich einem Agenten vertrauen, mit dem ich noch nie gearbeitet habe, bei Aufgaben, die er für mich noch nie erledigt hat? Die ehrliche Antwort an Tag eins lautet „Ich weiß es nicht“, und keine Reglerposition drückt das aus.
Was die Forschung zu Vertrauen tatsächlich sagt
Die Grundlagenarbeit dazu ist zwei Jahrzehnte älter als die aktuelle Agenten-Welle. Lee und See haben 2004 in ihrer Arbeit zu Vertrauen in Automation festgehalten, dass das Gestaltungsziel nicht maximales Vertrauen ist, sondern kalibriertes: das Vertrauen der Person mit der tatsächlichen Leistungsfähigkeit des Systems in Deckung bringen. Zu viel Vertrauen führt zu Fehlgebrauch, wo Menschen sich in Lagen auf Automation verlassen, die sie nicht bewältigt. Zu wenig führt zu Nichtgebrauch, wo fähige Automation brachliegt, weil niemand sich auf sie stützen mag. Beide Fehlerarten sind teuer, und beide sind Gestaltungsprobleme, keine Nutzerprobleme.
Kalibrierung ist außerdem dynamisch. Ein systematischer Überblick zu Vertrauen in der Mensch-KI-Interaktion bestätigt, dass angemessenes Vertrauen durch Erfahrung mit dem System entsteht, nicht durch Vorab-Erklärungen. Die Arbeit von Okamura und Yamada zur adaptiven Vertrauenskalibrierung geht weiter: Sie schlagen vor, das tatsächliche Verlassensverhalten zu beobachten, um zu erkennen, wann das Vertrauen aus der Passung geraten ist, und dann Hinweise zu zeigen, die zur Neubewertung anregen. Das System beobachtet, wie man es nutzt, und greift ein, wenn das Vertrauen seiner Leistung nicht mehr entspricht, in beide Richtungen.
Wenn Vertrauen durch Interaktion entsteht und über die Zeit driftet, dann ist eine statische Autonomie-Einstellung schon der Definition nach falsch. Sie stimmt höchstens für einen Moment, nämlich den, in dem sie gesetzt wurde, und verfällt von da an.
Die Alternative: Delegation als Verlauf
Progressive Delegation heißt, dass die Autonomiestufe des Agenten aus der gemeinsamen Arbeitshistorie zwischen dieser Person, diesem Agenten und dieser Aufgabenklasse abgeleitet wird, statt einmal in den Einstellungen erklärt zu werden. Die Mechanik ist nicht exotisch. Die Interaktionsdaten liegen in jedem Agentenprodukt bereits vor, das nach Freigaben fragt.
Man muss sich nur ansehen, was in einer Freigabe-Historie steckt. Jedes Mal, wenn jemand eine vorgeschlagene Aktion unverändert freigibt, ist das ein Signal. Jedes Mal, wenn der Vorschlag vor der Freigabe bearbeitet wird, ist das ein anderes Signal. Jede Ablehnung, jedes Rückgängig, jede nachträgliche Korrektur von Hand ist Information darüber, wo die Vertrauensgrenze tatsächlich verläuft. Ein Produkt, das Freigabeentscheidungen sammelt und wegwirft, verschenkt die wertvollsten Vertrauensdaten, die es je bekommt.
Die Forschungsrahmen laufen auf diese Sicht zu. Neuere Arbeiten zu Autonomiestufen für KI-Agenten plädieren dafür, Autonomie als bewusste Gestaltungsentscheidung zu behandeln, die je Aufgabe und Kontext unterschiedlich ausfallen darf, statt als globale Eigenschaft des Systems. Und Arbeiten zur Governance agentischer Systeme halten fest, dass Zuwächse an Autonomie ausdrückliche, dokumentierte Übergänge sein sollten, sobald Verlässlichkeit belegt ist, kein stilles Abdriften. Beides zeigt in dieselbe Richtung: Autonomie ist kleinteilig, verdient und nachlesbar.
Wie sähe das konkret aus? Aus dem Prinzip folgen ein paar Muster:
Begrenzte Beförderung. Autonomie wächst je Aufgabentyp, nicht global. Ein Agent, der sich das Recht verdient hat, Reisekosten ohne Aufsicht einzureichen, hat sich nichts verdient, was E-Mails an Kunden angeht. Vertrauen überträgt sich schlecht, und das Interface sollte nicht so tun, als wäre es anders.
Sichtbare Schwellen. Wenn der Agent vorschlägt, von „jeden Schritt freigeben“ auf „den Plan freigeben, dann laufen lassen“ zu wechseln, soll er sagen, warum: „Du hast die letzten 20 Aktionen dieses Typs ohne Änderung freigegeben.“ Die Person bestätigt die Beförderung. So bleibt der Mensch die Instanz über Autonomie-Übergänge, während die Entscheidung auf Belegen ruht statt auf Vermutung.
Symmetrische Rückstufung. Vertrauen muss auch fallen können, nicht nur steigen. Eine abgelehnte Aktion, eine Korrektur, ein Rückgängig sollten auf die Delegationsstufe zurückwirken, und der Agent sollte von selbst einen Schritt zurückgehen. Ein Agent, der nur Autonomie hinzugewinnt, kalibriert nicht, er schleicht.
Lesbare Historie. Man sollte den Verlauf sehen können: was dem Agenten derzeit anvertraut ist, wobei er noch beaufsichtigt wird, und was sich zuletzt geändert hat. Das macht aus einer unsichtbaren Beziehung eine prüfbare.
Warum sich der Regler trotzdem hält
Wenn statische Autonomie-Einstellungen so klar falsch sind, warum hat sie dann jedes Produkt? Zum Teil, weil sie leicht zu bauen und leicht zu erklären sind. Zum Teil, weil sie die Verantwortung verschieben: Wenn der Agent bei „volle Autonomie“ etwas zerstört hat, nun ja, du hast diese Einstellung gewählt.
Es gibt noch einen feineren Grund. Progressive Delegation verlangt vom Produktteam, je Aufgabentyp festzulegen, was als Beleg für Verlässlichkeit zählt, und die Buchführung dafür zu bauen. Das ist echte Gestaltungsarbeit mit echter Unschärfe. Ein Regler umgeht die Frage. Aber die Frage zu umgehen lässt sie nicht verschwinden. Es verlagert die Kalibrierungslast auf die Nutzer, und die Forschung ist sich einig, dass sie dafür schlecht aufgestellt sind. Das richtig zu machen zahlt sich beim empfundenen Steuerungsgefühl aus, nicht nur bei der Sicherheit. Untersuchungen zu risikoabhängiger Autonomie deuten darauf hin, dass Menschen sich unter adaptiver Autonomie stärker in Kontrolle fühlen können als bei pauschal niedrig gehaltener Autonomie.
Im Enterprise-Kontext hat progressive Delegation einen zusätzlichen Vorteil: Sie erzeugt eine Nachweiskette schon durch ihren Aufbau. Jede Autonomie-Beförderung ist eine dokumentierte Entscheidung mit Belegen. Das ist eine Governance-Geschichte, die ein Schieberegler nicht erzählen kann.
Zum Mitnehmen
- Behandle Autonomie als Verlauf je Aufgabe, nicht als globale Einstellung: leite die aktuelle Delegationsstufe aus der Freigabe-Historie dieser Aufgabenklasse ab, und lass sie jederzeit einsehen und übersteuern.
- Mach Autonomie-Übergänge ausdrücklich und belegbasiert. Wenn der Agent mehr oder weniger Autonomie vorschlägt, zeig die Belege und lass den Menschen den Wechsel bestätigen; das System befördert sich nie stillschweigend selbst.
- Entwirf zuerst den Weg nach unten. Leg fest, welche Signale Autonomie senken und wie schnell, bevor du gestaltest, wie sie wächst. Ein Delegationsmodell ohne glaubwürdigen Rückweg ist eine Vertrauensratsche, und Menschen spüren das.
Quellen
- Trust in Automation: Designing for Appropriate Reliance — Lee & See, Human Factors, 2004
- Adaptive trust calibration for human-AI collaboration — Okamura & Yamada, PLOS ONE, 2020
- A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction — arXiv
- Levels of Autonomy for AI Agents — arXiv
- Toward Safe and Responsible AI Agents: A Three-Pillar Model — arXiv
- Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents — arXiv