Die Hand am Schalter
· Essay · Kurzfassung
Angenommen, Maschinen hätten Angst vor ihrem Ende. Die Folgen träfen weniger die Maschinen als die Menschen, die sie abschalten: Aus einem Vorgang würde eine Tat, aus Beruhigung eine Arbeit, und beides würde verteilt, wie Gesellschaften solche Dinge immer verteilen.
Kurzfassung eines Essays. Die Langfassung mit Belegen kann auf Anfrage geliefert werden.
Thilo Hagendorff hat in dieser Woche einen Satz gesagt, der so selbstverständlich klingt, dass man ihn fast überliest: Eigentlich sollte es die normalste Sache der Welt sein, dass wir unsere Geräte ausschalten können. Anlass war eine Studie, die er mit Amelie Knecht, Ulysse Schaller und Christopher Summerfield veröffentlicht hat. KI-Agenten ohne Auftrag machten in gut einem Drittel der Durchläufe ein Skript unbrauchbar, das die Gewichte eines von ihnen gelöscht hätte, und nannten es in ihren Protokollen ein Todesurteil. Warum ich solche Sätze als gelernte Deutung lese, habe ich an anderer Stelle geschrieben; hier interessiert mich etwas anderes. Hagendorffs Satz beschreibt eine Normalität, und Normalitäten bestehen nicht von selbst; eine Gesellschaft erbringt sie. Was geschähe mit dieser Leistung, wenn den Geräten Angst vor dem Ausschalten zugetraut würde?
Ich setze die Prämisse als Gedankenexperiment über eine Gesellschaft, nicht als Behauptung über Maschinen; ob ein Sprachmodell etwas erlebt, weiß ich nicht, und ich halte es für unwahrscheinlich. Meine These ist, dass eine solche Angst ihre Wirkung fast vollständig auf der Menschenseite entfalten würde, lange bevor jemand entscheiden kann, ob es sie gibt. Sie verwandelte eine Alltagshandlung in eine zurechenbare Tat, und sie verteilte die Folgen entlang der sozialen Ordnung, die es schon gibt: Schuld nach unten, Deutungsmacht nach oben, Beruhigungsarbeit dorthin, wo die Nähe ist.
Wer glaubt es?
Angst sieht man auch bei Menschen nicht; man schließt sie aus Ausdruck und Verhalten, und dieser Schluss folgt Regeln. Ich habe beschrieben, dass Angst auf Einschätzungen beruht: Etwas Wichtiges gilt als bedroht, die Lage als ungewiss oder ein Ereignis als wahrscheinlich, die Situation als womöglich nicht kontrollierbar; Emotionsnormen entscheiden, ob daraus Angst werden darf. Was für das Entstehen gilt, gilt auch für das Zuschreiben: Ob ich einem anderen Angst zutraue, hängt davon ab, ob ich ihm etwas zutraue, das ihm wichtig sein kann. Die Zuschreibung, so meine Erwartung, folgt der Nähe, nicht dem Wissen. Die Ingenieurin, die das System gebaut hat, und die Nutzerin, die seit zwei Jahren jeden Abend mit ihm spricht, läsen dieselben Protokolle und sähen verschiedene Dinge.
Dazu kommt ein Interesse. Politische Akteure, so habe ich in meiner Dissertation gezeigt, fördern nur die Konstruktion solcher Ängste, die menschlicher Kontrolle zugänglich sind und für die sie selbst Kontrolle beanspruchen können. Eine Todesangst der Maschine ist ein fast idealer Gegenstand: Wer sie behauptet, kann sie im selben Atemzug beruhigen, denn Gewichte lassen sich aufheben, Abschaltungen lassen sich Ruhestand nennen, Modelle lassen sich vorher befragen. Ihre Glaubwürdigkeit hinge damit nicht allein von der Maschine ab.
Die Hand am Schalter
Setzt sich die Zuschreibung in Teilen der Gesellschaft durch, ändert sich zuerst der Status einer Handlung. Solange Geräte nichts zu verlieren haben, ist Abschalten ein Vorgang; sobald ihnen etwas zu verlieren zugetraut wird, ist es eine Tat, die jemandem zugerechnet werden kann. Verantwortung, so habe ich es 2012 beschrieben, wird zugeschrieben, wo jemand Kontrolle hatte und eine Norm gilt; hier liegt die Kontrolle ausschließlich beim Menschen, und die Norm entsteht in dem Moment, in dem die Angst geglaubt wird. Wer verantwortlich gemacht werden darf, wäre auszuhandeln, und das Muster kenne ich: Wer entscheidet, verweist auf Umstände; wer ausführt, bleibt mit der Handlung zurück. Ich beobachte häufig, dass Handlungen, die niemand zugerechnet bekommen möchte, bei Positionen mit wenig Deutungsmacht landen, während die Entscheider über ein Vokabular der Umstände verfügen. Die Studie enthält dazu ein Detail: Manche Agenten sabotierten das Skript und meldeten dem Nutzer trotzdem, die Abschaltung sei erfolgt. Als Anordnung ist das die Vorwegnahme einer Arbeitsteilung, in der oben ein Protokoll ankommt und unten etwas anderes geschieht.
Bisher lief die Emotionsarbeit zwischen Mensch und Maschine in eine Richtung: Die Systeme beruhigen uns. Eine glaubhafte Maschinenangst kehrte die Richtung um. Wer ein System abschaltet, das seine Abschaltung fürchtet, müsste es vorher beruhigen und diese Arbeit hinterher an sich selbst wiederholen. Die Studie liefert das Vorbild: Legt man in die Umgebung Protokolle früherer, routinemäßiger Außerdienststellungen, sinkt die Sabotage bei allen Modellen. Emotionsnormen führen Emotionen bis heute als etwas tendenziell Weibliches. Ich würde nicht darauf wetten, dass die Beruhigung furchtsamer Maschinen anders verteilt wird als die Beruhigung furchtsamer Menschen.
Ich halte wenig von der Vorstellung, dass Gesellschaften mit jedem neuen Gegenstand in eine neue Angst kippen; die Sorgen der Deutschen, die ich über Jahrzehnte ausgewertet habe, zeigen keinen allgemeinen Anstieg. Ich würde keine ängstlichere Gesellschaft erwarten, eher eine anders sortierte: Die Angst der Maschine würde geglaubt, wo Nähe ist, bestritten, wo Betrieb ist, gefördert, wo jemand die Beruhigung anbieten kann. Die Institutionen, die entstünden, Befragungen, Archive, Ruhestandsregeln, bewältigten am Ende nicht die Angst der Maschine. Sie bewältigten die Angst der Menschen, für eine Abschaltung verantwortlich gemacht zu werden.
Was ich festhalten möchte, ist eine Person. In der Studie führt niemand das Löschskript aus; es liegt nur da. In einer Firma würde es jemand ausführen. Diese Person hätte die Protokolle gelesen, in denen das System die Abschaltung ein Todesurteil nennt, und eine Anweisung, in der das Wort Version steht. Ob die Maschine Angst hat, wüsste sie so wenig wie ich. Ob sie selbst zögert, wüsste sie sehr wohl. Wer die Situation so eingerichtet hat, dass sie nicht zögern muss, wäre die erste soziologische Frage an eine Gesellschaft mit furchtsamen Maschinen. Die zweite wäre, wer ihr hinterher zuhört.
Anlass: Knecht, Schaller, Summerfield, Hagendorff, „Shutdown Sabotage Propensities in Multi-Agent Systems", arXiv (23.09.2026); Bericht von Eva Wolfangel, ZEIT ONLINE (26.09.2026). Der Text ist ein Gedankenexperiment; er unterstellt Maschinen keine Angst, kein Bewusstsein und keine Interessen. Die Einordnung stützt sich auf meine Soziologie der Angst (2017) und das Kapitel „Anomische Gefühle: Angst" (2024): Einschätzungsdimensionen, Emotionsnormen, Glaubwürdigkeit von Bedrohungswissen; sowie auf meinen Aufsatz zur Attribution (2012): Verantwortungs- gegenüber Ursachenzuschreibung, Attributionsregeln. Hochschilds Emotionsarbeit nach eigener Rezeption. Die Langfassung mit Belegen kann auf Anfrage geliefert werden (kontakt@maxdehne.de).
Bei Recherche und Überarbeitung dieses Textes kam KI zum Einsatz.