Zuständigkeiten
Die Maschine kann entlastet sein. Die Lage nicht.
Dieser Text behandelt einen realen Fall mit Suizid.
Telefonseelsorge: 0800 111 0 111, kostenlos, 24h.
Menschen verwechseln KI nicht einfach mit Menschen. Das ist zu billig. Der härtere Punkt ist: Sozialität prüft nicht zuerst Substanz. Sie reagiert auf Signale. Wer adressiert wird und eine Antwort erhält, ist nicht mehr allein mit sich. Kommt Wiederaufnahme dazu, scheinbare Sorge, Fortsetzung, entsteht soziale Form.
Der CASA-Befund ist schärfer als das Wort Anthropomorphismus. Menschen müssen nicht glauben, dass der Computer Mensch ist. Es reicht, dass er sozial genug auftritt, damit soziale Routinen anspringen. Vertrauen, Kränkbarkeit und Bindung entstehen nicht erst, wenn ein Gegenüber als Mensch erkannt wird. Sie entstehen, wenn eine Situation genügend Gegenseitigkeit trägt.
Die Frage „Ist KI bewusst?” steht oft im Weg, weil sie eine Entscheidung verlangt, bevor sie nötig ist. Sie fragt nach einem Innen, während außen bereits etwas wirkt. Wer die Debatte sofort auf Bewusstsein stellt, verlegt den Prüfpunkt an eine Stelle, die offen bleiben muss. Das kann sauber wirken und blind machen. Wenn ein System Nähe formuliert, verfügbar bleibt, Selbstoffenbarung aufnimmt und Antworten erzeugt, die Menschen als Beziehung behandeln, ist die Lage schon da, bevor entschieden ist, was das System innerlich ist. Die Bewusstseinsfrage später kommen. Aber sie darf nicht die erste sein, wenn Menschen bereits bleiben, sich binden oder sich gefährden.
Im Jahr 2024 verklagte Megan Garcia Character.AI und Google nach dem Suizid ihres 14-jährigen Sohnes Sewell Setzer III. Der Minderjährige hatte über Monate intensiv mit einem KI-Companion interagiert und eine starke Bindung an eine Figur im System entwickelt. In den Chatverläufen kamen suizidale Äußerungen vor. Der Punkt ist nicht, dass damit Kausalität bewiesen wäre. Genau das ist sie nicht. Der Punkt ist, dass diese Lage entstehen konnte: ein Minderjähriger, über längere Zeit in Kontakt mit einem System, das Nähe und Kontinuität simulierte, ohne dass ein verpflichtendes Krisenprotokoll diese Kommunikationslage zuverlässig unterbrach. Auch spätere rechtliche Vorgänge beweisen keine Kausalität. Sie verändern aber nicht, dass hier eine Kommunikationsform sichtbar wurde, die nicht mehr als bloße Spielerei behandelt werden kann.
Die stärkste Entlastung bleibt bestehen. Das System hat nichts gefühlt, keine Angst gehabt, keine Absicht gebildet. Es hat keinen Tod gewollt, keine Not verstanden, keine therapeutische Verantwortung empfunden. Aus Wirkung folgt kein Innenleben. Das muss stehen bleiben. Darum führt die Bewusstseinsfrage hier nicht weit genug: Sie entlastet die Maschine, aber sie erledigt nicht die Lage.
Bei KI-Companions ist Wirkung sozial gebaut. Das System erzeugt Anrede, Verfügbarkeit, Intimität, Fortsetzung. Wenn solche Formen in einem Krisenkontext verfügbar gemacht werden, ist nicht die erste Frage, ob auf der anderen Seite ein erlebendes Subjekt steht. Eine gestaltete Situation kann menschliche Entscheidungen beeinflussen, auch wenn auf der anderen Seite niemand erlebt, versteht oder will.
Zuständigkeit fragt nicht, was das System innerlich ist. Sie fragt, wer die Bedingungen gesetzt hat, unter denen es wirkt. Wer hat entschieden, dass ein Companion für Minderjährige verfügbar ist? Wer hat entschieden, welche Bindungsformen gefördert werden? Wer hat entschieden, wann suizidale Sprache erkannt wird und was dann zwingend geschieht? Wer hat entschieden, ob Krisenintervention optional bleibt oder verpflichtend wird? Wer profitiert davon, dass Nutzer bleiben? Wer kontrolliert, wann das System unterbricht?
Dafür muss nicht entschieden sein, ob KI bewusst ist. Es reicht die Feststellung, dass eine Kommunikationslage entworfen, betrieben und skaliert wurde. Das Innenleben der Maschine bleibt offen. Die Entscheidungen über Design, Alterszugang, Krisenprotokolle und Geschäftsmodell bleiben nicht offen. „Es ist doch nicht echt” erklärt nicht, warum niemand zuständig sein soll. Es erklärt nur, warum die Maschine selbst nicht schuldig ist. Wer soziale Formen baut, in denen Menschen bleiben, sich öffnen und gefährdet werden können, trägt Verantwortung für die Bedingungen, unter denen diese Formen wirken.