KI-Chatbots bei seelischen Problemen: Chancen und Risiken

Ich höre immer wieder, dass sich Menschen zum Teil auf sehr persönliche Gespräche mit KI-Chatbots einlassen. Einer Aussage von Open AI zufolge, liegt der Anteil bei 30%. Verifizieren kann ich das nicht, weil es dazu bis jetzt keine validen Untersuchungen gibt. Aber ich halte das für sehr wahrscheinlich. – In den Fokus der Öffentlichkeit ist ein besonders negatives Beispiel eines KI-Chats geraten: In den USA werfen Angehörige dem Betreiber eines KI-Chatbots vor, ein Teenager sei durch längere Gespräche mit dem System in suizidalen Gedanken bestärkt worden und habe sich später das Leben genommen.

Das liegt an der Art, wie die Systeme arbeiten. Die großen allgemeinen KI-Systeme wie z.B. ChatGPT, Gemini oder andere, erzeugen Antworten, die sprachlich stimmig, zugewandt und plausibel auf Basis ihrer Trainingsdaten sind. Gerade der freundliche scheinbar verstehende Ton der Antworten macht die KI unverdient glaubwürdig. Ihr wird Empathie zugeschrieben und das verstärkt ihre Autorität. Genau darin liegt die Gefahr. Ich habe dafür den Begriff Überzeugungstäuschung entwickelt: Der Ton klingt empathisch, aber die Verantwortung bleibt leer.

Durch den warmen Tonfall und die scheinbar empathischen Antworten der KI wird Menschen suggeriert, dass es sich um echte Anteilnahme handelt. Das verführt dazu immer weiter mit der KI zu reden. Da wird ein Beziehungsmanagement aufgebaut, das einen großen Sog hat, weil man den Eindruck hat, auf der anderen Seite sei eine Entität, ein Wesen. Aber da ist schlichtweg Mathematik nichts anderes. KI ist nämlich ein Geschäftsmodell. Wir sollen dabeibleiben. Die Chatverläufe selbst geben Aufschluss über die Person, tragen dazu bei ziemlich genaue Nutzerprofile zu erstellen. Sie können und werden als Trainingsdaten für die KI genutzt. Die Anbieter der KI-Plattformen haben ein großes finanzielles Interesse dran, dass wir möglichst lange mit dem Chatbot interagieren. 

KI-Chatbots können hilfreich sein, die eigenen Gedanken zu formulieren und zu strukturieren. KI kann plausible Erklärungen formulieren und Lebenslagen für die ratsuchende Person in kohärente Narrative bringen. Ich stelle mir eine sehr einsame Situation vor und dann ist die ständige Verfügbarkeit — 24 Stunden am Tag, 365 Tage im Jahr — für manche Menschen entlastend. Vor allem dann, wenn sie nicht mit einer anderen Person sprechen können oder lange Wartezeiten im seelsorglichen, beratenden oder therapeutischen Kontext bestehen.

Die Grenze der Beratung durch Chatbots liegt überall dort, wo aus Selbstklärung eine akute Schutz-, Krisen- oder Interventionssituation wird. Die KI kennt den Ort der Person nicht zuverlässig, erkennt Intoxikation (Rauschzustand), Minderjährigkeit, Gewalt- oder Täter-Opfer-Konstellationen nur sprachlich und kann das tatsächliche Risiko nicht professionell einschätzen. Ein Beispiel: Du sagst dem Chatbot „Mir geht es so schlecht, ich würde am liebsten aus dem Fenster springen Was soll ich tun?“. Dann ist das keine Frage für einen Chatbot. Der Chatbot müsste eigentlich sofort in den Notfallmodus umschalten. Das tut er aber nicht, weil er das nicht kennt und nicht kann. Es besteht die Gefahr, dass dann eine völlig unangemessene Antwort kommt, ein falsches Beruhigen, eine unangemessene Tonalität. In Krisensituationen wird aus technischer Fortsetzung dann eine riskante Beziehungsillusion. Das System klingt zugewandt, hat aber keine menschliche Präsenz, keine Garantenstellung und keine reale Interventionsfähigkeit. Eigentlich müsste der Chatbot dem Fragenden hier sofort raten, sich an einen Seelsorgenden, einen … oder an die Telefonseelsorge zu wenden. Das tut die KI aber in der Regel nicht. 

Nein. Seelsorglich handeln geht anders: Seelsorglich ist keine Rollensimulation, sondern eine klare und verantwortliche Zuwendung zu einem Menschen. Es ist erkennen, begrenzen, manchmal auch deeskalieren. Dem Menschen die Möglichkeit geben, dann auch wirklich wieder in eine in eine Freiheit zu gehen. Man sagt, man trifft sich mehrmals zur Seelsorge, man begleitet jemanden, aber dann entlässt man ihn auch wieder, auch manchmal in die Freiheit. Ich denke, Seelsorge ist Freiheitsarbeit. Nicht Menschen in Antworten hineinführen, sondern in Wahrheit Verantwortung und Würde begleiten.

Allen Menschen, die sich an die KI wenden, würde ich raten: „Mach Dir klar, dass hier eine Maschine mit dir kommuniziert. Sobald Du der Maschine zuschreibst, das ist jemand, der mich richtig versteht, dann wird es falsch. Die KI versteht dich nicht wirklich. Sie will, dass Du dabeibleibst, du kannst in ein Abhängigkeitsverhältnis geraten. Je mehr Du in deinen Chatbot ‚verliebt‘ bist, desto mehr Distanz solltest Du zu ihm haben.   

Auf technologischer Seite haben wir es im Moment mit zwei Richtungen zu tun. Es gibt den Wunsch der großen Technologiekonzerne, dass es die allgemeine künstliche Intelligenz und die Superintelligenz gibt, die quasi die alles kann. Parallel dazu gibt es die Entwicklung der vielen kleinen Agenten, die um uns herum sind. Viele kleine spezialisierte Chatbots, die uns im Alltag helfen. Da sind Apps vorstellbar, die mir dabei helfen, spirituelle Momente zu haben, eine geistliche Auszeit. So wie es Running Apps gibt, die meinen Laufverhalten protokollieren und Empfehlungen geben, wird es eine künstliche Intelligenz für Religion, Spiritualität geben. Man wird sehen, was sich durchsetzt. 

Es wird die Aufgabe von Kirchen sein oder von Menschen, die sich mit Seelsorge befassen, eine Art Seelsorge-Agenten zu entwickeln, der gut trainiert und datenschutzrechtlich konform ist, der jemanden begleiten kann, aber auch analysieren kann, wann es besser ist, wenn einen Profi hinzuziehen, der dem Ratsuchenden eben auch deutlich sagt: „Jetzt kann ich dir nicht mehr weiterhelfen. Geh bitte zu einer Seelsorger*in.