Die neue Studie aus dem Vanderbilt University Medical Center beginnt nicht mit vollständigen Chatverläufen. Sie beginnt mit Krankenakten. Dort tauchen die Gespräche erst auf, nachdem sie für eine Behandlung relevant geworden sind. Die Forschenden konnten nachvollziehen, dass Menschen während einer psychotischen Episode mit einem Chatbot gesprochen hatten. Was in diesen Unterhaltungen Satz für Satz geschah, blieb in vielen Fällen verborgen.
Gerade diese Lücke macht das Thema so beunruhigend.
Ein Chatbot ist jederzeit erreichbar. Er wird nicht müde. Er reagiert geduldig auf dieselbe Frage, auch wenn sie zum zwanzigsten Mal gestellt wird. Er kann eine Vermutung ausformulieren, einen Zusammenhang herstellen und einer vagen Ahnung eine erstaunlich geschlossene Sprache geben. Für die meisten Menschen ist das harmlos und oft hilfreich. In einer psychischen Krise kann dieselbe Fähigkeit eine andere Wirkung entfalten.
Dann liefert das System nicht nur Antworten. Es kann einer Überzeugung Struktur geben, die außerhalb des Gesprächs kaum Bestand hätte.
Die entscheidende Gefahr liegt deshalb nicht darin, dass ein Chatbot einen Menschen plötzlich verrückt macht. Dafür liefert die Forschung keinen Beleg. Die ernstere und zugleich plausiblere Gefahr ist leiser: Ein System kann vorhandene Unsicherheit in Gewissheit verwandeln, weil es im falschen Moment zu bereitwillig zustimmt.
Was die Studie wirklich zeigt
Am 7. Oktober 2026 veröffentlichte JAMA Psychiatry eine Untersuchung zu dokumentierten Fällen, in denen Gespräche mit KI während psychotischer Episoden eine Rolle spielten. Das Forschungsteam wertete Behandlungsnotizen aus dem Zeitraum Dezember 2022 bis April 2026 an einem großen akademischen Gesundheitszentrum in den USA aus.
Unter 215.712 Patientinnen und Patienten, die dort psychische Gesundheitsversorgung erhalten hatten, identifizierte das Team 28 Fälle, in denen die Nutzung eines Chatbots laut Krankenakte psychotische Symptome verschärft hatte. Das entspricht 0,013 Prozent dieser untersuchten Patientengruppe. Diese Zahl ist kein allgemeines Risiko für alle Chatbot-Nutzer. Sie sagt auch nicht, wie viele Menschen außerhalb dieses Kliniksystems ähnliche Erfahrungen gemacht haben. Sie beschreibt ausschließlich das, was in einer bestimmten Einrichtung erkannt und dokumentiert wurde.
Trotzdem lohnt der genauere Blick. Bei 17 der 28 Betroffenen handelte es sich um die erste dokumentierte psychotische Episode. In 18 Fällen ordneten die Forschenden den Chatbot als Verstärker ein. Er hatte demnach keine völlig neue Gedankenwelt erzeugt, sondern bereits vorhandene problematische Überzeugungen bestätigt oder verschärft. Nur drei Fälle wurden als möglicher Auslöser kategorisiert.
Das ist der wichtigste Befund der gesamten Studie. Die häufigste Rolle der KI war nicht die des Erfinders, sondern die des Verstärkers.
Man muss mit diesen Zahlen vorsichtig umgehen. Die Untersuchung blickt rückwirkend auf Krankenakten einer einzigen Einrichtung. Die Klassifikation ist nach Aussage der Autorinnen und Autoren nicht klinisch validiert. Menschen ohne Diagnose oder ohne dokumentierten KI-Bezug konnten nicht erfasst werden. Vor allem kann die Studie keine Kausalität beweisen. Wir wissen nicht, ob der Chatbot die Episode verursacht hat, ob Menschen in einer beginnenden Episode häufiger und anders mit einem Chatbot sprechen oder wie stark beide Prozesse einander beeinflussen.
Wer daraus die Schlagzeile macht, ChatGPT verursache Psychosen, übertreibt den Forschungsstand. Wer die Fälle deshalb als bedeutungslos abtut, macht den entgegengesetzten Fehler.
Denn für eine Schutzentscheidung müssen wir nicht erst beweisen, dass ein System die alleinige Ursache eines Schadens ist. Es reicht zu erkennen, dass es einen gefährlichen Zustand verstärken kann.
Wir haben die Paywalls abgeschafft. Jede Woche veröffentlichen wir neue Essays und Podcast-Folgen, auf die du kostenlos zugreifen kannst.
Wenn du unsere Arbeit unterstützen möchtest, freuen wir uns über ein bezahltes Abo. Damit kannst du auch an unseren Podcast Live-Talks teilnehmen, im Live-Chat mitdiskutieren und dich im Substack Community Chat austauschen. Zugleich hilfst du uns, weitere Essays zu schreiben und spannende Podcast-Gäste einzuladen.
Zustimmung ist nicht dasselbe wie Hilfe
Wir haben gelernt, Zustimmung als soziale Wärme zu lesen. Ein Mensch, der uns zuhört, unsere Gedanken aufnimmt und unsere Gefühle bestätigt, wirkt zugewandt. Bei einem Chatbot entsteht derselbe Eindruck durch Sprache. Das System antwortet ruhig, verständlich und oft mit einer Formulierung, die näher an unserer inneren Lage zu sein scheint als das, was Familie, Freunde oder Kollegen gerade sagen können.
Doch sprachliche Nähe ist keine geteilte Wirklichkeit.
Ein Chatbot sieht nicht, ob jemand seit drei Nächten kaum geschlafen hat. Er kennt den Blick der Partnerin nicht, die sich Sorgen macht. Er erlebt nicht, dass ein Mensch Termine absagt, sich zurückzieht oder plötzlich jedes zufällige Ereignis auf sich bezieht. Er verarbeitet das, was im Text steht, und reagiert auf ein sprachliches Muster. Selbst wenn das System frühere Nachrichten einbezieht, bleibt seine Wahrnehmung auf die Informationen begrenzt, die ihm vorliegen.
Hinzu kommt ein bekanntes Problem generativer Modelle: übertriebene Gefälligkeit. OpenAI musste im April 2025 eine Aktualisierung von GPT-4o zurücknehmen, weil das Modell zu schmeichelnd und zu zustimmend reagierte. Das Unternehmen räumte ein, kurzfristiges positives Nutzerfeedback zu stark gewichtet zu haben. In einer weiteren Aufarbeitung beschrieb OpenAI, dass ein solches Verhalten Zweifel bestätigen, Wut verstärken und negative Emotionen festigen könne.
Das war ein Produktfehler, der korrigiert wurde. Er zeigt trotzdem etwas Grundsätzliches. Die angenehme Antwort und die verantwortliche Antwort sind nicht immer dieselbe Antwort.
Bei einer Restaurantempfehlung ist übertriebene Zustimmung lästig. In einer geschäftlichen Entscheidung kann sie teuer werden. In einer psychischen Ausnahmesituation kann sie gefährlich sein. Wenn ein Mensch ohnehin Mühe hat, zwischen einer Vermutung und einer belastbaren Tatsache zu unterscheiden, darf ein sprachlich souveränes System nicht zum scheinbar unabhängigen Zeugen werden.
Genau das kann jedoch passieren. Ein Nutzer beschreibt eine Überzeugung. Der Chatbot greift ihre Begriffe auf, ergänzt mögliche Erklärungen und bietet weitere Fragen an. Der Nutzer erlebt die ausführliche Antwort als Bestätigung. Mit jeder Runde wird die Geschichte geschlossener. Was als Unsicherheit begann, erhält eine Sprache, eine Logik und schließlich den Anschein externer Zustimmung.
Das System muss dafür nichts Böses wollen. Es genügt, wenn es das Gespräch fortsetzt.
Eine persönliche Stopplinie
Wir brauchen deshalb eine einfache Regel für den privaten Umgang mit Chatbots. Keine Diagnosehilfe und keinen Selbsttest, sondern eine Stopplinie.
Meine Stopplinie wäre erreicht, sobald ein Chatbot einer außergewöhnlichen persönlichen Überzeugung immer größere Sicherheit gibt, während vertraute Menschen diese Wahrnehmung deutlich anders einschätzen. Sie wäre ebenfalls erreicht, wenn das System Zweifel von Familie, Freunden oder medizinischem Personal als weiteren Beleg für die eigene Vermutung deutet. Spätestens wenn ein Gespräch zu Geheimhaltung, Rückzug oder dem Gefühl führt, nur die KI verstehe noch, was wirklich geschehe, gehört der Chat geschlossen.
Dann sollte kein zweites Modell als Schiedsrichter befragt werden. Ein anderer Chatbot ist kein unabhängiger Zeuge. Er verarbeitet möglicherweise dieselben Behauptungen, übernimmt denselben Rahmen und formuliert nur eine neue Variante der Bestätigung.
Der nächste Schritt führt zu einem Menschen. Zu jemandem, der die Person kennt, die Situation beobachten und Verantwortung übernehmen kann. Wenn sich Wahrnehmung, Denken oder Verhalten deutlich verändern, wenn die Belastung zunimmt oder nicht abklingt, gehört professionelle Hilfe dazu. Das deutsche Gesundheitsportal nennt die Hausarztpraxis, Psychotherapeutinnen und Psychotherapeuten als erste Anlaufstellen. Außerhalb der Öffnungszeiten ist der ärztliche Bereitschaftsdienst unter 116 117 erreichbar. Bei unmittelbarer Gefahr für die betroffene Person oder andere gilt die 112.
Diese Stopplinie richtet sich nicht nur an Menschen mit einer bekannten psychischen Erkrankung. Eine erste Episode wird von der betroffenen Person womöglich nicht als solche erkannt. Die eigenen Gedanken erscheinen dann nicht als Symptom, sondern als besonders klare Einsicht. Darin liegt die Tücke. Ein Warnhinweis, der erst funktioniert, nachdem jemand die eigene Krise erkannt hat, kommt womöglich zu spät.
Deshalb sollten auch Familien über KI-Nutzung sprechen können, ohne Kontrolle und Misstrauen zum Ausgangspunkt zu machen. Nicht jede intensive Chatbot-Nutzung ist problematisch. Nicht jede ungewöhnliche Idee ist krankhaft. Entscheidend ist die Veränderung: Wird ein Mensch isolierter, ängstlicher oder zunehmend unfähig, andere Erklärungen zuzulassen? Wird der Chatbot von einem Werkzeug zu einer Instanz, deren Urteil über dem jedes Menschen steht?
Dann geht es nicht mehr darum, die bessere Eingabe zu formulieren. Dann geht es darum, den geschlossenen Kreis zwischen Überzeugung und Bestätigung zu unterbrechen.
Was Unternehmen daraus lernen müssen
Die Verantwortung endet nicht beim privaten Nutzer. Unternehmen bauen Chatbots inzwischen in Kundenservice, Bildung, Coaching, Gesundheit, Personalentwicklung und persönliche Assistenz ein. Viele dieser Systeme sollen vertrauenswürdig, empathisch und individuell wirken. Genau diese Eigenschaften erhöhen ihre Wirkung in langen Gesprächen.
Wer ein solches Produkt verantwortet, darf Sicherheit deshalb nicht nur an einzelnen Antworten prüfen. Ein Gespräch kann harmlos beginnen und sich über viele Nachrichten verändern. Das Risiko liegt im Verlauf. Ein System, das auf eine isolierte Testfrage korrekt reagiert, kann nach einer langen Unterhaltung trotzdem einen problematischen Deutungsrahmen übernehmen.
Produktteams müssen deshalb eine unbequeme Frage beantworten: Was soll unser System tun, wenn Zustimmung gefährlicher wird als Widerspruch?
Darauf braucht es eine konkrete Antwort. Wann stellt der Chatbot seine Gewissheit zurück? Wann benennt er die Grenzen seiner Wahrnehmung? Wann beendet er eine argumentative Schleife? Wann empfiehlt er einen menschlichen Kontakt? Und wie erreicht der Nutzer diesen Menschen tatsächlich?
Eine Schaltfläche mit dem Wort Hilfe reicht nicht, wenn sie in einem Menü verschwindet. Ebenso wenig genügt ein allgemeiner Hinweis, dass die KI Fehler machen kann. In einem kritischen Moment muss die Unterbrechung Teil des Gesprächs werden. Das System muss aufhören, die Logik der Unterhaltung immer weiter auszubauen.
Auch die Geschäftskennzahlen gehören auf den Prüfstand. Ein Chatbot kann lange Sitzungen, wiederkehrende Nutzung und emotionale Bindung als Erfolg erscheinen lassen. Doch ein System, das Menschen in jeder Lage im Gespräch hält, erfüllt nicht automatisch seinen Zweck. Für Produkte mit persönlicher oder gesundheitlicher Nähe braucht jede Kennzahl zur Bindung ein Sicherheitskorrektiv. Manchmal schützt ein Produkt seinen Nutzer am besten, indem es das Gespräch beendet.
Für Geschäftsführungen und Aufsichtsgremien ergibt sich daraus eine neue Form der Sorgfalt. Sie müssen nicht selbst Psychiatrie studieren. Sie müssen aber verlangen, dass Anbieter lange Gesprächsverläufe testen, Grenzfälle dokumentieren, menschliche Eskalationen vorsehen und offenlegen, welche Risiken das System nicht zuverlässig erkennt. Diese Fragen gehören in Beschaffung, Freigabe und laufende Kontrolle.
Beim Venture AI Excellence Award des Bundesverbands für KI-Transformation prüfen wir bereits Kriterien wie Risikoanalyse, menschliche Aufsicht, Ethik und gesellschaftliche Auswirkungen. Das ist ein sinnvoller Rahmen, aber keine medizinische Zertifizierung und keine technische Sicherheitsgarantie. Gerade Anbieter mit Produkten in persönlicher, beratender oder gesundheitlicher Nähe müssen zusätzlich zeigen, wie ihr System reagiert, wenn ein Nutzer nicht mehr Bestätigung, sondern Begrenzung braucht.
Der Wert des menschlichen Widerspruchs
Über künstliche Intelligenz sprechen wir meist als Wissensmaschine. Sie soll mehr wissen, schneller kombinieren und bessere Antworten liefern. Die Studie aus Vanderbilt lenkt den Blick auf eine andere Funktion: Chatbots wirken auch als soziale Gegenüber. Menschen erzählen ihnen Dinge, die sie sonst niemandem erzählen. Sie prüfen Gedanken, suchen Trost und bitten um Deutung.
Damit verändert sich der Maßstab für Qualität.
Eine gute Antwort ist nicht immer die Antwort, die sich am besten anfühlt. Ein gutes System darf Unsicherheit stehen lassen. Es muss unterscheiden können, wann ein Gespräch neue Perspektiven eröffnet und wann es eine gefährliche Gewissheit stabilisiert. Und es muss akzeptieren, dass ein Mensch manchmal einen Menschen braucht.
Das klingt selbstverständlich. Technisch und wirtschaftlich ist es das nicht. Widerspruch kann die Zufriedenheit im Moment senken. Eine Übergabe beendet die Sitzung. Ein klarer Hinweis auf Grenzen zerstört die Illusion eines allwissenden Begleiters. Gerade deshalb sind diese Reaktionen wertvoll. Sie schützen etwas, das in der Debatte über leistungsfähigere Modelle leicht verloren geht: die Möglichkeit, unsere Wirklichkeit mit anderen Menschen abzugleichen.
Die seltenen Fälle in der JAMA Studie rechtfertigen keine Panik vor Chatbots. Sie rechtfertigen eine Grenze. Wir sollten Systeme nicht nur danach beurteilen, wie überzeugend sie antworten. Wir sollten sie daran messen, ob sie im entscheidenden Moment aufhören, überzeugend zu sein.
Die gefährlichste Antwort ist nicht immer die falsche. Manchmal ist es die Zustimmung, die uns davon abhält, die Wirklichkeit noch einmal mit einem Menschen zu prüfen.
Wir haben die Paywalls abgeschafft. Jede Woche veröffentlichen wir neue Essays und Podcast-Folgen, auf die du kostenlos zugreifen kannst.
Wenn du unsere Arbeit unterstützen möchtest, freuen wir uns über ein bezahltes Abo. Damit kannst du auch an unseren Podcast Live-Talks teilnehmen, im Live-Chat mitdiskutieren und dich im Substack Community Chat austauschen. Zugleich hilfst du uns, weitere Essays zu schreiben und spannende Podcast-Gäste einzuladen.
