Problematischer Schritt Chatbot ersetzt Experten bei Hilfe-Hotline

Eine Hilfe-Hotline für Menschen mit Essstörungen hat Menschen durch Chatbots ersetzt — mit desaströsem Ergebnis.

Ein von der US-Organisation National Eating Disorder Association (Neda) betriebener Chatbot, der Menschen mit Essstörungen Hilfestellungen leisten soll, musste wieder abgeschaltet werden, wie der «Guardian» berichtet. Der Chatbot hatte offenbar Ratschläge gegeben, die sich als schädlich für betroffene Menschen entpuppten.

Bis Mai betrieb Neda eine Telefon-Hotline, an die sich Hilfesuchende wenden konnten. Doch deren vier Mitarbeiter*innen wurden entlassen, laut deren Angaben, weil sie einer Gewerkschaft beigetreten waren. Neda sagt, die Hotline wurde aus wirtschaftlichen Gründen abgeschaltet.

Stattdessen gab es einen Chatbot namens «Tessa». Dieser sei im Rahmen einer klinischen Studie mit 700 Teilnehmer*innen entwickelt worden, so Neda. Tessa könne auch viel mehr Menschen gleichzeitig helfen. Die Hotline sei vor allem durch die Begleiterscheinungen der Corona-Pandemie mit dem hohen Anstieg an psychischen Erkrankungen stark überlastet gewesen.

Die Geister, die sie riefenKI-Führer warnen vor Gefahr durch KI

Problematische Ratschläge

Doch Tessas Ratschläge waren teilweise schädlich und könnten eine Essstörung sogar verschlimmern, wie die Aktivistin Sharon Maxwell herausfand. Bei einer Konversation mit dem Chatbot riet Tessa zu einem täglichen Kaloriendefizit von bis zu 1000 Kalorien und der Anschaffung von einem Instrument zur Bestimmung des Körperfettanteils.

«Uns wurde bewusst, dass die aktuelle Version des Tessa-Chatbots möglicherweise Informationen herausgab, die schädlich sein könnten und keinen Zusammenhang mit unserem Programm haben», heisst in einer Stellungnahme von Neda. Bis man dies untersucht habe, bleibe Tessa offline.

Hilfsmittel für SpammerChatbots schreiben Amazon-Bewertungen