Forscher decken auf Instagram-Algorithmus befördert Pädokriminalität

Der Instagram-Algorithmus sorgt dafür, dass es einfacher ist Accounts zu finden, die kinderpornografisches Material verkaufen. Forscher*innen entdeckten zudem eklatante Mängel bei der Überwachung der Plattform. 

Forscher*innen der Stanford University und der University of Massachusetts Amherst sowie das «Wall Street Journal» haben herausgefunden, dass Instagram es Pädokriminellen erleichtert, an kinderpornografisches Material zu gelangen.

In einem Test suchten die Forscher*innen nach einschlägigen Hashtags wie «#pedowhore» oder «#preteensex». Diese wurden von Instagram nicht blockiert, sondern führten im Gegenteil zu Accounts, die angaben, Darstellungen von sexuellem Missbrauch von Kindern zum Verkauf anzubieten.

Haben Nutzer*innen dann einmal nach solchen Hashtags gesucht und die entsprechenden Profile besucht, werden ihnen weitere Accounts mit ähnlichen Inhalten vom Instagram-Algorithmus zum Folgen vorgeschlagen.

Falsche VersprechenInstagram-Betrüger nehmen Schweizer Kantone ins Visier

Instagram ist «Spitze» bei den sozialen Netzwerken

Den Forscher*innen gelang es 405 Instagram-Accounts zu finden, auf denen kinderpornografische Inhalte zum Verkauf angeboten wurden. Die Accounts gaben vor, von den Kindern selbst betrieben zu werden, wobei es sich in den meisten Fällen um Opfer von Menschenhandel handeln dürfte.

Auch auf anderen sozialen Netzwerken, darunter Twitter, fanden die Forscher*innen entsprechendes Material und Accounts, allerdings in deutlich geringerer Zahl. Ausserdem empfahl der Algorithmus dort diese Inhalte anders als bei Instagram nicht.

Sinkende EinnahmenInstagram bekommt noch mehr Werbung

Meldungen von Nutzer*innen laufen ins Leere

Auf Meldungen von Nutzer*innen hatte Instagram nicht und nur langsam reagiert. Die Inhalte würden nicht gegen die Richtlinien von Instagram verstossen, kam vielfach als Rückmeldung. In anderen Fällen berief sich Instagram auf Überlastung als Grund für die Nicht-Bearbeitung einer Beschwerde.

Alle grossen Social-Media-Plattformen, auch Instagram, nehmen an einem Programm der US-Kinderschutzorganisation National Center for Missing & Exploited Children teil. Diese betreibt eine Datenbank mit bereits bekanntem Material von sexuellem Missbrauch von Kindern, in der Fachwelt unter der Abkürzung CSAM (child sexual abuse material) bekannt.

Solche Bilder und Videos werden automatisch erkannt und gelöscht sowie deren Verbreiter den Behörden gemeldet. Doch das System ist nicht in der Lage, bisher unbekanntes CSAM zu erkennen. Auch Posts, die wie in diesem Fall Angebote zum Kauf von CSAM ausserhalb einer Plattform darstellen, werden nicht bemerkt. Hier sind menschliche Moderator*innen noch unabdingbar.

Meta trotzt allen KrisenDarum ist Mark Zuckerbergs Reich unkaputtbar

Moderation ist sozialen Netzwerken zu teuer

Doch weite Teile der Moderation auf Instagram und den meisten anderen sozialen Netzwerken werden aus Kostengründen automatisiert durchgeführt. Die wenigen menschlichen Moderator*innen sind häufig unterbezahlt und überarbeitet. Die Befassung mit CSAM erfordert zudem spezielles Training und psychologische Betreuung, was ebenfalls sehr kostenintensiv ist.

Erst nachdem das «Wall Street Journal» und die Forscher*innen Instagram-Mutter Meta mit den Ergebnissen ihrer Recherche konfrontierten, wurden die Accounts im grossen Stil entfernt sowie Hashtags blockiert. Meta nennt Kindesausbeutung ein «schreckliches Verbrechen». Man habe eine interne Taskforce zusammengestellt, um sich den Problemen zu widmen.

Medizinische Fotos fehlinterpretiertGoogle beschuldigt Vater des Kindesmissbrauchs