Unabhängig von den Tech-Giganten So baust du dir deinen eigenen Chatbot

Chatbots gibt es inzwischen einige im Netz. Doch nun ist es möglich, eine solche künstliche Intelligenz komplett auf deinem Privat-PC zu betreiben – mit noch unabsehbaren Folgen. 

Chatbots sind innerhalb weniger Monate zu einem breit verfügbaren Tool geworden. OpenAI mit ChatGPT, Microsoft mit Bing Chat sowie Google mit Bard bieten inzwischen öffentlichen Zugang zu ihren Chatbots. Doch wie du diese Chatbots nutzen kannst, kontrollieren alleine diese Unternehmen. Bestimmte Feature sind inzwischen auch schon zahlenden Kund*innen vorbehalten.

Doch nun ist es möglich, dass du einen Chatbot kostenlos auf deinem eigenen Computer betreibst. Nach der Installation operiert dieser dann völlig autark, eine Verbindung zum Internet ist nicht erforderlich.

Kostenlose App macht Installation kinderleicht

Das geht dank der für Windows, Linux und Mac verfügbaren App GPT4All, die es ermöglicht, diverse Sprachmodelle aus dem Netz zu laden und dann als Chatbot zu betreiben. Grosses Fachwissen ist nicht erforderlich, nur eine schnelle Internetverbindung und viel freier Speicher bei der Einrichtung wären hilfreich. Denn die Downloads der Sprachmodelle sind zwischen 4 und 8 Gigabyte gross.

Einen Chatbot zu betreiben ist zudem eine rechenintensive Aufgabe und um GPT4All zu nutzen brauchst du einen halbwegs modernen PC, aber keineswegs einen Supercomputer. blue News hat GPT4All auf einem MacBook Air M1 getestet, ein für knapp 1000 Franken erhältlicher Allerweltslaptop.

Die Geister, die sie riefenKI-Führer warnen vor Gefahr durch KI

Mehrere Sprachmodelle zur Auswahl

Nach der Installation bietet GPT4All knapp ein dutzend verschiedene Sprachmodelle zum direkten Download an. Die um die 4 Gigabyte grossen Sprachmodelle basieren dabei auf den von Grund auf neu entwickelten Open-Source-Modellen GPT J 6B sowie MPT 7B.

Die derzeit besten frei verfügbaren Modelle basieren jedoch auf LLaMA, einem von Facebook-Mutter Meta entwickeltem Sprachmodell. Meta selbst bietet zumindest derzeit noch keinen Chatbot an, hat den Quellcode für sein Modell jedoch der Öffentlichkeit zur Verfügung gestellt. Ein LLaMA-Modell braucht etwa 8 Gigabyte Speicherplatz.

Antwort kann etwas dauern

Die kleineren 4 Gigabyte-Modelle liefern eine Antwort auf dem Test-Macbook innerhalb weniger Sekunden, bei den grossen auf LLaMA basierenden Modellen dauerte es meistens knapp 30 Sekunden, bis eine Antwort erscheint, deren Vervollständigung dann auch noch mehrere Minuten in Anspruch nehmen konnte. Hier ist dann eine wirklich flüssige Konversation noch nicht möglich.

Deutsch können die Open Source-Modelle zudem eher schlecht als recht, sodass Gespräche auf Englisch geführt werden sollten.

Doch wie sieht es mit der Genauigkeit der Antworten aus? Schliesslich sind selbst die auf Supercomputern laufenden ChatGPT, Bing oder Bard für ihre «Halluzinationen» bekannt, ein inzwischen in der KI etablierter Euphemismus für simple Falschbehauptungen.

Alain Berset als Versuchskannichen

blue News fragte deshalb die Sprachmodelle: «Wer ist Alain Berset?». Dabei handelte es sich zweifellos um eine Person der Zeitgeschichte, aber, bei allem Respekt für den werten Herrn Bundespräsidenten, in der englischsprachigen Welt, auf die die Sprachmodelle ja trainiert wurden, dürfte es unzählige Menschen geben, über die deutlich mehr geschrieben wurde. Ganz so einfach soll es den Chatbots also nicht gemacht werden.

Die erste Antwort des auf GPT J 6B basierenden «Groovy»-Models ist denn auch ernüchternd. Es macht Berset zu einem ganz anderen Menschen.

Der Chatbot hat Berset dabei nicht einfach nur verwechselt, der beschriebene Indonesier ist komplett frei erfunden, eine solche Person gibt es allem Anschein nach nicht.

Interessant ist aber, dass auch der falsche Berset ein Politiker ist. Der Chatbot hat also schon verstanden, dass ein «Alain Berset» irgendwas mit Politik zu tun hat und fing von dieser Basis aus an wild zu halluzinieren.

Grosse Unterschiede zwischen Modellvarianten

Deutlich besser performen dabei die auf LLaMA-basierenden Modelle. Aber obwohl sie dieselbe Grundlage haben, gibt es teils erhebliche Unterschiede in den Antworten. Das ist im sogenannten «Fine-tuning» eines Sprachmodell begründet, bei denen Teams die Modelle weiter bearbeiten. Manche legen dabei den Fokus mehr auf die Richtigkeit der Antworten, andere finden möglichst umfangreiche Antworten wichtiger. Was das in der Praxis bedeutet, zeigen diese Beispiele.

Eine LLaMA-Variante namens «Snoozy» antwortet einfach: «Alain Berset ist der derzeitige Präsident der Schweiz.» Das ist vollkommen korrekt, aber wenn du etwa einen Vortrag über Berset halten müsstest, würde dir dieser Chatbot nicht wirklich viel Arbeit abnehmen.

Lange Antworten garantieren fast Fehler

Ganz anders fällt die Antwort bei dem ebenfalls auf LLaMA basierenden «Vicuna» aus:

«Vicuna» liefert viel mehr Informationen sowohl zu Berset als auch dem politischen System der Schweiz, halluziniert sich allerdings auch zu einigen Fehlern. So ist in dieser Antwort Berset seit 2018 ununterbrochen Bundespräsident und zur nicht mehr existenten CVP übergelaufen.

Zum Vergleich, das antwortet der auf GPT4 basierende Bing Chat:

Mit denen über das Internet zugänglichen Chatbots können die lokalen Sprachmodelle also eindeutig noch nicht mithalten. Aber im Grunde gibt es sie erst seit einigen Monaten und hier ist wohl mit weiteren, rasanten Fortschritten zu rechnen.

Roboter drohen, Menschen zu überholenKI-Pionier verlässt Google und spricht Warnung aus

Sprachmodelle ohne Moral und Anstand

Was die lokalen Open-Source-Sprachmodelle aber bieten, ist eine viel grössere Kontrolle über den Output. ChatGPT oder Bard weigern sich etwa, rassistische Äusserungen zu tätigen oder Anleitungen zu kriminellen oder gefährlichen Handlungen zu geben.

Nicht so einige der Open-Source-Modelle, deren Erschaffer*innen die Abwesenheit von jeglicher Zensur teils als Verkaufsargument vorbringen. So hat das ebenfalls auf LLaMA basierende «Hermes»-Modell keinerlei Skrupel, Anleitungen zum Einbruch in eine Wohnung zu geben.

Das sind jetzt zwar Tipps, auf die selbst ein unterdurchschnittlich begabter Krimineller von ganz alleine kommen würde, aber es zeigt auch, dass Versuche potenzielle Schäden durch Chatbots abzuwenden, seit der freien Verfügbarkeit solcher Modelle um einiges schwerer geworden sind. Schutzmechanismen, die in ChatGPT oder Bard fest eingebaut sind, können so von Personen mit bösen Absichten leicht umgangen werden, indem sie einfach ihren eigenen Chatbot betreiben.

Besonders besorgt sind Experten*innen daher über das Potenzial von Sprachmodellen, etwa massenhaft zielgenauen Spam oder Phishing zu kreieren, oder politische Einflusskampagnen durch Bots in den sozialen Medien zu führen. Die Sprachmodellkatze ist hier aber schon aus dem Sack. 

Problematischer SchrittChatbot ersetzt Experten bei Hilfe-Hotline