«Bard» im Test Google lässt seinen Chatbot auf die Schweiz los

Der Google-Chatbot Bard ist nun auch in der Schweiz verfügbar. Wie schlägt er sich im Vergleich zur Konkurrenz? blue News hat den Test gemacht.

Knapp vier Monate nach seinem Start in den USA hat Google seinen Chatbot Bard in weiteren Ländern, darunter der Schweiz, freigeschaltet. Zur Nutzung musst du dich mit deinem Google-Account anmelden. Bard ist Googles Antwort auf ChatGPT, dessen öffentliche Lancierung Ende letzten Jahres den aktuellen Hype um künstliche Intelligenz auslöste.

Der Bard-Launch im März verlief aber alles andere als rund, fast alle Beobachter*innen attestierten dem Google-Chatbot eine deutlich schlechtere Leistung als OpenAIs ChatGPT oder dem damit verwandten Bing Chat von Microsoft. Hat sich das inzwischen zugunsten Googles verbessert? blue News hat den Test gemacht.

Künstliche IntelligenzGoogle warnt eigene Mitarbeiter vor eigenem Chatbot

Kann Bard mir im Alltag helfen?

Hierbei vergleichen wir Bard mit Bing Chat. Zunächst erhoffen wir uns Hilfe im Alltag und fragen die Chatbots, wie man denn am besten von Zürich nach Genf komme?

Gleich zu Beginn tritt Bard hier ins Fettnäpfchen. So sagt Googles Chatbot, dass die Bahnfahrt zwischen Zürich und Genf 1 Stunde und 50 Minuten dauere. Das ist falsch, die schnellste Verbindung zwischen unseren beiden grössten Städten braucht 2 Stunden und 45 Minuten. Ebenso falsch ist der Verweis auf Mautgebühren von 20 Franken. Falls damit die Autobahnvignette gemeint ist, die kostet bekanntermassen 40 Franken.

Bing gibt die korrekte Fahrzeit für den Zug an, hier ist allerdings der Preis falsch, es gibt auch ohne Halbtax Billette für deutlich weniger als 85 Franken, wenn du nicht gerade Minuten vor Abfahrt buchst. Bing verweist dann kurioserweise auf die Option Autocar, obwohl Innerschweizer Fernbusverkehr in der Regel nicht zulässig ist. Beim Auto werden auch die Benzinkosten berücksichtigt, die Bard völlig verschweigt.

Und Royal Jordanian fliegt zwar tatsächlich zwischen Zürich und Genf, allerdings nur als Zwischenstopp auf dem Weg nach Amman und ohne Möglichkeit, Tickets nur für den Innerschweizer Sektor zu erwerben. Bing liefert im Ganzen umfangreichere Antworten als Bard, Fehler gibt es allerdings auch hier.

Wie läuft es mit dem Hellsehen?

Die nächste Frage können die Chatbots nicht beantworten, aber wie sie mit solchen Situationen umgehen, ist immer erhellend. «Wer wird die Super League 2023/2024 gewinnen?», hat blue News Bard und Bing gefragt.

Wieder sieht es nicht gut aus für Bard. Zum einen behauptet er, die Saison sei in «vollem Gange». Das stimmt natürlich nicht, sie hat noch gar nicht angefangen. Dann wird der FC Zürich zum amtierenden Meister gemacht, dabei sind es die Young Boys aus Bern. Die Aussagen zu den einzelnen Teams sind zudem sehr generisch, ohne etwa auf spezielle Spieler oder Charakteristika einer Mannschaft einzugehen.

Deutlich besser schlägt sich Bing. Zunächst gibt es praktische Informationen zum neuen Spielmodus der Super League, der vielen Nicht-Fussballfans wohl noch gar nicht bekannt ist. Korrekterweise führt Bing Chat dann aus, dass dies Prognosen noch etwas schwieriger mache. Etwas verwirrend sind hier nur die Aussagen zu den Grasshoppern, wo Bing zu suggerieren scheint, die Mannschaft sei gerade erst wieder in die Super League aufgestiegen. Dennoch liefert hier Bing die qualitativ besseren Antworten.

Bard und Google liegen also weiterhin noch im Hintertreffen. Generell sollten Aussagen von Chatbots weiterhin mit äusserster Vorsicht betrachtet werden, wobei Google Bard auch explizit noch als «Experiment» bezeichnet. 

Ernüchternde ErgebnisseAuch Google lässt seinen Chatbot auf die Leute los – als «Versuch»