Chatbots verzerren Nachrichten und beeinflussen sogar bezahlte Benutzer

Warum ist das wichtig? Wenn Chatbots nicht einmal Nachrichten so gut abrufen können wie Google, ist es schwer, ihnen zu vertrauen, dass sie diese Nachrichten korrekt interpretieren und zitieren. Dies macht den Inhalt ihrer Antworten, selbst wenn sie verlinkt sind, deutlich weniger zuverlässig.

Selbstbewusst falsche Antworten geben

Die Forscher stellten fest, dass die Chatbots mit „alarmierender Selbstsicherheit“ falsche Antworten gaben und selten ihre Ergebnisse einschränkten oder Wissenslücken zugaben. ChatGPT zum Beispiel „lehnte es nie ab, eine Antwort zu geben“, obwohl 134 von 200 Antworten falsch waren. Von allen acht Tools war Copilot das einzige, das mehr Anfragen ablehnte, als es beantwortete.

„Alle Tools neigten durchweg dazu, eher eine falsche Antwort zu geben, als ihre Einschränkungen einzugestehen“, stellte der Bericht klar.

Bezahlte Stufen sind nicht zuverlässiger

Selbst Premium-Modelle wie Grok-3 Search und Perplexity Pro, obwohl genauer als ihre kostenlosen Pendants, gaben immer noch selbstbewusst falsche Antworten. Dies wirft Fragen über den Wert ihrer oft hohen Abonnementkosten auf.

„Dieser Widerspruch resultiert hauptsächlich aus der Tendenz [der Bots], definitive, aber falsche Antworten zu geben, anstatt die Frage direkt abzulehnen“, erklärt der Bericht. „Die grundlegende Sorge geht über die sachlichen Fehler der Chatbots hinaus zu ihrem autoritären Gesprächston, der es Nutzern erschweren kann, zwischen korrekten und unkorrekten Informationen zu unterscheiden.“

„Dieses unverdiente Selbstvertrauen vermittelt Nutzern eine potenziell gefährliche Illusion von Zuverlässigkeit und Genauigkeit“, fügte der Bericht hinzu.

Erfundene Links

KI-Modelle sind berüchtigt für Halluzinationen, aber die Tow-Studie ergab, dass Gemini und Grok 3 dies am häufigsten taten – mehr als die Hälfte der Zeit. „Selbst wenn Grok einen Artikel korrekt identifizierte, verlinkte es oft auf eine erfundene URL“, stellte der Bericht fest, was bedeutet, dass Grok den richtigen Titel und Verlag finden konnte, aber dann den tatsächlichen Artikel-Link erfand.

Eine Analyse der Comscore-Verkehrsdaten durch Generative AI in the Newsroom, eine Initiative der Northwestern University, bestätigte dieses Muster. Ihre Studie von Juli bis November 2024 zeigte, dass ChatGPT 205 defekte URLs in seinen Antworten generierte. Während Verlage gelegentlich Geschichten offline nehmen, was zu 404-Fehlern führen kann, stellten die Forscher fest, dass das Fehlen von Archivdaten darauf hindeutet, dass „das Modell plausible aussehende Links zu autoritativen Nachrichtenquellen halluziniert hat, wenn es auf Nutzeranfragen antwortete.“

Angesichts der wachsenden Akzeptanz von KI-Suchmaschinen – Google fiel im vierten Quartal 2024 erstmals seit 10 Jahren unter 90 % Marktanteil – sind diese Ergebnisse besorgniserregend. Das Unternehmen veröffentlichte letzte Woche auch den AI Mode für bestimmte Nutzer, der die normale Suche durch einen Chatbot ersetzt, trotz der weitverbreiteten Unbeliebtheit seiner AI Overviews.

Mit etwa 400 Millionen Nutzern, die wöchentlich zu ChatGPT strömen, machen die Unzuverlässigkeit und Verzerrung seiner Zitate es und andere beliebte KI-Tools zu potenziellen Motoren der Desinformation, selbst wenn sie Inhalte von rigoros faktengeprüften Nachrichtenseiten ziehen.

Der Tow-Bericht schlussfolgerte, dass KI-Tools, die Quellen falsch zuordnen oder deren Arbeit falsch darstellen, den Ruf der Verlage gefährden könnten.

Ignorieren blockierter Crawler

Die Situation verschlimmert sich für Verlage, da der Tow-Bericht feststellte, dass mehrere Chatbots weiterhin Artikel von Verlagen abrufen konnten, die ihre Crawler mit dem Robots Exclusion Protocol (REP) oder robots.txt blockiert hatten. Paradoxerweise scheiterten die Chatbots jedoch daran, Anfragen zu Websites korrekt zu beantworten, die ihnen den Zugriff auf ihre Inhalte erlauben.

„Perplexity Pro war in dieser Hinsicht der schlimmste Übeltäter und identifizierte korrekt fast ein Drittel der neunzig Auszüge aus Artikeln, auf die es keinen Zugriff haben sollte“, heißt es im Bericht.

Dies deutet darauf hin, dass KI-Unternehmen nicht nur weiterhin REP ignorieren – wie Perplexity und andere letztes Jahr erwischt wurden – sondern dass Verlage in jeder Art von Lizenzvereinbarung mit ihnen nicht garantiert korrekt zitiert werden.

Der Bericht von Columbia ist nur ein Symptom eines größeren Problems. Der Bericht von Generative AI in the Newsroom stellte auch fest, dass Chatbots selten Traffic zu den Nachrichtenseiten leiten, von denen sie Informationen beziehen, was andere Berichte bestätigen. Von Juli bis November 2024 leitete Perplexity 7 % der Verweise an Nachrichtenseiten weiter, während ChatGPT nur 3 % weitergab. Im Vergleich dazu bevorzugten KI-Tools Bildungsressourcen wie Scribd.com, Coursera und solche, die mit Universitäten verbunden sind, und leiteten bis zu 30 % des Traffics dorthin.

Fazit: Originalberichterstattung bleibt eine zuverlässigere Nachrichtenquelle als das, was KI-Tools wiedergeben. Überprüfen Sie immer Links, bevor Sie das, was sie Ihnen als Tatsache präsentieren, akzeptieren, und nutzen Sie Ihre kritischen Denkfähigkeiten und Medienkompetenz, um Antworten zu bewerten.