Heim
Studie der Washington State University deckt erhebliche Widersprüche bei ChatGPT bei komplexen wissenschaftlichen Beurteilungen auf

Eine aktuelle Studie der Washington State University (WSU) zeigt, dass ChatGPT zwar selbstbewusst antwortet, sein Umgang mit komplexen wissenschaftlichen Aussagen jedoch eher dem zufälligen Raten gleicht. Die Untersuchung hebt nicht nur die begrenzte Genauigkeit hervor, sondern auch häufige widersprüchliche Antworten auf dieselbe Frage.
Professor Mesut Cicek und sein Team extrahierten 719 Forschungshypothesen aus seit 2021 veröffentlichten Wirtschaftsmagazinen und unterzogen sie dem Modell wiederholt einer Richtigkeitsprüfung.
Obwohl die oberflächliche Genauigkeit von ChatGPT bei etwa 80 % liegt, ist seine tatsächliche Leistung – unter Berücksichtigung von Zufallsratschlägen – nur etwa 60 % besser als ein 50-prozentiger Münzwurf. Die Forscher bewerteten dies als „niedrige D-Note“. Besonders schlecht schnitt das Modell bei der Identifizierung falscher Aussagen ab: Es erkannte nur 16,4 % der falschen Aussagen korrekt.
Die Forscher ließen jede Hypothese zehnmal durch das Modell laufen und stellten fest, dass es Schwierigkeiten hatte, konsistente Positionen beizubehalten:
Schwankungen bei den Antworten: In etwa 73 % der Fälle kam das Modell über zehn Wiederholungen hinweg zu konsistenten Schlussfolgerungen.
Extreme Widersprüche: In einigen Fällen wechselte das Modell zwischen „wahr“- und „falsch“-Antworten hin und her, wobei es in extremen Fällen vorkam, dass die Hälfte der Antworten wahr und die andere Hälfte falsch war, obwohl genau dieselbe Eingabe verwendet wurde.
Die Studie stellt fest, dass Nutzer sich leicht von der flüssigen und überzeugenden Sprache der KI irreführen lassen, was jedoch nicht auf echte Denkfähigkeit hindeutet.
Kein echtes Verständnis: Das Modell stützt sich auf Gedächtnis und Mustererkennung, im Gegensatz zu Menschen, die die Welt und das, was sie sagen, wirklich verstehen.
Begrenzte Weiterentwicklung der Version: Tests zeigten, dass das aktualisierte ChatGPT-5 mini (getestet im Jahr 2025) bei dieser spezifischen Aufgabe ähnlich wie frühere Versionen abschnitt, ohne dass nennenswerte Verbesserungen zu verzeichnen waren.
Aufgrund dieser Erkenntnisse rät Cicek Führungskräften, bei komplexen Entscheidungen ein hohes Maß an Skepsis zu wahren. Sie sollten generative KI nicht als „Autorität“ betrachten, die professionelles Urteilsvermögen ersetzen kann, und müssen alle Ergebnisse manuell überprüfen. Unternehmen sollten ihre Schulungsmaßnahmen ausbauen, um Mitarbeitern zu helfen, sowohl die Stärken als auch die Grenzen von KI-Tools zu verstehen und so Entscheidungsverzerrungen durch blindes Vertrauen zu verhindern.
Diese Studie macht erneut deutlich, dass trotz der rasanten Entwicklung der KI die Fähigkeiten der Technologie im Bereich des tiefgreifenden logischen Denkens und der Beweisauswertung noch verbesserungsbedürftig sind.
Verwandter Artikel
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13
Google testet den Remy AI Agent für Gemini, da der Fokus auf die Benutzerkontrolle verlagert wird
Laut Business Insider testet Google Remy, einen neuen KI-Personalagenten für Gemini. Dieses Tool soll Aufgaben im Auftrag von Nutzern ausführen und sowohl professionelle Arbeitsabläufe als auch tägliche Routinen optimieren.Derzeit wird Remy in einer
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Eine aktuelle Studie der Washington State University (WSU) zeigt, dass ChatGPT zwar selbstbewusst antwortet, sein Umgang mit komplexen wissenschaftlichen Aussagen jedoch eher dem zufälligen Raten gleicht. Die Untersuchung hebt nicht nur die begrenzte Genauigkeit hervor, sondern auch häufige widersprüchliche Antworten auf dieselbe Frage.
Professor Mesut Cicek und sein Team extrahierten 719 Forschungshypothesen aus seit 2021 veröffentlichten Wirtschaftsmagazinen und unterzogen sie dem Modell wiederholt einer Richtigkeitsprüfung.
Obwohl die oberflächliche Genauigkeit von ChatGPT bei etwa 80 % liegt, ist seine tatsächliche Leistung – unter Berücksichtigung von Zufallsratschlägen – nur etwa 60 % besser als ein 50-prozentiger Münzwurf. Die Forscher bewerteten dies als „niedrige D-Note“. Besonders schlecht schnitt das Modell bei der Identifizierung falscher Aussagen ab: Es erkannte nur 16,4 % der falschen Aussagen korrekt.
Die Forscher ließen jede Hypothese zehnmal durch das Modell laufen und stellten fest, dass es Schwierigkeiten hatte, konsistente Positionen beizubehalten:
Schwankungen bei den Antworten: In etwa 73 % der Fälle kam das Modell über zehn Wiederholungen hinweg zu konsistenten Schlussfolgerungen.
Extreme Widersprüche: In einigen Fällen wechselte das Modell zwischen „wahr“- und „falsch“-Antworten hin und her, wobei es in extremen Fällen vorkam, dass die Hälfte der Antworten wahr und die andere Hälfte falsch war, obwohl genau dieselbe Eingabe verwendet wurde.
Die Studie stellt fest, dass Nutzer sich leicht von der flüssigen und überzeugenden Sprache der KI irreführen lassen, was jedoch nicht auf echte Denkfähigkeit hindeutet.
Kein echtes Verständnis: Das Modell stützt sich auf Gedächtnis und Mustererkennung, im Gegensatz zu Menschen, die die Welt und das, was sie sagen, wirklich verstehen.
Begrenzte Weiterentwicklung der Version: Tests zeigten, dass das aktualisierte ChatGPT-5 mini (getestet im Jahr 2025) bei dieser spezifischen Aufgabe ähnlich wie frühere Versionen abschnitt, ohne dass nennenswerte Verbesserungen zu verzeichnen waren.
Aufgrund dieser Erkenntnisse rät Cicek Führungskräften, bei komplexen Entscheidungen ein hohes Maß an Skepsis zu wahren. Sie sollten generative KI nicht als „Autorität“ betrachten, die professionelles Urteilsvermögen ersetzen kann, und müssen alle Ergebnisse manuell überprüfen. Unternehmen sollten ihre Schulungsmaßnahmen ausbauen, um Mitarbeitern zu helfen, sowohl die Stärken als auch die Grenzen von KI-Tools zu verstehen und so Entscheidungsverzerrungen durch blindes Vertrauen zu verhindern.
Diese Studie macht erneut deutlich, dass trotz der rasanten Entwicklung der KI die Fähigkeiten der Technologie im Bereich des tiefgreifenden logischen Denkens und der Beweisauswertung noch verbesserungsbedürftig sind.
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13











