Дом
Исследование Университета штата Вашингтон выявило серьезные противоречия в выводах ChatGPT при оценке сложных научных вопросов
Недавнее исследование Университета штата Вашингтон (WSU) показывает, что, хотя ChatGPT отвечает уверенно, его обработка сложных научных утверждений напоминает случайные догадки. Исследование выявляет не только ограниченную точность, но и частые противоречивые ответы на один и тот же вопрос.
Профессор Месут Чичек и его команда извлекли 719 научных гипотез из бизнес-журналов, опубликованных с 2021 года, и неоднократно подвергали их проверке на достоверность с помощью модели.
Хотя внешняя точность ChatGPT составляет около 80 %, с учётом случайных угадываний её фактическая эффективность лишь на 60 % превосходит вероятность 50 % при подбрасывании монеты. Исследователи оценили этот результат как «низкую оценку D». Модель показала особенно плохие результаты при выявлении ложных утверждений, правильно распознав лишь 16,4 % ложных суждений.
Исследователи вводили каждую гипотезу в модель по десять раз и обнаружили, что ей с трудом удавалось сохранять последовательность позиций:
Колебания ответов: примерно в 73 % случаев модель сохраняла последовательные выводы на протяжении десяти повторений.
Крайние противоречия: в некоторых случаях модель чередовала ответы «истина» и «ложь», причем в крайних случаях половина ответов была «истина», а половина — «ложь», несмотря на использование абсолютно одинакового запроса.
В исследовании отмечается, что пользователи легко вводятся в заблуждение плавной и убедительной речью ИИ, но это не свидетельствует о подлинной способности к рассуждению.
Отсутствие истинного понимания: модель полагается на память и сопоставление шаблонов, в отличие от людей, которые действительно понимают мир и то, о чём говорят.
Ограниченный прогресс версий: тестирование показало, что обновленная версия ChatGPT‑5 mini (протестированная в 2025 году) продемонстрировала результаты, аналогичные более ранним версиям при решении этой конкретной задачи, без каких-либо значительных улучшений.
Основываясь на этих выводах, Чичек советует руководителям компаний сохранять высокую степень скептицизма при принятии сложных решений. Им не следует рассматривать генеративный ИИ как «авторитет», способный заменить профессиональное суждение, и необходимо вручную проверять все результаты. Организации должны усовершенствовать обучение, чтобы помочь сотрудникам понять как сильные стороны, так и ограничения инструментов ИИ, предотвращая предвзятость в принятии решений из-за слепого доверия.
Данное исследование служит ещё одним напоминанием о том, что, несмотря на стремительное развитие ИИ, способности этой технологии к глубокому логическому мышлению и оценке доказательств по-прежнему требуют совершенствования.
Связанная статья
Suno добавляет водяные знаки на песни в ходе судебных разбирательств
Suno, платформа, позволяющая пользователям создавать музыку с помощью искусственного интеллекта, представила новые функции для маркировки треков, созданных на платформе, ограничения на скачивание и обновления стандартов сообщества для борьбы с несанк
Маск признал, что утечка кода Grok привела к раскрытию пользовательских данных, и пообещал стереть всю историческую информацию.
Илон Маск напрямую отреагировал на скандал с конфиденциальностью вокруг Grok Build, начав с простого «Да», чтобы подтвердить достоверность инцидента. Он пообещал, что все данные пользователей, ранее загруженные в SpaceXAI, будут безвозвратно удалены,
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Рекомендации по связанным специальным темам
SEO
Лучшие инструменты для анализа результатов поиска с помощью ИИ при разработке поисковой стратегии
XIX.AI подготовила подборку лучших и наиболее высокооцененных инструментов для анализа результатов поиска с помощью ИИ (2026 г.) на основе тщательных тестов в реальных условиях и еженедельно обновляемого рейтинга. Эти мощные инструменты помогут вам раскрыть скрытые возможности оптимизации, повысить эффективность контента и получить конкурентное преимущество в поиске. Найдите свой идеальный инструмент, чтобы уже сегодня усовершенствовать свою поисковую стратегию. Ознакомьтесь с ними прямо сейчас!
13 инструментов
xix.ai
Анализ данных
Лучшие инструменты ИИ для обнаружения аномалий при мониторинге KPI в командах SaaS и электронной коммерции
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Комментарии (0)
Недавнее исследование Университета штата Вашингтон (WSU) показывает, что, хотя ChatGPT отвечает уверенно, его обработка сложных научных утверждений напоминает случайные догадки. Исследование выявляет не только ограниченную точность, но и частые противоречивые ответы на один и тот же вопрос.
Профессор Месут Чичек и его команда извлекли 719 научных гипотез из бизнес-журналов, опубликованных с 2021 года, и неоднократно подвергали их проверке на достоверность с помощью модели.
Хотя внешняя точность ChatGPT составляет около 80 %, с учётом случайных угадываний её фактическая эффективность лишь на 60 % превосходит вероятность 50 % при подбрасывании монеты. Исследователи оценили этот результат как «низкую оценку D». Модель показала особенно плохие результаты при выявлении ложных утверждений, правильно распознав лишь 16,4 % ложных суждений.
Исследователи вводили каждую гипотезу в модель по десять раз и обнаружили, что ей с трудом удавалось сохранять последовательность позиций:
Колебания ответов: примерно в 73 % случаев модель сохраняла последовательные выводы на протяжении десяти повторений.
Крайние противоречия: в некоторых случаях модель чередовала ответы «истина» и «ложь», причем в крайних случаях половина ответов была «истина», а половина — «ложь», несмотря на использование абсолютно одинакового запроса.
В исследовании отмечается, что пользователи легко вводятся в заблуждение плавной и убедительной речью ИИ, но это не свидетельствует о подлинной способности к рассуждению.
Отсутствие истинного понимания: модель полагается на память и сопоставление шаблонов, в отличие от людей, которые действительно понимают мир и то, о чём говорят.
Ограниченный прогресс версий: тестирование показало, что обновленная версия ChatGPT‑5 mini (протестированная в 2025 году) продемонстрировала результаты, аналогичные более ранним версиям при решении этой конкретной задачи, без каких-либо значительных улучшений.
Основываясь на этих выводах, Чичек советует руководителям компаний сохранять высокую степень скептицизма при принятии сложных решений. Им не следует рассматривать генеративный ИИ как «авторитет», способный заменить профессиональное суждение, и необходимо вручную проверять все результаты. Организации должны усовершенствовать обучение, чтобы помочь сотрудникам понять как сильные стороны, так и ограничения инструментов ИИ, предотвращая предвзятость в принятии решений из-за слепого доверия.
Данное исследование служит ещё одним напоминанием о том, что, несмотря на стремительное развитие ИИ, способности этой технологии к глубокому логическому мышлению и оценке доказательств по-прежнему требуют совершенствования.
Suno добавляет водяные знаки на песни в ходе судебных разбирательств
Suno, платформа, позволяющая пользователям создавать музыку с помощью искусственного интеллекта, представила новые функции для маркировки треков, созданных на платформе, ограничения на скачивание и обновления стандартов сообщества для борьбы с несанк
Маск признал, что утечка кода Grok привела к раскрытию пользовательских данных, и пообещал стереть всю историческую информацию.
Илон Маск напрямую отреагировал на скандал с конфиденциальностью вокруг Grok Build, начав с простого «Да», чтобы подтвердить достоверность инцидента. Он пообещал, что все данные пользователей, ранее загруженные в SpaceXAI, будут безвозвратно удалены,
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
XIX.AI подготовила подборку лучших и наиболее высокооцененных инструментов для анализа результатов поиска с помощью ИИ (2026 г.) на основе тщательных тестов в реальных условиях и еженедельно обновляемого рейтинга. Эти мощные инструменты помогут вам раскрыть скрытые возможности оптимизации, повысить эффективность контента и получить конкурентное преимущество в поиске. Найдите свой идеальный инструмент, чтобы уже сегодня усовершенствовать свою поисковую стратегию. Ознакомьтесь с ними прямо сейчас!
13 инструментов
xix.ai
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
