OpenAI столкнулась с критикой из-за технологии вибрографики

В четверг, во время своего крупного выступления GPT-5, OpenAI представила несколько графиков, которые, казалось бы, демонстрируют впечатляющие возможности модели, но при ближайшем рассмотрении обнаруживаются некоторые несоответствия в визуализации данных.
По иронии судьбы, на одном из графиков, иллюстрирующих производительность GPT-5 в "проверках обмана среди моделей", шкала кажется несоответствующей. Например, на графике, представленном на сцене, утверждается, что GPT-5 с "мышлением" достигает 50,0 % обмана. Однако меньшая модель OpenAI o3 с заявленным показателем 47,4 % отображается в виде более крупного столбика. Однако данные, опубликованные в официальном блоге OpenAI о GPT-5, показывают, что реальный коэффициент обмана GPT-5 составил 16,5 %.
Это визуальное несоответствие означало, что на сцене полоса GPT-5 была выше, чем у o3, хотя его заявленный балл был ниже. В других местах того же графика o3 и GPT-4o получили разные баллы, но были представлены столбиками одинакового размера. Ошибка была достаточно существенной, чтобы генеральный директор Сэм Альтман публично признал ее, назвав инцидент "мега лажей в графике" и уточнив, что в блоге была опубликована правильная версия.
Сотрудник отдела маркетинга OpenAI также принес извинения, заявив: "Мы исправили график в блоге, извините всех за непреднамеренное преступление с графиком".
В пятницу, отвечая на вопрос пользователя Reddit о графиках, Альтман объяснил, что "цифры здесь были точными, но мы напутали с гистограммами во время прямой трансляции. На другом слайде мы перепутали цифры". Он подтвердил, что данные в блоге и на системной карте были точными, добавив, что "члены команды работали допоздна и были измотаны, что привело к человеческим ошибкам". Все это происходит в последнюю минуту перед прямой трансляцией".
Тем не менее, ошибки представляют собой неудачный образ для компании в такой важный день запуска - тем более, что она рекламирует "значительные достижения в снижении галлюцинаций" новой модели.
Обновлено 8 августа: Добавлен комментарий Альтмана на Reddit.
Связанная статья
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Сэм Альтман вызывает споры о замедлении развития ИИ
Слушайте наApple PodcastsСлушайте наSpotifyГенеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможност
OpenAI оспаривает иск Apple о нарушении торговых тайн
OpenAI опровергла утверждения Apple о нарушении торговых тайк во вторник, заявив, что иск не имеет оснований.«Мы относимся к этим заявлениям серьезно, но не видим никаких доказательств, подтверждающих их», — stated OpenAI, как сообщил Ed Ludlow из B
Рекомендации по связанным специальным темам
Комментарии (0)

В четверг, во время своего крупного выступления GPT-5, OpenAI представила несколько графиков, которые, казалось бы, демонстрируют впечатляющие возможности модели, но при ближайшем рассмотрении обнаруживаются некоторые несоответствия в визуализации данных.
По иронии судьбы, на одном из графиков, иллюстрирующих производительность GPT-5 в "проверках обмана среди моделей", шкала кажется несоответствующей. Например, на графике, представленном на сцене, утверждается, что GPT-5 с "мышлением" достигает 50,0 % обмана. Однако меньшая модель OpenAI o3 с заявленным показателем 47,4 % отображается в виде более крупного столбика. Однако данные, опубликованные в официальном блоге OpenAI о GPT-5, показывают, что реальный коэффициент обмана GPT-5 составил 16,5 %.
Это визуальное несоответствие означало, что на сцене полоса GPT-5 была выше, чем у o3, хотя его заявленный балл был ниже. В других местах того же графика o3 и GPT-4o получили разные баллы, но были представлены столбиками одинакового размера. Ошибка была достаточно существенной, чтобы генеральный директор Сэм Альтман публично признал ее, назвав инцидент "мега лажей в графике" и уточнив, что в блоге была опубликована правильная версия.
Сотрудник отдела маркетинга OpenAI также принес извинения, заявив: "Мы исправили график в блоге, извините всех за непреднамеренное преступление с графиком".
В пятницу, отвечая на вопрос пользователя Reddit о графиках, Альтман объяснил, что "цифры здесь были точными, но мы напутали с гистограммами во время прямой трансляции. На другом слайде мы перепутали цифры". Он подтвердил, что данные в блоге и на системной карте были точными, добавив, что "члены команды работали допоздна и были измотаны, что привело к человеческим ошибкам". Все это происходит в последнюю минуту перед прямой трансляцией".
Тем не менее, ошибки представляют собой неудачный образ для компании в такой важный день запуска - тем более, что она рекламирует "значительные достижения в снижении галлюцинаций" новой модели.
Обновлено 8 августа: Добавлен комментарий Альтмана на Reddit.
Сэм Альтман вызывает споры о замедлении развития ИИ
Слушайте наApple PodcastsСлушайте наSpotifyГенеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможност
OpenAI оспаривает иск Apple о нарушении торговых тайн
OpenAI опровергла утверждения Apple о нарушении торговых тайк во вторник, заявив, что иск не имеет оснований.«Мы относимся к этим заявлениям серьезно, но не видим никаких доказательств, подтверждающих их», — stated OpenAI, как сообщил Ed Ludlow из B





Дом






