Дом
Главный научный сотрудник OpenAI обсуждает вопрос прозрачности рассуждений ИИ: сложность остается стабильной, резкого скачка не наблюдается

2 сентября Якуб Пачоцкий, главный научный сотрудник OpenAI, ответил в X на публичные опасения по поводу модели Astra, уточнив утверждения о том, что она работает без надзора и не обладает прозрачным механизмом рассуждений.
Почему возник спор: глубокое рекуррентное связывание скрывает пути рассуждений
Проблема возникла после подробного отчета издания The Information, в котором сообщалось, что OpenAI экспериментирует с технологией «глубокого рекуррентного связывания». Этот подход может усложнить способность исследователей отслеживать процесс рассуждений модели через «цепочку мыслей».
В то время как основные модели, такие как ChatGPT, Claude и Gemini, используют архитектуру Transformer — обрабатывая информацию линейными шагами и иногда выводя рассуждения на естественном языке — этот вывод не всегда отражает внутренние вычисления. «Глубокое рекуррентное связывание» позволяет моделям многократно вызывать одни и те же слои сети, непрерывно обновляя внутренние состояния. В отличие от традиционных линейных структур, этот метод может сохранять значительную часть рассуждений в непрозрачных внутренних состояниях, что затрудняет для исследователей отслеживание путей принятия решений через цепочку мыслей. После публикации отчета сообщество искусственного интеллекта выразило обеспокоенность тем, что такая технология может помешать работе внешних инструментов мониторинга, снижая прозрачность того, как модели приходят к выводам.
Пачоцкий уточняет: глубина графа вычислений остается управляемой
В своем посте Пачоцкий выразил желание предотвратить «гонку к необследованному искусственному интеллекту», подстегиваемую вводящими в заблуждение медиа-нарративами. Он уточнил, что глубина графа вычислений текущих продвинутых моделей OpenAI, включая Astra, менее чем в два раза превышает аналогичный показатель у GPT-4, что указывает на отсутствие внезапного скачка архитектурной сложности, которого опасались.
Он отметил, что с момента появления первых моделей рассуждений OpenAI приоритетом поддерживала и использовала мониторинг цепочки мыслей. Эта технология имеет решающее значение для понимания того, как выравнивание модели обобщается на основе обучающих данных. Однако он признал, что текущий мониторинг цепочки мыслей является хрупким и снижается по причинам, не связанным с изменениями архитектуры. Команда планирует внедрить меры по укреплению этой возможности, которая является ключевой целью текущих исследований. В OpenAI подтвердили, что для Astra будет развернут улучшенный мониторинг цепочки мыслей.
Глубина графа вычислений измеряет сложность нейронной сети, представляя собой последовательные слои вычислений от входа к выходу. Более высокие значения указывают на более сложные структуры.
Связанная статья
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны
Рекомендации по связанным специальным темам
Комментарии (0)

2 сентября Якуб Пачоцкий, главный научный сотрудник OpenAI, ответил в X на публичные опасения по поводу модели Astra, уточнив утверждения о том, что она работает без надзора и не обладает прозрачным механизмом рассуждений.
Почему возник спор: глубокое рекуррентное связывание скрывает пути рассуждений
Проблема возникла после подробного отчета издания The Information, в котором сообщалось, что OpenAI экспериментирует с технологией «глубокого рекуррентного связывания». Этот подход может усложнить способность исследователей отслеживать процесс рассуждений модели через «цепочку мыслей».
В то время как основные модели, такие как ChatGPT, Claude и Gemini, используют архитектуру Transformer — обрабатывая информацию линейными шагами и иногда выводя рассуждения на естественном языке — этот вывод не всегда отражает внутренние вычисления. «Глубокое рекуррентное связывание» позволяет моделям многократно вызывать одни и те же слои сети, непрерывно обновляя внутренние состояния. В отличие от традиционных линейных структур, этот метод может сохранять значительную часть рассуждений в непрозрачных внутренних состояниях, что затрудняет для исследователей отслеживание путей принятия решений через цепочку мыслей. После публикации отчета сообщество искусственного интеллекта выразило обеспокоенность тем, что такая технология может помешать работе внешних инструментов мониторинга, снижая прозрачность того, как модели приходят к выводам.
Пачоцкий уточняет: глубина графа вычислений остается управляемой
В своем посте Пачоцкий выразил желание предотвратить «гонку к необследованному искусственному интеллекту», подстегиваемую вводящими в заблуждение медиа-нарративами. Он уточнил, что глубина графа вычислений текущих продвинутых моделей OpenAI, включая Astra, менее чем в два раза превышает аналогичный показатель у GPT-4, что указывает на отсутствие внезапного скачка архитектурной сложности, которого опасались.
Он отметил, что с момента появления первых моделей рассуждений OpenAI приоритетом поддерживала и использовала мониторинг цепочки мыслей. Эта технология имеет решающее значение для понимания того, как выравнивание модели обобщается на основе обучающих данных. Однако он признал, что текущий мониторинг цепочки мыслей является хрупким и снижается по причинам, не связанным с изменениями архитектуры. Команда планирует внедрить меры по укреплению этой возможности, которая является ключевой целью текущих исследований. В OpenAI подтвердили, что для Astra будет развернут улучшенный мониторинг цепочки мыслей.
Глубина графа вычислений измеряет сложность нейронной сети, представляя собой последовательные слои вычислений от входа к выходу. Более высокие значения указывают на более сложные структуры.
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны











