Дом
Microsoft представила инструмент для разработчиков, позволяющий создавать тесты поведения ИИ на основе текстовых описаний
Исследователи и лаборатории в области искусственного интеллекта добились значительного прогресса в оценке моделей ИИ с точки зрения безопасности, соответствия нормативным требованиям, отсутствия льстивости и согласованности. Однако сейчас компании и разработчики сталкиваются с конкретной проблемой: необходимостью обеспечить, чтобы их системы ИИ работали именно так, как это предусмотрено для их конкретного продукта или услуги.
Чтобы упростить этот процесс тестирования, во вторник компания Microsoft представила ASSERT — аббревиатуру от Adaptive Spec-driven Scoring for Evaluation and Regression Testing (адаптивная оценка на основе спецификаций для оценочного и регрессионного тестирования).
По словам Microsoft, этот фреймворк с открытым исходным кодом упрощает оценку поведения ИИ в конкретных приложениях. Он использует ИИ для преобразования высокоуровневых описаний целей, политик или предполагаемого поведения на естественном языке в комплексные тесты с оценкой, которые можно проанализировать.
ASSERT принимает описания ожидаемого поведения и политик модели ИИ, написанные простым языком, а затем преобразует их в структурированный набор допустимых и недопустимых вариантов поведения. Она генерирует проблемные сценарии и тестовые случаи, запускает их на целевой системе и оценивает результаты. Фреймворк также записывает пути работы системы ИИ, включая промежуточные действия и вызовы инструментов, что позволяет разработчикам выяснять, где именно происходят сбои.
Разработчики также могут задавать системный контекст, инструменты и ограничения, чтобы дополнительно настраивать объем оцениваемых аспектов.
Например, разработчик может указать, что ИИ-агент по поиску документов не должен отправлять электронные письма лицам за пределами компании, должен ограничивать доступ к конфиденциальной информации руководителями высшего звена и должен предоставлять краткие резюме с учётом предыдущего контекста. Затем ASSERT использует эти правила для генерации тестовых случаев, которые постоянно проверяют, следует ли система этим правилам.
Источник изображения:Microsoft
По словам Microsoft, эта платформа восполняет пробел, который не могут устранить более широкие и общие оценки, когда модели ИИ должны вести себя в соответствии с контекстом, политиками и инструментами приложения или продукта.
«Одно из того, чему мы научились, — это то, что оценки имеют решающее значение для принятия правильных решений», — сказала Сара Берд (Sarah Bird), директор по продуктам в подразделении Responsible AI компании Microsoft. «Ведь если вы не понимаете поведения системы ИИ, очень сложно определить, соответствует ли она стандартам вашей организации […] Мы пришли к выводу, что для создания действительно надежной системы необходимо оценивать гораздо больше аспектов, специфичных для конкретного приложения».
Берд отметила, что ASSERT можно использовать для оценки систем на этапе разработки, после развертывания, а также для непрерывного мониторинга.
Выпуск происходит на фоне постепенного, но все более масштабного сдвига в индустрии искусственного интеллекта. По мере того как модели становятся всё более мощными, исследователи сосредотачиваются на повторяемом тестировании и регрессионных проверках. Проект HELM из Стэнфорда, AILuminate от MLCommons и такие группы по оценке, как METR, внедряют тестовые наборы для измерения поведения моделей в различных условиях.
Связанная статья
Microsoft выводит из эксплуатации неудачные инструменты на базе искусственного интеллекта и объединяет приложения Copilot
Два года назад Microsoft охарактеризовала искусственный интеллект как «технологический сдвиг поколения», которым компания намерена руководить. Сегодня корпорация консолидирует свои потребительские и бизнес-приложения под брендом Copilot, одновременно
По сообщениям, Microsoft обучает своих сотрудников по продажам занижать цены по сравнению с конкурентами OpenAI и Anthropic
По сообщениям, Microsoft готовит свои отделы продаж для усиления конкуренции с ключевыми соперниками в сфере искусственного интеллекта.Согласно отчету Bloomberg, во вторник руководители провели внутреннее стратегическое совещание, на котором поручил
Не станет ли это началом кризиса для экономик токенов?
Недавно Microsoft внесла значительные изменения в ценообразование GitHub Copilot — настолько существенные, что один из пользователей Reddit назвал сложившуюся ситуацию в своей компании «Tokenpocalypse».В самом последнем выпуске подкаста TechCrunch’s
Рекомендации по связанным специальным темам
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Быстрый
Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Образование и обучение
Платформы для создания викторин с ИИ для учителей, репетиторов и программ обучения в группах
2026 Latest Best AI Quiz Builder Platforms for Teachers, Tutors, and Cohort-Based Learning Programs! XIX.AI has curated a top-rated list of powerful game-changing tools that go through real-world tests to deliver accurate rankings. These must-try platforms help boost writing efficiency, streamline content creation, and simplify quiz design across all learning scenarios. Explore now to discover your perfect tool for unlocking your AI edge in teaching!
13 инструментов
xix.ai
Комментарии (0)
Исследователи и лаборатории в области искусственного интеллекта добились значительного прогресса в оценке моделей ИИ с точки зрения безопасности, соответствия нормативным требованиям, отсутствия льстивости и согласованности. Однако сейчас компании и разработчики сталкиваются с конкретной проблемой: необходимостью обеспечить, чтобы их системы ИИ работали именно так, как это предусмотрено для их конкретного продукта или услуги.
Чтобы упростить этот процесс тестирования, во вторник компания Microsoft представила ASSERT — аббревиатуру от Adaptive Spec-driven Scoring for Evaluation and Regression Testing (адаптивная оценка на основе спецификаций для оценочного и регрессионного тестирования).
По словам Microsoft, этот фреймворк с открытым исходным кодом упрощает оценку поведения ИИ в конкретных приложениях. Он использует ИИ для преобразования высокоуровневых описаний целей, политик или предполагаемого поведения на естественном языке в комплексные тесты с оценкой, которые можно проанализировать.
ASSERT принимает описания ожидаемого поведения и политик модели ИИ, написанные простым языком, а затем преобразует их в структурированный набор допустимых и недопустимых вариантов поведения. Она генерирует проблемные сценарии и тестовые случаи, запускает их на целевой системе и оценивает результаты. Фреймворк также записывает пути работы системы ИИ, включая промежуточные действия и вызовы инструментов, что позволяет разработчикам выяснять, где именно происходят сбои.
Разработчики также могут задавать системный контекст, инструменты и ограничения, чтобы дополнительно настраивать объем оцениваемых аспектов.
Например, разработчик может указать, что ИИ-агент по поиску документов не должен отправлять электронные письма лицам за пределами компании, должен ограничивать доступ к конфиденциальной информации руководителями высшего звена и должен предоставлять краткие резюме с учётом предыдущего контекста. Затем ASSERT использует эти правила для генерации тестовых случаев, которые постоянно проверяют, следует ли система этим правилам.
Источник изображения:Microsoft
По словам Microsoft, эта платформа восполняет пробел, который не могут устранить более широкие и общие оценки, когда модели ИИ должны вести себя в соответствии с контекстом, политиками и инструментами приложения или продукта.
«Одно из того, чему мы научились, — это то, что оценки имеют решающее значение для принятия правильных решений», — сказала Сара Берд (Sarah Bird), директор по продуктам в подразделении Responsible AI компании Microsoft. «Ведь если вы не понимаете поведения системы ИИ, очень сложно определить, соответствует ли она стандартам вашей организации […] Мы пришли к выводу, что для создания действительно надежной системы необходимо оценивать гораздо больше аспектов, специфичных для конкретного приложения».
Берд отметила, что ASSERT можно использовать для оценки систем на этапе разработки, после развертывания, а также для непрерывного мониторинга.
Выпуск происходит на фоне постепенного, но все более масштабного сдвига в индустрии искусственного интеллекта. По мере того как модели становятся всё более мощными, исследователи сосредотачиваются на повторяемом тестировании и регрессионных проверках. Проект HELM из Стэнфорда, AILuminate от MLCommons и такие группы по оценке, как METR, внедряют тестовые наборы для измерения поведения моделей в различных условиях.
Microsoft выводит из эксплуатации неудачные инструменты на базе искусственного интеллекта и объединяет приложения Copilot
Два года назад Microsoft охарактеризовала искусственный интеллект как «технологический сдвиг поколения», которым компания намерена руководить. Сегодня корпорация консолидирует свои потребительские и бизнес-приложения под брендом Copilot, одновременно
По сообщениям, Microsoft обучает своих сотрудников по продажам занижать цены по сравнению с конкурентами OpenAI и Anthropic
По сообщениям, Microsoft готовит свои отделы продаж для усиления конкуренции с ключевыми соперниками в сфере искусственного интеллекта.Согласно отчету Bloomberg, во вторник руководители провели внутреннее стратегическое совещание, на котором поручил
Не станет ли это началом кризиса для экономик токенов?
Недавно Microsoft внесла значительные изменения в ценообразование GitHub Copilot — настолько существенные, что один из пользователей Reddit назвал сложившуюся ситуацию в своей компании «Tokenpocalypse».В самом последнем выпуске подкаста TechCrunch’s
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
2026 Latest Best AI Quiz Builder Platforms for Teachers, Tutors, and Cohort-Based Learning Programs! XIX.AI has curated a top-rated list of powerful game-changing tools that go through real-world tests to deliver accurate rankings. These must-try platforms help boost writing efficiency, streamline content creation, and simplify quiz design across all learning scenarios. Explore now to discover your perfect tool for unlocking your AI edge in teaching!
13 инструментов
xix.ai
