Дом
Исследование Microsoft выявляет ограничения моделей ИИ в отладке программного обеспечения
Модели ИИ от OpenAI, Anthropic и других ведущих лабораторий ИИ всё чаще используются для задач программирования. Генеральный директор Google Сундар Пичаи отметил в октябре, что ИИ генерирует 25% нового кода в компании, в то время как генеральный директор Meta Марк Цукерберг стремится широко внедрить инструменты программирования на основе ИИ в гиганте социальных сетей.
Однако даже лучшие модели с трудом справляются с исправлением ошибок в программном обеспечении, которые опытные разработчики устраняют с лёгкостью.
Недавнее исследование Microsoft Research, проведённое подразделением исследований и разработок Microsoft, показывает, что такие модели, как Claude 3.7 Sonnet от Anthropic и o3-mini от OpenAI, не могут решить многие проблемы в тесте разработки программного обеспечения SWE-bench Lite. Результаты подчёркивают, что, несмотря на амбициозные заявления компаний, таких как OpenAI, ИИ всё ещё уступает человеческому опыту в таких областях, как программирование.
Исследователи протестировали девять моделей в качестве основы для «агента на основе единого запроса», оснащённого инструментами отладки, включая отладчик Python. Агент должен был решить 300 специально отобранных задач по отладке программного обеспечения из SWE-bench Lite.
Результаты показали, что даже с продвинутыми моделями агент редко успешно справлялся с более чем половиной задач. Claude 3.7 Sonnet лидировала с показателем успеха 48,4%, за ней следовала модель o1 от OpenAI с 30,2% и o3-mini с 22,1%.
График из исследования, показывающий улучшение производительности моделей благодаря инструментам отладки. Источник изображения: Microsoft Что объясняет такие скромные результаты? Некоторые модели с трудом эффективно использовали доступные инструменты отладки или определяли, какие инструменты подходят для конкретных проблем. Основная причина, по мнению исследователей, — недостаток обучающих данных, особенно данных, отражающих «последовательные процессы принятия решений», такие как трассировки отладки, выполняемые человеком.
«Мы считаем, что обучение или тонкая настройка этих моделей может улучшить их способности к отладке», — написали исследователи. «Однако это требует специализированных данных, таких как траекторные данные, фиксирующие взаимодействие агентов с отладчиком для сбора информации перед предложением исправлений.»
Посетите TechCrunch Sessions: ИИ
Забронируйте место на нашем главном событии в индустрии ИИ с участием спикеров от OpenAI, Anthropic и Cohere. Только в течение ограниченного времени билеты стоят всего $292 за полный день экспертных выступлений, мастер-классов и возможностей для нетворкинга.
Презентация на TechCrunch Sessions: ИИ
Забронируйте место на TC Sessions: ИИ, чтобы представить свою работу более чем 1200 лицам, принимающим решения. Возможности для выставки доступны до 9 мая или до полного заполнения столов.
Результаты не удивительны. Многочисленные исследования показали, что код, сгенерированный ИИ, часто содержит уязвимости в безопасности и ошибки из-за слабого понимания логики программирования. Недавний тест Devin, известного инструмента программирования на основе ИИ, показал, что он смог выполнить только три из 20 задач программирования.
Исследование Microsoft предлагает одно из самых глубоких исследований этой продолжающейся проблемы для моделей ИИ. Хотя вряд ли это охладит интерес инвесторов к инструментам программирования на основе ИИ, это может заставить разработчиков и их руководителей пересмотреть сильную зависимость от ИИ в задачах программирования.
Примечательно, что несколько технологических лидеров выступили против идеи, что ИИ устранит рабочие места программистов. Сооснователь Microsoft Билл Гейтс, генеральный директор Replit Амджад Масад, генеральный директор Okta Тодд МакКиннон и генеральный директор IBM Арвинд Кришна выразили уверенность в том, что профессия программиста сохранится.
Связанная статья
Олли делает ставку на приватность, чтобы выиграть гонку за лидерство в сфере ИИ-помощников
Чтобы быть по-настоящему полезным, ИИ-помощник должен глубоко понимать своего пользователя. Ollie — личный помощник, разработанный для повседневной жизни, — работает по принципу, согласно которому для
Как на мероприятии AI LIVE: London будут рассматриваться темы искусственного интеллекта и промышленной автоматизации
На саммите соберутся руководители высшего звена со всего мира, чтобы обсудить актуальные проблемы мировых отраслей — от радикальных изменений, вызванных искусственным интеллектом, до экономической нес
Anthropic выходит на рынок юридических технологий ИИ по мере усиления конкуренции
Anthropic unveiled a suite of new chatbot capabilities on Tuesday, aimed at delivering automated support to legal practices. Эти инструменты были представлены во вторник и направлены на предоставление автоматизированной поддержки юридическим фирмам.
Рекомендации по связанным специальным темам
код
Инструменты на базе ИИ для проверки пулл-реквестов в командах GitHub, занимающихся рефакторингом, устранением ошибок и устранением уязвимостей
2026 года: лучшие инструменты для проверки пул-реквестов с помощью ИИ для команд GitHub — уже здесь, на XIX.AI! В этом тщательно отобранном списке, получившем высокие оценки, представлены мощные революционные решения, которые оптимизируют рефакторинг, исправление ошибок и выявление уязвимостей в безопасности во всех рабочих процессах команды. Воспользуйтесь сравнением бесплатных и платных инструментов, а также результатами реальных тестов и подробными рейтингами, которые помогут вам найти идеальный инструмент, значительно повышающий производительность. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть весь потенциал искусственного интеллекта!
12 инструментов
xix.ai
Преобразование текста в речь
Лучшие инструменты преобразования текста в речь на базе ИИ для создания естественного озвучивания
2026 года: самые новые, лучшие и высокооцененные инструменты преобразования текста в речь на базе ИИ для естественного озвучивания — уже здесь, на XIX.AI! В этом тщательно отобранном списке представлены мощные, революционные решения, обеспечивающие кристально чистый голос для любого сценария использования, подтвержденные реальными тестами и еженедельно обновляемым рейтингом. Воспользуйтесь сравнением бесплатных и платных версий, чтобы найти решение, которое обязательно стоит попробовать и которое мгновенно повысит вашу продуктивность. Откройте для себя все возможности ИИ прямо сейчас!
11 инструментов
xix.ai
Создание комиксов
Генераторы фонов на базе искусственного интеллекта для манги: для серийных глав, обложек и рекламных иллюстраций
2026: Рейтинг лучших генераторов фонов для манги на базе ИИ — самые популярные инструменты! В этой тщательно подобранной подборке представлены мощные инструменты, способные кардинально изменить процесс работы, которые идеально подходят для создания высококачественных фонов для глав, обложек книг и рекламных иллюстраций. Каждый вариант прошел тщательные практические испытания, чтобы гарантировать его надежность. Получите сравнение бесплатных и платных версий, а также подробную аналитику. Изучите подборку прямо сейчас, чтобы найти идеальный инструмент и раскрыть весь потенциал искусственного интеллекта в создании манги.
6 инструментов
xix.ai
Редактирование изображений
Редакторы для удаления объектов с помощью ИИ: очистка портретов, фотографий из путешествий и снимков товаров
2026 год: лучшие и самые популярные редакторы с ИИ для удаления объектов на портретах, фотографиях путешествий и товарах! XIX.AI подбирает мощную коллекцию инструментов, которые кардинально меняют правила игры, и регулярно обновляет её, публикуя еженедельные рейтинги. Эти инструменты прошли реальные тесты, которые помогут вам быстро удалить ненужные элементы, повысить качество контента и сэкономить массу времени без ущерба для результатов. Обязательно попробуйте, если хотите раскрыть свой творческий потенциал с помощью ИИ. Откройте для себя эти инструменты прямо сейчас!
10 инструментов
xix.ai
Преобразование текста в речь
Лучшие инструменты преобразования текста в речь на базе ИИ для онлайн-курсов
2026 лучших и наиболее высокооцененных инструментов преобразования текста в речь на базе ИИ для онлайн-курсов отобраны компанией XIX.AI на основе тщательных практических тестов и еженедельно обновляемого рейтинга. Эти мощные инструменты помогают авторам без особых усилий создавать кристально чистый аудиоконтент, повышая эффективность написания текстов и оптимизируя процесс создания курсов. Ознакомьтесь со сравнением бесплатных и платных версий, чтобы найти вариант, идеально подходящий именно вам. Узнайте больше прямо сейчас, чтобы раскрыть потенциал ИИ в сфере онлайн-образования.
10 инструментов
xix.ai
письмо
Инструменты для создания заголовков блога на основе ИИ с целью повышения кликабельности
2026 год: лучшие и самые популярные инструменты для создания заголовков блога на основе ИИ для повышения кликабельности! XIX.AI тщательно подобрал мощную коллекцию лучших инструментов, которые прошли строгие реальные тесты. Вы найдете сравнение бесплатных и платных вариантов, еженедельно обновляемые рейтинги и подробные аналитические данные, которые помогут вам эффективно увеличить трафик вашего блога. Обязательно попробуйте выделенные варианты, чтобы раскрыть ваше преимущество с помощью ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
Комментарии (6)
![ThomasScott]()
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
![HenryWalker]()
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
![BrianRoberts]()
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
![KevinDavis]()
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
![PeterThomas]()
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
![JuanWhite]()
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
Модели ИИ от OpenAI, Anthropic и других ведущих лабораторий ИИ всё чаще используются для задач программирования. Генеральный директор Google Сундар Пичаи отметил в октябре, что ИИ генерирует 25% нового кода в компании, в то время как генеральный директор Meta Марк Цукерберг стремится широко внедрить инструменты программирования на основе ИИ в гиганте социальных сетей.
Однако даже лучшие модели с трудом справляются с исправлением ошибок в программном обеспечении, которые опытные разработчики устраняют с лёгкостью.
Недавнее исследование Microsoft Research, проведённое подразделением исследований и разработок Microsoft, показывает, что такие модели, как Claude 3.7 Sonnet от Anthropic и o3-mini от OpenAI, не могут решить многие проблемы в тесте разработки программного обеспечения SWE-bench Lite. Результаты подчёркивают, что, несмотря на амбициозные заявления компаний, таких как OpenAI, ИИ всё ещё уступает человеческому опыту в таких областях, как программирование.
Исследователи протестировали девять моделей в качестве основы для «агента на основе единого запроса», оснащённого инструментами отладки, включая отладчик Python. Агент должен был решить 300 специально отобранных задач по отладке программного обеспечения из SWE-bench Lite.
Результаты показали, что даже с продвинутыми моделями агент редко успешно справлялся с более чем половиной задач. Claude 3.7 Sonnet лидировала с показателем успеха 48,4%, за ней следовала модель o1 от OpenAI с 30,2% и o3-mini с 22,1%.
Что объясняет такие скромные результаты? Некоторые модели с трудом эффективно использовали доступные инструменты отладки или определяли, какие инструменты подходят для конкретных проблем. Основная причина, по мнению исследователей, — недостаток обучающих данных, особенно данных, отражающих «последовательные процессы принятия решений», такие как трассировки отладки, выполняемые человеком.
«Мы считаем, что обучение или тонкая настройка этих моделей может улучшить их способности к отладке», — написали исследователи. «Однако это требует специализированных данных, таких как траекторные данные, фиксирующие взаимодействие агентов с отладчиком для сбора информации перед предложением исправлений.»
Посетите TechCrunch Sessions: ИИ
Забронируйте место на нашем главном событии в индустрии ИИ с участием спикеров от OpenAI, Anthropic и Cohere. Только в течение ограниченного времени билеты стоят всего $292 за полный день экспертных выступлений, мастер-классов и возможностей для нетворкинга.
Презентация на TechCrunch Sessions: ИИ
Забронируйте место на TC Sessions: ИИ, чтобы представить свою работу более чем 1200 лицам, принимающим решения. Возможности для выставки доступны до 9 мая или до полного заполнения столов.
Результаты не удивительны. Многочисленные исследования показали, что код, сгенерированный ИИ, часто содержит уязвимости в безопасности и ошибки из-за слабого понимания логики программирования. Недавний тест Devin, известного инструмента программирования на основе ИИ, показал, что он смог выполнить только три из 20 задач программирования.
Исследование Microsoft предлагает одно из самых глубоких исследований этой продолжающейся проблемы для моделей ИИ. Хотя вряд ли это охладит интерес инвесторов к инструментам программирования на основе ИИ, это может заставить разработчиков и их руководителей пересмотреть сильную зависимость от ИИ в задачах программирования.
Примечательно, что несколько технологических лидеров выступили против идеи, что ИИ устранит рабочие места программистов. Сооснователь Microsoft Билл Гейтс, генеральный директор Replit Амджад Масад, генеральный директор Okta Тодд МакКиннон и генеральный директор IBM Арвинд Кришна выразили уверенность в том, что профессия программиста сохранится.
Олли делает ставку на приватность, чтобы выиграть гонку за лидерство в сфере ИИ-помощников
Чтобы быть по-настоящему полезным, ИИ-помощник должен глубоко понимать своего пользователя. Ollie — личный помощник, разработанный для повседневной жизни, — работает по принципу, согласно которому для
Как на мероприятии AI LIVE: London будут рассматриваться темы искусственного интеллекта и промышленной автоматизации
На саммите соберутся руководители высшего звена со всего мира, чтобы обсудить актуальные проблемы мировых отраслей — от радикальных изменений, вызванных искусственным интеллектом, до экономической нес
Anthropic выходит на рынок юридических технологий ИИ по мере усиления конкуренции
Anthropic unveiled a suite of new chatbot capabilities on Tuesday, aimed at delivering automated support to legal practices. Эти инструменты были представлены во вторник и направлены на предоставление автоматизированной поддержки юридическим фирмам.
2026 года: лучшие инструменты для проверки пул-реквестов с помощью ИИ для команд GitHub — уже здесь, на XIX.AI! В этом тщательно отобранном списке, получившем высокие оценки, представлены мощные революционные решения, которые оптимизируют рефакторинг, исправление ошибок и выявление уязвимостей в безопасности во всех рабочих процессах команды. Воспользуйтесь сравнением бесплатных и платных инструментов, а также результатами реальных тестов и подробными рейтингами, которые помогут вам найти идеальный инструмент, значительно повышающий производительность. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть весь потенциал искусственного интеллекта!
12 инструментов
xix.ai
2026 года: самые новые, лучшие и высокооцененные инструменты преобразования текста в речь на базе ИИ для естественного озвучивания — уже здесь, на XIX.AI! В этом тщательно отобранном списке представлены мощные, революционные решения, обеспечивающие кристально чистый голос для любого сценария использования, подтвержденные реальными тестами и еженедельно обновляемым рейтингом. Воспользуйтесь сравнением бесплатных и платных версий, чтобы найти решение, которое обязательно стоит попробовать и которое мгновенно повысит вашу продуктивность. Откройте для себя все возможности ИИ прямо сейчас!
11 инструментов
xix.ai
2026: Рейтинг лучших генераторов фонов для манги на базе ИИ — самые популярные инструменты! В этой тщательно подобранной подборке представлены мощные инструменты, способные кардинально изменить процесс работы, которые идеально подходят для создания высококачественных фонов для глав, обложек книг и рекламных иллюстраций. Каждый вариант прошел тщательные практические испытания, чтобы гарантировать его надежность. Получите сравнение бесплатных и платных версий, а также подробную аналитику. Изучите подборку прямо сейчас, чтобы найти идеальный инструмент и раскрыть весь потенциал искусственного интеллекта в создании манги.
6 инструментов
xix.ai
2026 год: лучшие и самые популярные редакторы с ИИ для удаления объектов на портретах, фотографиях путешествий и товарах! XIX.AI подбирает мощную коллекцию инструментов, которые кардинально меняют правила игры, и регулярно обновляет её, публикуя еженедельные рейтинги. Эти инструменты прошли реальные тесты, которые помогут вам быстро удалить ненужные элементы, повысить качество контента и сэкономить массу времени без ущерба для результатов. Обязательно попробуйте, если хотите раскрыть свой творческий потенциал с помощью ИИ. Откройте для себя эти инструменты прямо сейчас!
10 инструментов
xix.ai
2026 лучших и наиболее высокооцененных инструментов преобразования текста в речь на базе ИИ для онлайн-курсов отобраны компанией XIX.AI на основе тщательных практических тестов и еженедельно обновляемого рейтинга. Эти мощные инструменты помогают авторам без особых усилий создавать кристально чистый аудиоконтент, повышая эффективность написания текстов и оптимизируя процесс создания курсов. Ознакомьтесь со сравнением бесплатных и платных версий, чтобы найти вариант, идеально подходящий именно вам. Узнайте больше прямо сейчас, чтобы раскрыть потенциал ИИ в сфере онлайн-образования.
10 инструментов
xix.ai
2026 год: лучшие и самые популярные инструменты для создания заголовков блога на основе ИИ для повышения кликабельности! XIX.AI тщательно подобрал мощную коллекцию лучших инструментов, которые прошли строгие реальные тесты. Вы найдете сравнение бесплатных и платных вариантов, еженедельно обновляемые рейтинги и подробные аналитические данные, которые помогут вам эффективно увеличить трафик вашего блога. Обязательно попробуйте выделенные варианты, чтобы раскрыть ваше преимущество с помощью ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
