Исследование показало, что «токенмаксинг» снижает производительность разработчиков

Существует классическая поговорка в сфере управления: «Что измеряется, то и управляется». И, как правило, того, что вы отслеживаете, становится больше.

Программисты десятилетиями спорят о показателях производительности, начиная с количества строк кода. Но поскольку новое поколение помощников по кодированию на базе ИИ генерирует больше кода, чем когда-либо, становится все менее понятно, что именно должны измерять их руководители.

Огромные бюджеты на токены — по сути, объем вычислительной мощности ИИ, которую разрешено использовать разработчику — стали символом статуса среди разработчиков Кремниевой долины. Однако это странный подход к оценке производительности. Измерять входные данные процесса не имеет смысла, если вас, по-видимому, больше интересует результат. Это может быть логично, если вы пытаетесь стимулировать более широкое внедрение ИИ (или продавать токены), но не в том случае, если ваша цель — повысить эффективность.

Рассмотрим данные от новой категории компаний в сфере «аналитики производительности разработчиков». Они обнаруживают, что разработчики, использующие такие инструменты, как Claude Code, Cursor и Codex, генерируют значительно больше принятого кода, чем раньше. Но они также обнаруживают, что инженерам приходится возвращаться к пересмотру этого принятого кода гораздо чаще, что подрывает утверждения о повышении производительности.

Алекс Сирсей, генеральный директор и основатель Waydev, создает интеллектуальный слой для отслеживания этой динамики. Его компания работает с 50 различными клиентами, в которых занято более 10 000 инженеров-программистов. (Сирсей ранее публиковался на TechCrunch, но этот репортер никогда раньше с ним не встречался.)

Он говорит, что менеджеры по разработке наблюдают показатели принятия кода на уровне от 80% до 90% — то есть долю кода, сгенерированного ИИ, который разработчики одобряют и оставляют. Однако они упускают из виду последующий отток, который происходит, когда инженерам приходится переделывать этот код в последующие недели, что снижает реальный и устойчивый показатель принятия до 10–30%.

Рост популярности инструментов кодирования на базе ИИ побудил Waydev, основанную в 2017 году для предоставления аналитики для разработчиков, полностью переработать свою платформу за последние шесть месяцев, чтобы учесть распространение инструментов быстрого кодирования. Сейчас компания выпускает новые инструменты, которые отслеживают метаданные, генерируемые ИИ-агентами, предлагая аналитику по качеству и стоимости их кода, чтобы предоставить инженерным менеджерам более глубокое понимание как внедрения ИИ, так и его эффективности.

Хотя аналитические компании заинтересованы в том, чтобы выделять обнаруженные проблемы, появляется все больше доказательств того, что крупные организации все еще пытаются понять, как эффективно использовать инструменты ИИ. Крупные компании обращают на это внимание — в прошлом году Atlassian приобрела DX, еще один стартап в сфере инженерной аналитики, за 1 миллиард долларов, чтобы помочь своим клиентам понять рентабельность инвестиций в агенты кодирования.

Данные по всей отрасли свидетельствуют об одном и том же: пишется все больше кода, но непропорционально большая его часть не приживается.

GitClear, еще одна компания в этой сфере, опубликовала в январе отчет, в котором было установлено, что инструменты ИИ повышают производительность. Однако ее данные также показали, что «у обычных пользователей ИИ средний показатель оттока кода был в 9,4 раза выше, чем у их коллег, не использующих ИИ» — это более чем вдвое превышает прирост производительности, обеспеченный этими инструментами.

Faros AI, платформа инженерной аналитики, использовала данные о клиентах за два года для своего отчета за март 2026 года. Вывод: отток кода — соотношение удаленных строк кода к добавленным — увеличился на 861% при широком внедрении ИИ.

Jellyfish, позиционирующая себя как интеллектуальная платформа для инжиниринга с интеграцией ИИ, собрала данные о 7 548 инженерах в первом квартале 2026 года. Компания обнаружила, что инженеры с наибольшими бюджетами на токены генерировали наибольшее количество пулл-реквестов (предлагаемых изменений в общей кодовой базе), но повышение производительности не масштабировалось. Они достигли двукратного увеличения пропускной способности при десятикратном увеличении затрат на токены. Другими словами, инструменты генерируют объем, а не ценность.

Подобные статистические данные подтверждаются в разговорах с разработчиками, которые отмечают, что, несмотря на то, что они пользуются новыми возможностями этих инструментов, нагрузка, связанная с проверкой кода, и технический долг только растут. Один из общих выводов касается разницы между старшими и младшими инженерами: последние принимают гораздо больше кода, сгенерированного ИИ, и, как следствие, сталкиваются с большим объемом переписывания.

Тем не менее, даже когда разработчики пытаются понять, чем именно занимаются их ИИ-помощники, они не планируют в ближайшее время отказываться от них.

«Это новая эра разработки программного обеспечения, и нужно адаптироваться. Компании вынуждены адаптироваться», — сказал Сирсей TechCrunch. «Это не мимолетная тенденция».