Исследование некоммерческой группы METR показало, что использование существующих на сегодня ИИ-инструментов для помощи в программировании может не ускорить, а наоборот замедлить работу даже опытных разработчиков. Ожидалось, что такие известные ИИ-кодеры, как Cursor и GitHub Copilot повысят производительность программистов за счёт автоматического написания кода, но, как пишет TechCrunch, исследование не подтвердило этот факт.
Cursor и GitHub Copilot, основанные на мощных моделях от компаний OpenAI, Google DeepMind, Anthropic и xAI, безусловно демонстрируют значительный прогресс в задачах разработки ПО. Тем не менее, тест, проведённый METR 10 июля 2025 года, ставит под сомнение степень этой выгоды. Участниками стали 16 опытных разработчиков ПО с открытым исходным кодом, которым предложили выполнить 246 реальных задач из крупных репозиториев, над которыми они обычно работают. Половина задач выполнялась с использованием продвинутых ИИ-инструментов, включая Cursor Pro, а другая половина — без них.
Перед началом теста разработчики предполагали, что ИИ сократит время выполнения задач на 24 %. Однако результаты оказались противоположными: в среднем использование ИИ-помощников увеличило время работы на 19 %. Как отметили исследователи, это стало неожиданностью, поскольку ожидалось, что автоматизация ускорит процесс, а не наоборот.
При этом лишь 56 % участников ранее работали с Cursor, хотя почти все (94 %) уже использовали в работе веб-интерфейсы на основе больших языковых моделей. Перед экспериментом разработчиков обучили работе с инструментом, чтобы минимизировать влияние недостатка опыта. В итоге стало понятно, что время на составление текстовых запросов к ИИ и ожидание ответа, вместо непосредственного программирования, значительно замедляют время работы. Попутно выяснилось, что ИИ затрудняются работать с большим и сложным кодом.
Авторы исследования подчеркнули, что не делают окончательных выводов, хотя по их словам, ИИ-системы неэффективны по крайней мере для опытных разработчиков. Одновременно они добавили, что технологии быстро развиваются, и результаты эксперимента могут устареть уже буквально через три месяца.