Исследование показало, что ИИ замедляет работу опытных разработчиков ПО
Некоммерческая организация METR, занимающаяся исследованиями в области искусственного интеллекта, провела углубленное исследование группы опытных разработчиков, которые использовали «Cursor» — популярного помощника по программированию на основе искусственного интеллекта, — для выполнения задач в знакомых им проектах с открытым исходным кодом.
До исследования разработчики ПО с открытым исходным кодом полагали, что использование искусственного интеллекта ускорит их работу, и подсчитали, что ИИ должен сократить время выполнения задач на 24%. Даже после выполнения задач с использованием ИИ разработчики считали, что им удалось сократить время выполнения задач на 20%. Но исследование показало, что использование искусственного интеллекта привело к обратному результату: оно увеличило время выполнения задач на 19%.
Ведущие авторы исследования Джоэл Беккер и Нейт Раш заявили, что были шокированы полученными результатами. Они опровергают мнение о том, что искусственный интеллект всегда делает дорогостоящих инженеров намного более продуктивными. Эта идея привлекла значительные инвестиции в компании, продающие продукты с использованием искусственного интеллекта для содействия разработке программного обеспечения.
Считается, что ИИ также заменит должности программистов начального уровня. Дарио Амодеи, генеральный директор Anthropic, недавно заявил изданию Axios, что ИИ может уничтожить половину всех должностей «белых воротничков» начального уровня в течение следующих одного-пяти лет. Также другие исследования утверждали, что использование искусственного интеллекта ускорило работу программистов на 56%, и, что разработчики смогли выполнить за заданное время на 26% больше задач.
Однако новое исследование METR показывает, что эти улучшения применимы не ко всем сценариям разработки программного обеспечения. В частности, оно показало, что опытные разработчики, хорошо знакомые с особенностями и требованиями крупных баз данных с открытым исходным кодом, столкнулись с замедлением работы.
По словам авторов, это происходит вследствие того, что другие исследования часто опираются на контрольные показатели разработки программного обеспечения для ИИ, которые иногда искажают представление о реальных задачах. Замедление в работе было вызвано тем, что разработчикам приходилось тратить время на просмотр и исправление рекомендаций от моделей ИИ.
«Когда мы посмотрели видео, мы обнаружили, что ИИ дал несколько советов по поводу работы, и эти советы часто были верными, но не совсем тем, что нужно», — сказал Беккер.
Однако авторы исследования не ожидают, что замедление работы будет происходить и в других сценариях, например, для младших инженеров или инженеров, работающих с кодовыми базами, с которыми они не знакомы.
