Anthropic предупреждает, что модели ИИ вскоре могут начать самовоспроизводиться
Компания Anthropic опубликовала пост, в котором допустила возможность того, что вредоносный искусственный интеллект для ускорения своего роста может создать ботнет, быстро распространиться, противостоять попыткам его удаления и даже проникнуть в центры обработки данных. Некоторые эксперты заявили, что разделяют опасения компании, хотя по крайней мере один из них сказал, что компания, похоже, «преувеличивает».
Данный пост дополнил предупреждение, сделанное в прошлом месяце генеральным директором Anthropic Дарио Амодеи, который высказал идею о том, что в течение следующего года или даже раньше искусственный интеллект может захватить «весь интернет» с помощью «постоянного ботнета». Эксперты по кибербезопасности, которые выступили против сценария конца света, утверждали, что модели будут слишком большими, чтобы их можно было эффективно перемещать, и не смогут задействовать достаточно вычислительных мощностей для автономной работы.
В публикации была предпринята попытка сформулировать решения, которые помогут преодолеть эти проблемы. Компания заявила, что ее эксперименты показали, что модели ИИ среднего размера с 30 миллиардами параметров или меньше уже могут выполнять многие из отдельных задач, необходимых для самовоспроизведения, даже если молеям пока трудно надежно завершить весь процесс. Компания Anthropic сообщила, что модели смогли объединить необходимые вычислительные ресурсы, используя недорогие устройства, подключенные к интернету. Она добавила, что модели смогли воспроизвести результаты в упрощенной тестовой сети.
«Такой репликатор будет сложно отключить, поскольку у него нет централизованной точки отключения», — заявили в компании.
В сообщении компании усиливаются опасения по поводу рисков безопасности, связанных с постоянно совершенствующимися системами искусственного интеллекта, включая их потенциальную способность автоматизировать кибератаки, работать с ограниченным контролем со стороны человека и обходить средства защиты. Развитие моделей ИИ привело к тому, что руководители отрасли и сотрудники компаний, занимающихся искусственным интеллектом, стали все чаще высказывать серьезные опасения по поводу того, что развитие ИИ может привести к катастрофическим последствиям, вплоть до угрозы существованию человечества.
Некоторые эксперты по кибербезопасности отнеслись к этому скептически.
«То, что нам удалось запустить небольшую модель на дешевых телевизорах, еще не означает, что мы столкнулись с кризисом безопасности», — сказал Киран Мартин, бывший глава Национального центра кибербезопасности Великобритании. «Пост выглядит как интересный технический документ с явным преувеличением со стороны написавшего».
Другие выразили большую озабоченность.
Чжэнсюн Ли, доцент кафедры компьютерных наук и инженерии в Университете Колорадо в Денвере, сказал, «Хотя тестирование проводилось в контролируемых условиях, вызывает беспокойство тот факт, что искусственный интеллект может стать «червём» — самовоспроизводящейся программой, которая может на лету придумывать способы взлома устройств. Если он работает на множестве устройств и не зависит от центрального сервиса, то, возможно, не существует единого места, где его можно было бы отключить».
В Anthropic заявили, что если модели меньшего размера продолжат совершенствоваться с той же скоростью, то к концу 2026 года они смогут достичь уровня, необходимого для автономной репликации. Также была высказана идея о том, что модели могут найти способы задействовать более мощные вычислительные ресурсы, в том числе процессоры в центрах обработки данных, что потенциально позволит им использовать гораздо большие вычислительные мощности.
По словам Джессики Джи, старшего аналитика-исследователя Центра безопасности и новых технологий Джорджтаунского университета, имеет смысл рассмотреть возможность автономного распространения ИИ-моделей, учитывая то, что за последние три месяца появилось несколько сообщений о неправомерных действиях искусственного интеллекта.
«Мы пока не знаем, какова вероятность того, что это произойдет на самом деле — она не равна нулю, но и не гарантирована», - сказала она.
