Anthropic призывает к глобальной паузе в разработке ИИ
В своем блоге компания предупредила, что системы искусственного интеллекта приближаются к тому моменту, когда они совсем скоро смогут самосовершенствоваться без участия человека и, что достижение этого порога может привести к масштабным социальным потрясениям. Решение стартапа заключается в глобально скоординированном соглашении о временной приостановке или, по крайней мере, замедлении темпов разработки новых перспективных моделей. В своем блоге руководитель отдела внутренних исследований Anthropic Марина Фаваро и руководитель отдела политики Джек Кларк утверждают, что пауза даст миру необходимую передышку для адаптации к быстрому росту искусственного интеллекта.
Оба автора заявляют, что прогресс в разработке моделей, похоже, приближается к теоретической концепции, известной как «рекурсивное самосовершенствование», которая относится к системам искусственного интеллекта, способным самостоятельно улучшать себя и расширять свои возможности, путем написания собственного кода. Они признают, что этого еще не произошло и не обязательно произойдет, но также предупреждают, что это может произойти гораздо раньше, чем кто-либо окажется готов. По словам Кларка, есть основания полагать, что некоторые модели могут стать способными к рекурсивному самосовершенствованию всего за два года.
«Мы считаем, что миру было бы полезно иметь возможность замедлить или временно приостановить разработку передовых технологий искусственного интеллекта, чтобы социальные структуры и исследования в области согласования могли идти в ногу с развитием технологий», — предложили авторы.
Есть основания прислушаться к столь серьезному предупреждению Anthropic. Компания недавно завершила масштабный раунд финансирования на сумму 65 миллиардов долларов, в результате чего ее оценка приблизилась к 1 триллиону долларов, а на этой неделе она подала документы в Комиссию по ценным бумагам и биржам, заявив о планах выхода на публичный рынок. Она стала одним из лидеров в жесткой конкуренции за лидерство на рынке с разработчиком ChatGPT, компанией OpenAI, которая также, как ожидается, скоро проведет первичное публичное размещение акций.
Вопрос о том, насколько вообще осуществимо такое замедление, весьма спорный. Введение глобальной паузы в разработку ИИ, вероятно, будет практически невозможно, заявил Роб Эндерле из Enderle Group.
«Это практически невозможно, потому что экономические риски и риски для национальной безопасности слишком высоки, чтобы какая-либо сверхдержава добровольно притормозила это сейчас», — сказал он.
Компания Anthropic признала, что, вероятно, потребуется нечто подобное договорам времен холодной войны, которые замедлили темпы распространения ядерного оружия, но отметила, что замаскировать запуски обучения ИИ гораздо проще, чем скрыть ракетные шахты. Если не будет создан какой-либо надежный режим проверки при сотрудничестве с такими странами, как Китай, любая пауза может привести к ситуации, когда конкурирующие страны просто проигнорируют паузу и возьмут на себя ведущую роль в разработке ИИ.
«Отслеживание децентрализованных вычислительных ресурсов, частных центров обработки данных и алгоритмических исследований в глобальном масштабе гораздо сложнее, чем мониторинг чего-либо физического, например, ядерных объектов», — добавил Эндерле.
Аналитик Хольгер Мюллер из Constellation Research заявил, что его обнадеживает тот факт, что Anthropic задает себе важные этические вопросы и вопросы безопасности, но он также задается вопросом о истинных мотивах компании.
«Пытается ли она заморозить существующее положение дел, чтобы наверстать упущенное, или просто сохранить свое лидерство?» — спросил он. «Заморозка, безусловно, помогла бы Anthropic сохранить лидирующие позиции в сфере B2B-систем искусственного интеллекта и, возможно, даже расширить свою долю рынка».
Аналитик также отметил, что риск использования искусственным интеллектом рекурсивного самосовершенствования носит лишь теоретический характер и в реальном мире никогда не демонстрировался.
«Более того, учитывая нынешнюю нехватку возможностей для обучения, ИИ будет непросто расширить свои собственные возможности», — сказал Хольгер. «Искусственный интеллект конечно нуждается в определенном уровне регулирования, и лучше, чтобы это произошло как можно скорее, но сложность заключается в том, чтобы найти баланс, который позволит избежать вреда, не препятствуя прогрессу».
Вне зависимости от истинных мотивов, авторы заявляют о своем намерении продвигать идею сдерживания развития ИИ. Anthropic Institute, внутренняя исследовательская организация компании, занимающаяся изучением и формированием влияния искусственного интеллекта на мир, продолжит сотрудничество с другими организациями в поиске способов «помощи в создании систем, которые потребуются для убедительного замедления или приостановки развития ИИ». Компания заявила, что попытается организовать более широкую дискуссию с политиками и исследователями ИИ, чтобы ответить на вопросы о вероятности рекурсивного самосовершенствования ИИ и о том, как может выглядеть система верификации.
«В отсутствие скоординированного глобального замедления мы остаемся в нынешней ситуации: мощные технологии разрабатываются с головокружительной скоростью различными участниками в различных странах, вовлеченными в конкуренцию друг с другом, где коммерческое и геополитическое соперничество заглушает более масштабные, экзистенциально важные для вида аспекты создаваемых технологий», — написали авторы.
