Anthropic описывает практические показатели, помогающие отслеживать темпы развития ИИ
Компания Anthropic заявила, что уже проводит измерения в области исследований и разработок, связанных с ИИ, контролирует работу автономных агентов ИИ и распределяет вычислительные ресурсы, а затем подробно описала используемые методики, чтобы другие передовые лаборатории также могли проводить подобные измерения. Таким образом, это поможет осуществить трехэтапный план скоординированного замедления темпов развития отрасли, который компания опубликовала на выходных.
«Системы ИИ становятся все более мощными, и их все чаще используют для создания новой версии самих себя. Мы хотим донести эту информацию до общественности», - сообщила компания Anthropic в своем блоге.
Затем компания поделилась тремя показателями, которые помогают отслеживать темпы развития искусственного интеллекта:
- Какой объем исследований и разработок в области ИИ выполняется с помощью самого ИИ.
Anthropic заявила, что оценивает этот показатель из-за тенденции лучших передовых лабораторий использовать сам искусственный интеллект для разработки ещё более мощных моделей, расширяющих его возможности, что может привести к тому, что люди не поймут, насколько это опасно. - Насколько хорошо контролируются агенты искусственного интеллекта.
Компания также оценивает контроль за агентами ИИ, поскольку люди все чаще используют их для выполнения работы от своего имени, а эти агенты, в свою очередь, делегируют десятки отдельных задач субагентам. Риск заключается в том, что мы каким-то образом перейдём от стадии, когда ИИ «сотрудничает» с людьми, к стадии, когда «ИИ руководит», принимая более важные решения, например, в каком направлении развивать исследования в области искусственного интеллекта. - Как распределяются ресурсы.
Что касается распределения вычислительных ресурсов, Anthropic отслеживает этот показатель, поскольку он является основным источником для работы ИИ. Понимая, как распределяются ресурсы, компания может видеть, на чем разработчики сосредотачивают свои усилия и как это меняется со временем. Кроме того, вычислительные ресурсы являются одним из наиболее проверяемых факторов в процессе исследований и разработок ИИ, а это значит, что они могут стать критически важным рычагом в будущих усилиях по развитию технологий.
Anthropic предоставит краткий обзор собственных показателей. Любой разработчик передовых систем ИИ сможет опубликовать те же показатели, а третьи стороны смогут их проверить.
«Поскольку мир задумывается о том, как замедлить развитие передовых технологий, мы должны сделать все возможное, чтобы минимизировать разрыв между тем, что знают передовые лаборатории, и тем, что известно общественности», — заявила компания. «Это означает более точное измерение развития ИИ, публичное освещение этих разработок и предоставление обществу возможности самостоятельно решать, как использовать эту информацию».
Описанные выше три показателя могут помочь ускорить реализацию плана генерального директора Anthropic Дарио Амодея, который уже получил поддержку многих своих коллег по индустрии искусственного интеллекта, включая генерального директора OpenAI Group PBC Сэма Альтмана, генерального директора SpaceX Corp. Илона Маска, председателя Google DeepMind Демиса Хассабиса и многих других.
Призыв Амодея к замедлению темпов развития технологии прозвучал после ряда резких предупреждений от других исследователей ИИ о растущем потенциале этой технологии представлять опасность для человека. Ранее в этом месяце один из ведущих исследователей безопасности искусственного итнтеллекта в компании Anthropic, Эван Хубингер, предупредил , что технология развивается настолько быстро, что, по его оценкам, существует более чем 10% вероятность того, что она «может убить всех людей» в течение следующих 10 лет. Хотя Хубингер подчеркнул, что риск, связанный с существующими моделями ИИ, все ещё очень низок, он выразил обеспокоенность по поводу потенциала технологии развиваться и совершенствоваться до такой степени, что люди больше не смогут ее контролировать, и тогда она будет представлять экзистенциальную угрозу для человечества.
В своем плане, изложенном в субботу, Амодей заявил, что хочет ограничить стремительные темпы разработки передовых моделей, «не жертвуя при этом коммерческими преимуществами лидерства Соединенных Штатов в области искусственного интеллекта».
По поводу рвого показателя, Anthropic заявила, что разработала специальный индекс, который измеряет степень вовлеченности модели Claude в процессы исследований и разработок, и обнаружила, что ни в одном из этих направлений работы модель «не работает полностью автономно». Чтобы измерить второй показатель, компания создала систему, которая способна контролировать агентов искусственного интеллекта и вмешиваться в действия, которые они предпринимают в рамках ее внутренних систем. Это позволило определить, что в настоящее время в вычислительных средах компании работает около 30’000 автономных агентов, большинство из которых задействованы в научно-исследовательских работах. Что касается третьего показателя, Anthropic сообщила, что начала регулярно анализировать распределение своих вычислительных ресурсов. Первый анализ, проведённый в период с 13 по 20 июля, показал, что около 6% от общей вычислительной мощности было выделено на обеспечение безопасности искусственного интеллекта. Ещё 12% было направлено на «НИОКР, основанные на ИИ», с упором на безопасность.
Компания заявила, что эти три объединённых показателя могут обеспечить большую прозрачность в разработке новых перспективных моделей и помогут в оценке возможностей этих новых моделей. Показатели служат отправной точкой для сторонних экспертов, пытающихся оценить, насколько быстро на самом деле развивается искусственный интеллект и на что он действительно способен.
«Публикуя эти показатели мы надеемся продемонстрировать эту прозрачность, и мы будем продолжать это делать», — заявили в Anthropic.
