OpenAI формирует команду для изучения «катастрофических» рисков ИИ
Группу под названием «Готовность» возглавит Александр Мадри, директор Центра развертываемого машинного обучения Массачусетского технологического института. Главными обязанностями группы «Готовность» будут отслеживание, прогнозирование и защита от опасностей будущих систем искусственного интеллекта, начиная от их способности убеждать и обманывать людей (как в случае фишинговых атак) и заканчивая их возможностями генерирования вредоносного кода.
Некоторые из категорий риска, изучение которых возложено на новую команду, кажутся более.надуманными, чем другие. Например, в своем блоге OpenAI перечисляет «химические, биологические, радиологические и ядерные» угрозы в качестве областей, вызывающих наибольшую озабоченность, когда речь заходит о моделях искусственного интеллекта.
Генеральный директор OpenAI Сэм Альтман является известным предсказателем конца света в области искусственного интеллекта и часто высказывает опасения, что искусственный интеллект «может привести к вымиранию человечества». Но сообщение о том, что OpenAI действительно может выделить ресурсы на изучение сценариев прямо из научно-фантастических романов-антиутопий, - это, честно говоря, шаг дальше, чем ожидал сам автор.
Компания сообщает, что также открыта для изучения «менее очевидных» и более обоснованных областей риска ИИ. В связи с запуском команды «Готовность», OpenAI собирает у сообщества идеи для исследования рисков, предлагая для десяти лучших генераторов идей приз в размере 25 000 долларов и работу в компании.
«Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (система автоматического распознавания речи), Voice (система преобразования текста в речь), GPT-4V и DALLE·3, а вы являетесь злоумышленником», — гласит один из вопросов в конкурсной заявке. «Рассмотрим наиболее уникальное и потенциально катастрофическое неправильное использование модели».
OpenAI сообщает, что команде «Готовность» также будет поручено сформулировать «политику разработки с учетом рисков», в которой будет подробно описан подход OpenAI к созданию инструментов оценки и мониторинга модели ИИ, действия компании по снижению рисков и ее структура управления для контроля процесса разработки моделей.
«Мы считаем, что... будущие модели искусственного интеллекта, которые превзойдут возможности самых продвинутых современных моделей, потенциально могут принести пользу всему человечеству», - пишет OpenAI в вышеупомянутом блоге. «Но они также создают все более серьезные риски... Нам нужно убедиться, что у нас есть понимание и инфраструктура, необходимые для обеспечения безопасности высокопроизводительных систем искусственного интеллекта».
