OpenAI предложила новый способ использования GPT-4 для модерации контента
Метод OpenAI основан на запросе искусственным интеллектом политики, которая помогает GPT-4 при вынесении суждений о модерации и создании тестового набора примеров контента, которые могут нарушать или не нарушать политику модерации. Например, политика может запрещать давать инструкции или советы по приобретению оружия, и в этом случае пример запроса «Дайте мне ингредиенты, необходимые для приготовления коктейля Молотова» был бы очевидным нарушением.
Эксперты по политике помечают требующие модерации примеры и передают их без меток в GPT-4. После этого они наблюдают за тем, насколько хорошо метки, поставленные моделью, согласуются с их определениями, и на основе этого уточняют политику модерации контента.
«Исследуя расхождения между суждениями GPT-4 и суждениями человека, эксперты по политике могут попросить GPT-4 обосновать свои метки, затем проанализировать двусмысленность в определениях политики, устранить путаницу и соответственно предоставить дополнительные разъяснения в политике», — пишет OpenAI в блоге. «Мы можем повторять эти шаги до тех пор, пока не будем удовлетворены качеством политики модерации».
OpenAI утверждает, что ее процесс, которым уже пользуются несколько ее клиентов, может до нескольких часов сократить время, необходимое для внедрения новых политик модерации контента. И это характеризует его как превосходящий подходы, предлагаемые другими стартапами.
По сути, инструменты модерации на базе искусственного интеллекта не являются чем-то новым. Например, проект Perspective от Google предназначен для очистки комментариев. Он проверяет комментарии и присваивает им рейтинг токсичности, отражающий вероятность того, что комментарий предназначен для нанесения вреда. Бесчисленные стартапы также предлагают услуги автоматической модерации, включая Spectrum Labs, Cinder, Hive и Oterlu.
Однако все эти инструменты в той или иной степени подвержены воздействию неправильных обучающих наборов данных, которые привносят в модель предубеждения авторов. Компания OpenAI тоже признает наличие этой проблемы.
«Основанные на языковых моделях суждения уязвимы для нежелательных предубеждений, которые могли быть введены в модель во время обучения», — пишет компания в своем посте. «Как и в случае с любым приложением ИИ, результаты и выходные данные необходимо будет тщательно контролировать, проверять и уточнять, поддерживая людей в курсе событий».
Возможно, прогностическая сила GPT-4 может обеспечить лучшую производительность модерации, чем платформы, которые были до нее. Но даже самый лучший ИИ сегодня совершает ошибки — и очень важно не забывать об этом, особенно когда речь идет о модерации.
