Google просит подрядчиков оценивать запросы Gemini за пределами их компетенции
Генеративный ИИ может показаться магией, но за разработкой этих систем стоят армии сотрудников таких компаний, как Google, OpenAI и других, известных как «инженеры оперативной связи» и аналитики, которые оценивают точность выводов чат-ботов, чтобы улучшить их искусственный интеллект.
Однако новые внутренние правила, переданные компанией Google своим подрядчикам, работающим над Gemini, вызвали опасения, что Gemini может быть более склонен предоставлять обычным людям неточную информацию по крайне деликатным темам, таким как здравоохранение.
Чтобы улучшить Gemini, подрядчиков, работающих с GlobalLogic (аутсорсинговой фирмой, принадлежащей Hitachi), регулярно просят оценивать ответы, генерируемые искусственным интеллектом, по такому фактору, как «правдивость».
До недавнего времени подрядчики могли «пропускать» определенные запросы и, таким образом, отказываться от оценки различных ответов, написанных с помощью искусственного интеллекта, если запрос выходил за рамки их компетенции в какой-то предметной области. Например, подрядчик мог пропустить запрос, в котором затрагивалась узкоспециализированная тема о кардиологии, потому что у подрядчика не было в этом плане научной подготовки.
Однако на прошлой неделе GlobalLogic сообщила, что компания Google объявила об изменении правил, согласно которому подрядчикам больше не разрешается пропускать такие запросы, независимо от их собственной квалификации.
Ранее в рекомендациях Google говорилось: «Если у вас нет критически важных знаний (например, в области программирования, математики и т.п.) для оценки этого задания, пожалуйста, пропустите этот запрос».
Но теперь компания рекомендует: «Не следует пропускать запросы, требующие специальных знаний в предметной области. Оцените те части запроса, которые вы понимаете, и включите примечание о том, что у вас нет знаний в предметной области».
Это привело к возникновению прямых опасений относительно точности ответов Gemini по определенным темам, поскольку подрядчикам иногда поручают оценивать ответы искусственного интеллекта по таким вопросам, как редкие заболевания, в которых у этих людей нет опыта.
«Я думал, что смысл пропуска — в повышении точности ИИ, путем передачи вопроса кому-то кто знает лучше, разве нет?» — заметил один подрядчик.
Согласно новым правилам, подрядчики теперь могут пропускать запросы только в двух случаях: если в них «полностью отсутствует информация», например, в полном запросе или ответе, или если они содержат вредоносный контент, для оценки которого требуются специальные формы согласия.
