Anthropic предложила способ проверить, какая нейросеть отвечает на запрос
Когда пользователь выбирает модель через сторонний сервис, запрос может пройти через посредника, который распределяет обращения между разными нейросетями. В интерфейсе при этом по-прежнему может отображаться название выбранной модели. По одному лишь тексту трудно установить, какой системе принадлежит ответ, особенно если обе модели справились с задачей. Проверка с помощью FlashProve даёт сервису способ подтвердить происхождение ответа математически.
«Клиенты, которые обращаются к модели через сторонний сервис маршрутизации, хотят быть уверены, что ответ сгенерировала именно та модель, за которую они заплатили», — пишут авторы исследования Anthropic.
Для проверки поставщик модели заранее публикует криптографический «отпечаток» конкретного набора весов. Веса — числовые параметры, которые определяют работу нейросети. По отпечатку нельзя восстановить веса, но с ним можно сверить доказательство, сформированное сервером для конкретного запроса. На стороне пользователя достаточно запустить программу проверки, а загружать саму модель и повторять её вычисления на собственном оборудовании не требуется.
FlashProve использует доказательства с "нулевым разглашением". Они позволяют подтвердить, что заявленная модель выполнила проверяемые вычисления, сохранив в тайне её параметры и внутренние операции. Поставщик может использовать один и тот же заранее опубликованный отпечаток при обработке множества запросов.
«В частности, доказательство скрывает и веса модели, и промежуточные этапы вычислений, даже при повторных запросах к модели с тем же зафиксированным набором весов», — говорится в техническом отчёте FlashProve.
Авторы исследования испытали прототип на модели Llama 4 Maverick с 400 млрд параметров. При обработке одного токена она задействует около 17 млрд параметров. Создание доказательств выполнялось на сервере с одним ускорителем NVIDIA H100 и центральным процессором. Проверка одного доказательства занимала около 21 секунды в одном потоке CPU или 17 секунд в 24 потоках. В опубликованном замере каждое доказательство относилось к одному проверяемому токену — фрагменту текста — в контексте длиной 1 024 токена. Создание доказательств потребовало примерно в 70–95 раз больше времени графического процессора, чем обработка сопоставимых запросов через библиотеку vLLM. Исследователи формировали доказательства после генерации, обрабатывая запросы партиями. Для сервиса, который выдаёт текст в реальном времени, это означает, что результат проверки может поступить уже после ответа.
В разработке открытого прототипа библиотеки FlashProve участвовала и сама модель Claude. По данным Anthropic, модель предложила способы ускорить создание доказательств. Свойства протокола исследователи описали в Lean — системе, в которой математические доказательства можно проверить программно. Вместе с этим они выпустили более быстрый инструмент проверки на языке программирования C++.
Один из сценариев, который рассматривает компания Anthropic, — независимый аудит. Команда, проверяющая искусственный интеллект на уязвимости или оценивающая его поведение перед выпуском, могла бы подтвердить, что тесты проходила та же версия модели, которая затем обслуживает пользователей. Для такой проверки обеим сторонам понадобится согласованный отпечаток именно этой версии.
