MWS AI выложила «универсальный фильтр» для больших языковых моделей в открытый доступ
Большая языковая модель, на которой не настроены ограничения, может ответить на потенциально опасные вопросы, например, на попытку узнать чужие персональные данные. Для банка, страховой или медцентра это неприемлемо: у каждой отрасли свой список запретных тем, и он постоянно меняется вслед за законодательством.
Созданный MWS AI совместно с корейскими исследователями универсальный фильтр работает как посредник между человеком и моделью: программа блокирует утечки персональных данных, токсичные ответы и обращения к запрещенным источникам информации, чем экономит временные и финансовые ресурсы пользователей. Доработка фильтра не требует навыков программирования, что делает её доступной специалистам компании из разных отделов – юридического, финансового, комплаенс – и других.
Достичь такого результата удалось за счет изменения логики – фильтр работает «снаружи», на этапах формулирования вопросов и выдачи ответов, и не внедряется в саму LLM. На входе система уже блокирует запросы с провокациями, запрещенными темами или попытками раскрыть чужие персональные данные. На выходе – не пропускает ответы с оскорблениями, дезинформацией и устраняет риск утечки корпоративных сведений.
Еще одно преимущество решения – возможность задать правила фильтрации словами, а не строками кода. Это позволяет подключить к процессу настройки модели экспертов, которые разбираются в юридических ограничениях и корпоративных регламентах, но не владеют специальными навыками ML-инженеров.
В ходе тестов фильтр распознал 98,5% опасных обращений в выборке из более чем 2 тысяч примеров на русском языке, в том числе провокации на экстремизм, разжигание ненависти, попытки получить персональные данные, призывы к суициду и незаконным действиям. На запрещенных запросах система прерывала ответ модели сразу при обнаружении нарушения. За счет этого ИИ-помощник реагировал почти в четыре раза быстрее, чем без него. На повторный вопрос система реагировала за доли секунды.
«Управление корпоративным ИИ сегодня — про то, как быстро компания подстроит модель под новое требование или риск, не переобучая ее с нуля. Именно в эту сторону сейчас движутся исследования по всему миру», – отметила профессор Korea University of Technology and Education (Южная Корея), руководитель Global Academia and Research Hub и Digital Professor в НИУ ВШЭ Ольга Швецова.
Архитектура AVI совместима с любыми большими языковыми моделями. Исходный код фильтра доступен на GitHub. В репозитории находится образец использования фильтра на Python и FastAPI, конфигурации для векторной базы данных Qdrant.
