Raft и ИТМО запустили лабораторию по развитию безопасности в сфере ИИ и LLM-моделей

Компания Raft, лидер в области интеграции генеративного искусственного интеллекта совместно с AI Talent Hub университета ИТМО и Napoleon IT создала LLM Security Lab. Новая лаборатория станет ключевым центром исследований в области безопасности и этики генеративного ИИ, а также применении больших языковых моделей (LLM) в бизнесе. Цель лаборатории — поддержка научных и прикладных исследований студентов, подготовка специалистов в области работы с LLM-моделями и ИИ-решениями, а также развитие новых технологий и подходов в этой стремительно развивающейся сфере.

По прогнозам аналитиков Gartner, к 2025 году 80% всех процессов разработки продуктов будут использовать генеративный искусственный интеллект. В этой связи обеспечение безопасности LLM-приложений становится критически важной задачей. Половина компаний, уже внедривших генеративный ИИ, сталкиваются с серьезными проблемами безопасности, что подтверждает актуальность создания LLM Security Lab.

LLM Security Lab направлена на развитие экспертизы в новой и перспективной области — безопасности LLM-приложений. Лаборатория создана на базе AI Talent Hub — магистратуры по машинному обучению, разработанной Университетом ИТМО и Napoleon IT. Raft инвестирует в этот проект для глубокого изучения и решения вопросов безопасности ИИ.

Ключевые направления исследований лаборатории включают:

1. Мониторинг и анализ контента: разработка инструментов для отслеживания атак и анализа токсичности сообщений, которая позволяет компаниям защищать свою репутацию и улучшать взаимодействие с пользователями.
2. Имитация кибератак и защита персональных данных: изучение новых типов атак, разработка решений для предотвращения утечек конфиденциальной информации и обеспечения безопасности ИИ-продуктов.

Кроме того, в рамках лаборатории будут разработаны образовательные программы для LLM-направления в AI Talent Hub. Они нацелены на подготовку специалистов в различных аспектах работы с большими языковыми моделями. В частности, обучение будет включать:

1. Подготовку исследователей, которые будут разрабатывать и внедрять open-source решения, способствующие прогрессу в области ИИ.
2. Обучение ML-инженеров, способных интегрировать новые технологии в бизнес-процессы, включая вывод LLM в продакшн и их оптимизацию.
3. Подготовку разработчиков ИИ-продуктов, которые смогут создавать и внедрять инновационные решения на основе LLM и генеративного ИИ в различных отраслях.

Одним из ключевых курсов в рамках LLM-направления станет «Безопасность LLM». Его программа охватывает актуальные вопросы безопасности и этики в сфере ИИ, включая уязвимости моделей и методы их защиты. Курс сочетает теоретическую подготовку и практические упражнения, что позволяет студентам готовиться к решению реальных бизнес-задач в области безопасности ИИ.

Студенты курса уже протестировали выравнивание открытых и частных моделей, а также провели успешные испытания LLM-чат-бота для крупной ритейл-компании из бьюти-сферы.

«За последний год мы наблюдаем массовую адаптацию и повышенный интерес к технологиям генеративного ИИ со стороны бизнеса. Важным аспектом этой адаптации является защита информации и коммерческой тайны компании. Мы видим, как активно развиваются методы атак на большие языковые модели и сложные ИТ-системы, которые интегрируют их в бизнес-процессы. В нашей лаборатории студенты будут работать над прикладными задачами, проводить аудит LLM приложений и разрабатывать специализированные решения, направленные на повышение безопасности», — прокомментировал руководитель ИИ-продуктов Raft Евгений Кокуйкин.

«Площадка AI Talent Hub задумывалась, как место встречи технологичных компаний, университета и талантов, в рамках которой рождаются новые знания, новые технологии, инновации. Мы приветствуем нового партнера для работы над развитием применения генеративных сетей в корпоративном бизнесе», — прокомментировал коммерческий директор Napoleon IT Константин Прайс.