Как сохранить контроль над искусственным интеллектом в корпоративных системах
Одного запрета в запросе недостаточно: модель может его не выполнить. Александр Бочкин, генеральный директор Инфомаксимум, рассказывает, как контролировать работу ИИ с корпоративными системами и данными.
1. Ограничивать доступные действия
Режимы работы бизнес-пользователя и разработчика должны различаться.Для аналитических задач и подготовки автоматизаций ИИ нужен ограниченный набор инструментов со встроенной проверкой параметров и результатов работы Доступ к изменению кода платформы требует отдельных полномочий. Эти ограничения нужно закладывать в продукт.
Право подготовить результат также следует отделять от права его опубликовать. Бизнес-пользователь может заказать исследование и получить аналитический дашборд. Опубликовать его сможет только сотрудник с соответствующим доступом.
2. Согласовывать задачу до разработки
Чтобы предложить подходящее решение, ИИ должен понимать, как устроена работа конкретной компании: какие действия выполняют сотрудники, в какой последовательности и в каких системах. Собрать эти сведения помогает процессная аналитика — анализ бизнес-процессов (Process Mining, процесс-майнинг) и отдельных операций (Task Mining, таск-майнинг). Она показывает, как работа выполняется на самом деле.
Дополнить эту картину помогают регламенты, корпоративные хранилища и документация. Регламенты задают требования, но могут отставать от реальной работы, поэтому опираться только на них нельзя. Если задача предполагает подключение к другой системе, модели нужны сведения о доступных интерфейсах и данных. Она должна использовать документацию, а не придумывать названия полей или способы подключения.
На основе собранных сведений формируется техническое задание. Человек, который его утверждает, должен понимать, что будет создано, какие данные понадобятся и как будет работать автоматизация. Проверить это нужно до начала разработки, пока ошибочное понимание задачи не превратилось в код.
3. Проверять результат каждого этапа
Нейросеть может сообщить, что все готово, хотя выполнила лишь часть задания. Поэтому одного сообщения о завершении работы недостаточно — результат нужно проверять. Проблему неточностей отмечают и разработчики: в опросе Devographics State of AI 2026 64% ответивших на соответствующий вопрос назвали галлюцинации и неточности одной из главных трудностей использования ИИ.
Работу следует разбивать на этапы с конкретными критериями приемки. Завершение каждого этапа нужно подтверждать: показывать изменения в коде, созданные файлы и результаты успешно пройденных тестов.
Отдельный механизм проверки должен устанавливать, выполнены ли требования. Только после этого система переходит к следующему пункту плана. Конкретные критерии нужны и в схеме, где один агент разрабатывает, а другой проверяет: само участие второго агента еще не подтверждает правильность результата.
4. Сохранять состояние при длительной работе
Если работа прервалась после части изменений, в следующей сессии системе понадобятся сведения о том, что уже сделано и что осталось. Для этого нужно сохранять промежуточные результаты и ход работы.
Проверять нужно и само сохранение: модель может не выполнить просьбу периодически фиксировать результат. Поэтому необходим отдельный механизм, который отслеживает сохранение состояния и напоминает системе сделать это вовремя.
5. Встраивать контроль в продукт
Ограничение действий, проверка прав, согласование задания, подтверждение результата и сохранение состояния должны быть частью корпоративного продукта с ИИ. Просьбы соблюдать правила недостаточно — нужны механизмы, которые проверяют, соблюдаются ли они.
Это позволяет компании контролировать, какие действия разрешены ИИ, что он изменил и соответствует ли результат утвержденному заданию.
