Искусственный интеллект нуждается в защите от внешних угроз и собственных галлюцинаций

Российская индустрия информационной безопасности в ближайшие годы способна дорасти до годового объема в 1 трлн рублей. Но произойдет это не за счет простого роста продаж, а благодаря качественным изменениям, которые касаются подходов к обеспечению кибербезопасности.

Об этом заявил вице-президент по продажам и маркетингу компании UserGate Михаил Пеньковский, выступая на сессии «Триллион к 2031: как меняется экономика кибербезопасности», прошедшей 5 июня в Санкт-Петербурге.

Драйвером роста рынка ИБ в России эксперт считает активную трансформацию в инфраструктурах предприятий, которая следует за развитием бизнеса. Пеньковский особо подчеркивает, что ИТ‑инфраструктуры постоянно увеличиваются и усложняются, пополняются новыми инструментами и системами, и каждое такое преобразование требует соответствующих изменений и в обеспечении кибербезопасности.

«Времена, когда заказчики приобретали “коробку” — не столь важно, ПО это или устройство, — прошли. Сегодня уровень развития киберзащиты предприятия определяется тем, какое количество его бизнес-сценариев обеспечено средствами защиты. А кроме того, непосредственное влияние на состояние киберзащиты оказывает ее соответствие текущему состоянию информационной инфраструктуры. Иными словами, набор сценариев защиты всегда следует за трансформацией инфраструктуры компании. Они должны соответствовать тем изменениям, которые происходят в бизнесе, — только при таком подходе система киберзащиты способна обеспечить его устойчивость», — считает Михаил Пеньковский.

Тот же самый подход, по мнению эксперта, должен быть использован и при внедрении технологий искусственного интеллекта. Их применение «как есть» только увеличивает количество рисков, которым подвергается компания, и создает хаос в ее ИТ‑архитектуре. Для того чтобы применение ИИ в бизнесе было действительно эффективным и безопасным, предприятию необходимо создать у себя доверенную архитектуру. В противном случае множество процессов, в которых задействован ИИ, станут новыми источниками риска. Более того, неконтролируемые ИИ‑системы и ИИ‑агенты могут и сами создать для предприятия весьма серьезные угрозы из-за ошибок, которые свойственны искусственному интеллекту. Обеспечить контроль за ИИ способна только такая архитектура, в которой каждый ИИ‑агент обеспечен и защитой от внешних угроз, и контролем за его действиями, необходимым для предотвращения возможных галлюцинаций.

Что касается использования ИИ‑технологий в системах киберзащиты, то предприятиям следует учитывать, что действительно эффективной она может быть только при участии человека, обладающего фундаментальной экспертизой и способного мгновенно определить возможные ошибки ИИ.