Google научила Gemini самостоятельно управлять приложениями и файлами на Mac

Теперь агент искусственного интеллекта может не только отвечать на вопросы, но и самостоятельно выполнять многоэтапные действия в установленных программах, с локальными файлами и на сайтах: нажимать кнопки, заполнять формы, перемещаться по меню и переносить данные между приложениями. Пока запуск ограничен англоязычными пользователями в США и требует платной подписки.
От обычного чат-бота новая функция отличается способом работы. Вместо выдачи инструкции, которую человек должен повторить вручную, Gemini получает описание результата и взаимодействует с графическим интерфейсом программ. Например, агент может извлечь размеры товара и адреса из нескольких локальных PDF-документов и перенести их в форму расчёта доставки либо собрать показатели из аналитических панелей и подготовить презентацию.
Майкл Фридман, менеджер по продукту Gemini App в Google, объяснил принцип взаимодействия: «Просто опишите, что вам нужно, а Gemini выполнит щелчки, ввод текста, переходы по меню и заполнение форм. Пользователю не требуется прописывать координаты элементов или отдельные команды на каждый шаг».
Новый инструмент Computer Use работает в отдельном виртуальном окне, а его действия транслируются в чат в виде предварительного просмотра. В отличие от автоматизации, которая занимает основной экран и перехватывает действия мыши, такой подход позволяет владельцу Mac продолжать работу параллельно. Агент искусственного интеллекта выполняет операции в собственном рабочем пространстве, а пользователь может наблюдать за процессом, приостанавливать или полностью останавливать выполнение. Это особенно важно для длинных последовательностей, где ошибка на раннем этапе может повлиять на следующие действия.
В демонстрационных сценариях Google продемонстрировала несколько направлений использования. Для работы с изображениями можно поручить ИИ-агенту обработку папки фотографий в графическом редакторе. Для административных задач — собрать данные из документов и заполнить многочисленные поля формы. Для аналитики — открыть несколько панелей, перенести нужные показатели и иллюстрации в Google Slides. Отдельный пример связан с подготовкой объявлений о продаже вещей: агент анализирует фотографии, собирает сведения и подготавливает карточки на площадках.

Доступ к программам предоставляется отдельно. В настройках Computer Use можно запретить взаимодействие с определёнными приложениями или разрешить его для выбранных программ. При первом обращении к приложению Gemini запрашивает разрешение; для чувствительных операций предусмотрены дополнительные подтверждения. Система может создавать временные резервные копии изменяемых файлов, но Google предупреждает, что это удаётся не всегда, а некоторые действия невозможно отменить. Поэтому полностью доверять агенту операции с финансовыми, рабочими и личными данными не следует.
В справке Google прямо перечислены характерные риски агентной автоматизации. Система может получать доступ к открытым учётным записям и сеансам внутри настольных программ, видеть содержимое документов и совершать неожиданные действия. Особую опасность представляют попытки внедрить вредоносные инструкции в содержимое страницы или файла — так называемые prompt injection. В этом случае текст, который агент должен лишь прочитать, может повлиять на его поведение. Разрешение на работу с командным терминалом или редакторами кода потенциально расширяет последствия ошибки до изменения файлов и выполнения команд.
Новая функция доступна в приложении Gemini для Mac с macOS Sequoia 15.0 или новее на компьютерах с процессорами Apple Silicon. По данным анонса Google, запуск распространяется на совершеннолетних владельцев личных аккаунтов Google в США с подписками Google AI Plus, Pro и Ultra. Рабочие и учебные аккаунты пока не поддерживаются. Само приложение Gemini для macOS появилось раньше и доступно более широкому кругу пользователей, а ноябрьское обновление касается именно возможности самостоятельного управления программами. Компания Google пока не сообщила, когда новая функция станет доступна в других странах и на дополнительных языках.



