OpenAI запускает просмотр экрана и видео в режиме реального времени для платных пользователей ChatGPT
Функции, которые по сути дают чат-боту ChatGPT глаза, были впервые анонсированы в мае этого года при запуске мультимодальной модели GPT-4o, и фанаты с нетерпением ждали их появления. Благодаря этим новым функциям ChatGPT может распознавать объекты с помощью камеры смартфона или веб-камеры ПК и реагировать на то, что находится на экране пользователя, а также на все, что открыто на его компьютере или на телефоне.
Во время демонстрации исследователи Open AI включили функцию совместного использования экрана, чтобы позволить чат-боту предоставлять обратную связь на проект графического дизайна в режиме реального времени. ChatGPT определил различные элементы на экране, такие как цвета, макеты и текст, и дал действенные рекомендации по улучшению дизайна.
Функция видео в реальном времени работает аналогичным образом. Когда пользователи предоставляют доступ к камере на своем устройстве, ChatGPT обрабатывает видеопотоки в режиме реального времени, чтобы идентифицировать и проанализировать объекты, движения и контекст. Затем эта информация используется для предоставления соответствующих сведений или инструкций, таких как идентификация части оборудования в технической настройке или пошаговые инструкции во время ремонта.
«Как раз к праздникам в мобильном приложении ChatGPT появилась возможность делиться видео и содержимым экрана в расширенном голосовом режиме», - написала компания OpenAI в своем блоге.
Кроме того, OpenAI представила функцию «Голос Санты», которая позволяет пользователям взаимодействовать с ChatGPT в праздничном тоне, дополненном ответами на праздничную тематику. Сезонное дополнение было разработано, чтобы сделать общение более увлекательным и веселым, особенно для детей. Во время демонстрации «Голос Санты» в ChatGPT рассказывал праздничные истории и отвечал на вопросы о рождественских традициях.
«С сегодняшнего дня Санта доступен для всех на всех платформах ChatGPT и будет доступен до конца месяца ... затем он отправится обратно на Северный полюс», - сообщила компания.
Несмотря на то, что функции выглядят великолепно, все, что использует видео в реальном времени или имеет прямой доступ к экрану, может вызвать проблемы с безопасностью. Чтобы устранить эти опасения, компания OpenAI отметила, что новые функции используют специальные ограждения для защиты пользовательских данных. Для видео в реальном времени и совместного использования экрана все данные, когда это возможно, обрабатываются локально, чтобы гарантировать, что конфиденциальная информация останется конфиденциальной. Кроме того, OpenAI добавила, что любые данные, переданные в облако, шифруются и не сохраняются после окончания сеанса.
Новые функции будут доступны для пользователей ChatGPT Plus и Enterprise, начиная с сегодняшнего дня, а более широкое внедрение запланировано на начало следующего года. Однако клиенты, пользующиеся бесплатными функциями, не получат доступ к видео в реальном времени и возможности совместного использования экрана, поскольку OpenAI хочет сосредоточиться на получении прибыли от своих премиум-предложений.
