Google Lens теперь может отвечать на вопросы о видео
Англоговорящие пользователи Android и iOS, у которых установлено приложение Google, теперь могут начать снимать видео с помощью Lens и тут же задавать вопросы об интересующих их объектах на видео. Для понимания видео и соответствующих вопросов пользователя функция использует «настроенную» модель искусственного интеллекта Gemini от Google.
«Допустим, вы хотите узнать больше о какой-то интересной рыбе», — сказал на пресс-конференции Лу Ванг, директор по управлению продуктами Lens в Google. «Lens создаст обзор, который объяснит, почему эти рыбы плавают по кругу, а также предоставит дополнительные ресурсы и полезную информацию».
Чтобы получить доступ к новой функции анализа видео в Lens, необходимо зарегистрироваться в программе Google Search Labs, а также воспользоваться экспериментальными функциями «AI Overviews and more» в Labs. В приложении Google удержание кнопки затвора смартфона активирует режим видеосъемки Lens.
Во время записи видео можно задать Lens вопрос, и система предоставит ссылку на ответ, созданный AI Overviews - функцией поиска Google, которая использует искусственный интеллект для обработки и обобщения информации со всего Интернета. Lens использует ИИ для определения того, какие кадры в видео наиболее «интересны» и значимы — и, прежде всего, соответствуют заданному вопросу. На основе этих кадров Lens дает обоснованный ответ, полученный из обзоров искусственного интеллекта.
Помимо анализа видео, Lens теперь может выполнять поиск по изображениям и тексту за один «проход». Англоговорящие пользователи, в том числе те, кто не зарегистрирован в Labs, могут запустить приложение Google и, удерживая кнопку спуска затвора, сделать снимок, а затем задать вопрос, произнеся его вслух.
Наконец, Lens получает новые функции, ориентированные на электронную коммерцию. Теперь, когда Lens на Android или iOS распознает продукт, на экране будет отображаться информация о нем, включая цену и предложения, бренд, отзывы покупателей и наличие в магазинах. Идентификатор товара работает для недавно загруженных и сделанных фотографий (но не для видео), и на данный момент он ограничен некоторыми странами и определенными категориями покупок, включая электронику, игрушки и косметику.
«Допустим, вы увидели рюкзак, и он вам понравился», - сказал Ван. «Вы можете использовать Lens для идентификации этого продукта, и мгновенно увидеть детали, которые могут вас заинтересовать».
Здесь также присутствует и рекламный компонент. На странице результатов для продуктов, найденных Lens, будут также показаны «релевантные» торговые объявления с вариантами и ценами. Для чего это сделано? По данным Google, примерно 4 миллиарда поисковых запросов Lens в месяц связаны с покупками. Для технологического гиганта, основой жизни которого является реклама, это слишком выгодная возможность, чтобы от нее отказаться.
