Google модернизирует чат-бота Bard с помощью передовой языковой модели PaLM
Главный исполнительный директор Google и Alphabet Inc. Сундар Пичаи рассказал об обновлении в интервью изданию New York Times.
«PaLM предоставит больше возможностей - будь то размышления, программирование или ответы на математические вопросы», - сказал Пичаи.
Джек Кравчик, менеджер по продуктам Bard в Google, добавил в твиттере, что обновление уже выпущено.
Новая версия Bard описывается как более приспособленная к решению математических задач. По словам Кравчика, чат-бот может более надежно отвечать на «многошаговые» текстовые подсказки. В будущем Google надеется на улучшения способности Bard генерировать программный код.
PaLM, языковая модель, которую поисковый гигант использовал для улучшения Bard, была впервые подробно описана в прошлом году. Модель имеет 540 миллиардов параметров и настроек конфигурации, которые определяют, как нейронная сеть обрабатывает данные. Чем больше параметров, тем с большим количеством задач может справиться нейронная сеть.
Модель PaLM продемонстрировала впечатляющую производительность в серии внутренних оценок, проведенных Google. Во время одного теста, в котором участвовало 28 задач обработки естественного языка, Bard получил более высокий балл, чем модель GPT-3 от OpenAI LP. Он также установил новые рекорды в двух тестах по математике и программированию.
Google обучал PaLM на двух модулях TPU v4, размещенных в общедоступном облаке. Каждый модуль TPU v4 включает 4096 чипов, специально оптимизированных для выполнения рабочих нагрузок искусственного интеллекта (ИИ). В совокупности эти чипы могут обеспечить производительность до 1,1 эксафлопса, что соответствует 1,1 миллиона триллионов вычислений в секунду.
Во время разработки PaLM, Google управляла процессом обучения ИИ с помощью разработанной внутри компании программной системы Pathways. Чтобы ускорить рабочий процесс, система распределяет вычисления, необходимые для обучения модели искусственного интеллекта, между нескольким чипами. При работе с PaLM система Pathways использовала 57,8% вычислительной производительности базовых чипов, что, по словам Google, установило новый отраслевой рекорд.
Оригинальная версия Bard, которую Google представила в прошлом месяце, была основана на искусственном интеллекте под названием LaMDA. Google впервые подробно описал LaMDA в январе прошлого года, или за три месяца до появления PaLM. Прежняя модель на момент своего появления поддерживала до 137 миллиардов параметров, в то время как PaLM поддерживает 540 миллиардов.
«У нас явно есть более производительные модели», - сказал Пичаи в отношении LaMDA. «Для меня было важно не выпускать более мощную модель, прежде чем мы полностью не убедимся в том, что хорошо с ней справимся».
