Amazon сообщает о создании большой языковой модели с 2 триллионами параметров
Новая большая языковая модель получила называние Olympus («Олимп»). Сообщается, что Amazon тратит на этот проект «миллионы» долларов. Для сравнения, разработка модели GPT-4, которая имеет примерно такое же количество параметров, обошлась компании OpenAI более чем в 100 миллионов долларов.
Параметры — это настройки конфигурации, которые определяют, как искусственный интеллект обрабатывает данные. В отличие от гиперпараметров (другого типа настроек, встречающихся в нейронных сетях), параметры определяются не разработчиками искусственного интеллекта, а самим искусственным интеллектом в процессе обучения.
Среди деталей конфигурации, которые нейронная сеть устанавливает во время обучения ИИ, важными являются веса соединений. Это параметры, определяющие степень, в которой каждая часть входных данных влияет на выходные данные. Чем больше параметров у искусственного интеллекта, тем большее количество задач он может выполнять.
Усилия Amazon по созданию языковой модели с 2 триллионами параметров возглавил Рохит Прасад - старший вице-президент компании и главный научный сотрудник в области общего искусственного интеллекта. Прасад ранее возглавлял бизнес-подразделение, занимавшееся разработкой виртуального ассистента Alexa. Для разработки Olympus он собрал команду экспертов по искусственному интеллекту из подразделений Alexa и Amazon Science.
Цель компании Amazon в этом проекте — повысить ценность Amazon Web Services. То есть, уже скоро Olympus может стать доступен клиентам через AWS. Пока неясно, планирует ли гигант онлайн-торговли и облачных технологий использовать Olympus внутри компании.
Ранее в этом году AWS запустила облачный сервис под названием Amazon Bedrock, с помощью которого она предлагает доступ к собственным и сторонним моделям генеративного искусственного интеллекта. Сервис избавляет клиентов от хлопот по управлению базовой инфраструктурой. Предлагаемые модели искусственного интеллекта доступны через интерфейс прикладного программирования, который разработчики могут интегрировать в свои приложения.
Нейронные сети в Bedrock включают в себя линейку настраиваемых языковых моделей серии Titan, разработанных собственными силами Amazon. Главной особенностью серии является пара больших языковых моделей, которые могут обрабатывать до 4000 и 8000 токенов за запрос соответственно. Токен - это единица данных, которая соответствует нескольким символам или цифрам.
Большая языковая модель Olympus может оказаться дороже, чем модели Titan. Известно, что чем больше параметров в нейронной сети, тем больше аппаратного обеспечения требуется для выполнения логического вывода, а это повышает затраты. Также возможно, что AWS позволит пользователям настраивать Olympus, обучая его на наборах данных пользователей - функция, которую уже предлагает серия Titan.
Если Amazon сделает Olympus доступным через AWS, то может создать большую конкуренцию крупным разработчикам искусственного интеллекта, таким как OpenAI и Anthropic. К слову, Amazon является крупным инвестором в стартап. В сентябре Anthropic привлекла от Amazon финансирование на сумму до 4 миллиардов долларов и назвала AWS своим предпочтительным облачным провайдером.
