Amazon разрабатывает новую мультимодальную языковую модель
Новый алгоритм известен внутри компании как Olympus. В ноябре прошлого года агентство Reuters сообщило, что Amazon тратит миллионы долларов на обучение большой языковой модели (LLM) под названием Olympus с 2 триллионами параметров. Неясно, является ли алгоритм, описанный в отчете The Information, той же большой языковой моделью, новой версией оригинальной Olympus или совершенно другой системой.
Предполагается, что новая модель сможет обрабатывать не только текст, но также изображения и видео. Согласно отчету, Olympus позволит осуществлять поиск определенных клипов в видеорепозиториях с использованием подсказок на естественном языке. Сообщается, что в число вариантов использования LLM также входит помощь энергетическим компаниям в анализе геологических данных.
Amazon может представить Olympus уже на следующей неделе во время мероприятия AWS re:Invent. План компании заключается в том, чтобы предлагать новую языковую модель через Amazon Web Services или через AWS Bedrock — управляемый сервис, который предоставляет доступ к размещенным в облаке «пограничным моделям». Пограничная модель относится к модели ИИ, которая по сути настолько велика и мощна, что находится буквально на границе ИИ.
Сервис уже предлагает более полудюжины моделей, разработанных Amazon. Самая продвинутая LLM в серии, Amazon Titan Text Premier, поддерживает подсказки с количеством токенов до 32’000. Она может генерировать текст и программный код, а также выполнять цепочку рассуждений — процесс, в котором искусственный интеллект для упрощения анализа разбивает сложную задачу на более мелкие шаги.
Bedrock также включает три разработанные Amazon модели для генерации вложений, представляющие собой математические структуры, в которых приложения машинного обучения хранят информацию. Одна из моделей может генерировать вложения с мультимодальными данными, что потенциально может облегчить клиентам использование мультимодальных функций Olympus.
Помимо моделей Amazon, сервис Bedrock также предоставляет доступ к LLM других компаний. Одной из таких компаний является Anthropic, которая привлекла от гиганта онлайн-ритейла 8 млрд долларов финансирования. Последний транш в размере 4 млрд долларов был объявлен на прошлой неделе.
По данным The Information, новая модель Olympus может стать для Amazon возможностью снизить зависимость от Anthropic. Как известно, другие технологические гиганты также работают над внедрением собственных систем искусственного интеллекта.
Стратегия Amazon в области искусственного интеллекта охватывает не только программы, но и аппаратное обеспечение. Компания разработала две линейки чипов, AWS Trainium и AWS Inferentia, оптимизированные для рабочих нагрузок обучения и вывода соответственно. На прошлой неделе Anthropic подробно рассказала, что будет сотрудничать с облачным гигантом для улучшения предыдущей серии процессоров.
