Новая торговая площадка Amazon Bedrock предлагает более чем 100 моделей ИИ
Компания Amazon объявила о запуске торговой площадки Amazon Bedrock Marketplace. Она будет служить основным порталом для разработчиков, желающих получить доступ к более чем 100 самым мощным большим языковым моделям (LLM).
Amazon Bedrock, полностью управляемый сервис для создания и масштабирования приложений генеративного ИИ, уже предоставляет доступ к некоторым самым известным LLM. С запуском нового маркетплейса клиенты смогут найти недавно анонсированные модели Amazon Nova, которые представляют собой новое поколение базовых моделей. Согласно AWS, модели Nova предназначены для поддержки широкого спектра приложений ИИ с лидирующим в отрасли соотношением цены и производительности.
Однако это не единственные эксклюзивные предложения: пользователи Amazon Bedrock также получат первоочередное право на новые модели от Luma AI Inc., Poolside Inc. и Stability AI.
В целом, клиенты смогут получить через Amazon Bedrock Marketplace доступ к более чем 100 популярным, развивающимся и специализированным моделям. После того, как пользователи выберут нужную им модель, Amazon Bedrock также предложит наиболее подходящую настройку инфраструктуры для обучения этих моделей и запуска вывода, одновременно предоставляя клиентам простые шаги для запуска моделей.
Помимо большего количества моделей пользователи Amazon Bedrock также получают доступ к новым технологиям, таким как кэширование запросов и интеллектуальная маршрутизация запросов, что должно помочь разработчикам найти правильный баланс между точностью, стоимостью и задержкой.
Новая функция «кэширование запросов» позволяет клиентам сократить задержку ответа и затраты на инфраструктуру за счет сокращения повторной обработки. По данным компании, Bedrock делает это путем безопасного кэширования наиболее распространенных запросов пользователей, сокращая затраты на 90%, а задержку – на 85%.
Например, приложение генеративного ИИ, разработанное для ответов на юридические вопросы, сможет гораздо быстрее отвечать на самые распространенные запросы пользователей. При этом данные, на которые оно ссылается для ответа на эти запросы, будут кэшироваться в его памяти, поэтому обработка будет происходить только один раз, а при повторных запросах будет использован кэш. Это значительно снижает затраты на обработку.
Помимо этого, AWS расширяет функции Amazon Bedrock Knowledge Bases, которые предоставляют клиентам возможность подключать свои модели к собственным базам данных для повышения их точности с помощью генерации дополненных поиском данных (RAG).
Knowledge Bases добавляет поддержку структурированного извлечения данных, что позволяет моделям ИИ запрашивать данные, хранящиеся в традиционных базах данных Structured Query Language. Это должно значительно расширить их знания, поскольку большинство генеративных приложений ИИ обычно используют только неструктурированные данные, такие как текст, изображения, аудио, видео и т. д.
Еще одной новой возможностью Knowledge Bases является поддержка GraphRAG, которая позволяет создавать нечто вроде «графов знаний» способных отображать взаимосвязи между хранящимися в разных местах фрагментами данных, упрощая их извлечение.
Также новая функция Amazon Bedrock Data Automation позволяет Bedrock быстро извлекать неструктурированную информацию из документов, таких как файлы PDF, и преобразовывать ее в формат, понятный аналитическим инструментам.
