Cohere выпускает недорогую модель ИИ, требующую всего два графических процессора
Стартап сообщил, что новая модель превосходит ведущие языковые модели, такие GPT-4o и DeepSeek-V3, и может работать на двух графических процессорах Nvidia A100 или H100, в то время как конкурирующие модели требуют до 32 процессоров.
Эта разница может иметь большое значение, поскольку заказчикам, которым требуется внутреннее развертывание искусственного интеллекта, например, в сфере финансов или здравоохранения, часто приходится размещать языковые модели внутри своих брандмауэров. Это означает, что им необходимо приобретать дорогостоящее оборудование для ускорителей искусственного интеллекта и иметь высокопроизводительные модели, которые могут работать в пределах периметра предприятия.
«При индивидуальной оценке персонала в рамках бизнес-задач, в задачах STEM (science, technology, engineering and mathematics) и в программировании языковая модель Command A не уступает или превосходит своих более крупных и медлительных конкурентов, предлагая при этом превосходную производительность и повышенную эффективность», — сказал представитель компании Cohere. «Модель Command A может доставлять токены со скоростью до 156 токенов/сек, что в 1,75 раза быстрее, чем GPT-4o, и в 2,4 раза быстрее, чем DeepSeek-V3».
Новая модель также имеет увеличенное контекстное окно на 256’000 токенов, что в два раза больше, чем в среднем по отрасли, включая модель Command R+ от Cohere. Это означает, что Command A может осуществлять одновременную обработку большого количества документов или принять книгу объемом до 600 страниц.
«Мы обучаем нашу модель только для того, чтобы вы лучше справлялись со своей работой», — сказал соучредитель Cohere Ник Фросс. «Это должно быть похоже на то, как если бы вы включили турбо-наддув для своего разума. Поэтому мы обучаем ее, чтобы расширить ваши возможности. Так что в этом она должна чувствовать себя особенно хорошо».
Компания заявила, что сосредоточилась на развитии возможностей модели, которые смогут обеспечить масштабируемую работу агентов искусственного интеллекта. В последнее время заметным трендом в отрасли стал агентный ИИ, направленный на создание систем, которые могут анализировать данные, принимать решения и выполнять задачи с минимальным участием или вообще без участия человека. На практике это требует огромных объемов вычислений, а для эффективного и точного выполнения этих задач требуются хорошо обученные модели искусственного интеллекта.
Компания Cohere заявила, что языковая модель Command A будет напрямую интегрироваться с ее защищенной платформой агентов ИИ под названием «North», которая позволяет корпоративным клиентам использовать весь потенциал данных своей компании. Платформа разработана для того, чтобы позволить агентам ИИ использовать управление взаимоотношениями с клиентами, программное обеспечение для планирования ресурсов и другие инструменты для автоматизации задач.
