Red Hat приобретает стартап по оптимизации искусственного интеллекта Neural Magic
По мере того, как большие языковые модели искусственного интеллекта растут в размерах и сложности, они также потребляют больше вычислительной мощности и энергии. В следствие этого, у предприятий появилась необходимость создавать более экономичные и эффективные языковые модели, которые используют преимущества локального оборудования.
Компания Neural Magic была основана в 2018 году научным сотрудником Массачусетского технологического института Алексом Матвеевым и профессором Ниром Шавитом. Технология компании позволяет оптимизировать большие языковые модели для работы со стандартными центральными и графическими процессорами на скоростях, близких к тем, которые достигаются на специализированных чипах искусственного интеллекта.
«Рабочие нагрузки ИИ должны выполняться везде, где хранятся данные клиентов в гибридном облаке», — сказал Мэтт Хикс, президент и главный исполнительный директор Red Hat. «Организациям необходимы гибкие, стандартизированные и открытые платформы и инструменты, поскольку они позволяют выбирать среды, ресурсы и архитектуры, которые наилучшим образом соответствуют уникальным операционным и информационным потребностям предприятий».
Компания Neural Magic внесла значительный вклад в проект с открытым исходным кодом для развертывания моделей под названием vLLM, который привлёк внимание специалистов Red Hat. vLLM предоставляет собой быструю и эффективную библиотеку для обслуживания и развертывания моделей искусственного интеллекта, оптимизированных для облака. Библиотека vLLM поддерживает многочисленные архитектуры центральных и графических процессоров. Компания также разработала специализированный компрессор языковых моделей, который обеспечивает более быстрый вывод данных с помощью vLLM, что позволяет быстрее создавать модели искусственного интеллекта.
Стартап также ведет репозиторий предварительно созданных, оптимизированных языковых моделей искусственного интеллекта с открытым исходным кодом, готовых к развертыванию с помощью vLLM. Благодаря этому предприятия могут быстро внедрять высокопроизводительные модели ИИ в больших масштабах.
Компания Red Hat заявила, что лидерство Neural Magic в области vLLM поможет ей расширить возможности поддержки развертываний больших языковых моделей для гибридного облака с любым аппаратным обеспечением.
«Открытый исходный код, благодаря сотрудничеству сообщества, раз за разом доказывал свою способность стимулировать инновации», — сказал генеральный директор Neural Magic Брайан Стивенс. «В Neural Magic мы собрали лучших специалистов отрасли в области разработки ИИ с единственной целью — создать открытые, кроссплатформенные и сверхэффективные возможности обслуживания больших языковых моделей».
