Microsoft представила передовую модель MAI-Base-2 с 2 триллионами параметров
MAI-Base-2 — это не полноценная большая языковая модель (LLM), а скорее базовая модель, своего рода упрощенный прототип. Разработчики превращают базовые модели в большие языковые модели, подвергая их нескольким дополнительным этапам обучения. Это дополнительное обучение обычно направлено на добавление функций логического мышления и механизмов безопасности.
Самой функциональной базовой моделью с открытым исходным кодом на рынке сегодня является DeepSeek-V4-Pro-Base. Microsoft утверждает, что её модель MAI-Base-2 превзошла V4-Pro-Base по результатам ряда внутренних тестов, включавших задачи по естественным наукам, программированию и математике. Кроме того, по некоторым показателям MAI-Base-2 в 12 раз эффективнее с точки зрения энергопотребления.
MAI-Base-2 использует архитектуру «смесь экспертов», или MoE (mixture of experts), то есть для обработки запросов задействуется только часть искусственных нейронов. Это более эффективно, чем активация всей нейронной сети. Модель MAI-Base-2 имеет 2 триллиона параметров и при получении запроса активирует 80 миллиардов из них. Искусственные нейроны языковой модели организованы в кластеры, называемые слоями. В базовой модели Microsoft предыдущего поколения слои MoE смешивались с модулями, основанными на менее эффективной архитектуре, называемой FFN (Feed-Forward Network). Модель MAI-Base-2 полностью состоит из слоев MoE, что является одним из факторов, влияющих на ее производительность.
Компания Microsoft обучала модель в течение 38 дней, используя 16’000 чипов Nvidia GB200. Набор данных для обучения, использованный в проекте, состоял из 50 триллионов токенов. Примерно пятая часть токенов была использована для обучения модуля компьютерного зрения, интегрированного в MAI-Base-2. Благодаря этому модулю MAI-Base-2 лучше, чем предшественница, справляется с такими задачами, как анализ научных графиков.
Разработчики обучают большие языковые модели, наблюдая за тем, как они выполняют задачи, и предоставляя им обратную связь о том, как их можно улучшить. Эта алгоритмически генерируемая обратная связь представляет собой математический объект, называемый градиентом. Градиент проходит через все слои обучаемой модели и корректирует каждый из них для повышения качества выходных данных. Градиенты меняются каждый раз, когда проходят через слой большой языковой модели. При определенных обстоятельствах эти изменения приводят к ошибкам, которые могут нарушить процесс обучения. Чтобы эта проблема не повлияла на MAI-Base-2, компания Microsoft применила метод отсечения градиентов. Для ускорения процесса обучения также использовался оптимизатор нейронных сетей Muon, представляющий собой популярный инструмент с открытым исходным кодом для работы с искусственным интеллектом.
Microsoft предоставит «доверенным партнерам» доступ к весам модели MAI-Base-2 через свою облачную платформу Azure. Кроме того, компания будет использовать эту модель для создания новой серии больших языковых моделей. В ближайшее время Microsoft планирует предоставить дополнительную информацию об этих моделях.
