OpenAI и Anthropic выпускают новые языковые модели, оптимизированные для рассуждений
Новые алгоритмы компании OpenAI, gpt-oss-120b и gpt-oss-20b, уже доступны по лицензии с открытым исходным кодом. Компания Anthropic, со своей стороны, выпустила обновлённую версию своей собственной большой языковой модели Claude Opus 4. Обновление улучшает возможности модели по написанию кода, которые, по заявлению компании, уже превзошли конкурентов.
По данным OpenAI, алгоритмы gpt-oss-120b и gpt-oss-20b превосходят открытые модели сопоставимого размера при решении различных задач логического вывода. Первый алгоритм использует 117 миллиардов параметров, а второй — 21 миллиард. Оба алгоритма могут выполнять код, взаимодействовать с внешними системами, такими как базы данных, и оптимизировать время, затрачиваемое на задачу, в зависимости от её сложности.
Для работы gpt-oss-20b требуется одна видеокарта с 16 гигабайтами памяти. Это означает, что модель достаточно компактна для работы на некоторых потребительских устройствах.
«Модель идеально подходит для использования на устройстве, локального вывода или быстрой итерации без дорогостоящей инфраструктуры», — написали исследователи OpenAI в блоге.
Другая новая модель OpenAI, gpt-oss-120b, жертвует аппаратной эффективностью ради повышения качества вывода. Она может работать на одной видеокарте с 80 гигабайтами памяти. Алгоритм обеспечивает производительность, сравнимую с o4-mini - одной из новейших и самых продвинутых моделей рассуждений OpenAI.
И gpt-oss-120b, и gpt-oss-20b основаны на архитектуре «смешанного эксперта». Модель «смешанного эксперта» включает в себя несколько нейронных сетей, каждая из которых оптимизирована для узкого набора задач. При получении подсказки модель активирует только ту нейронную сеть, которая лучше всего подходит для генерации ответа.
Новые модели OpenAI используют две функции оптимизации производительности:
- групповое внимание к нескольким запросам: технология сокращает объем памяти, используемой алгоритмами для обработки запросов пользователя;
- ротационно-позиционное встраивание: повышает эффективность языковых моделей при обработке длинных входных данных.
Обе модели поддерживают контекстное окно в 128 000 токенов.
Компания OpenAI разработала модели gpt-oss-120b и gpt-oss-20b в ходе многоэтапного процесса. Сначала они были обучены на наборе данных, состоявшем в основном из англоязычных текстов по научной и технологической тематике. Затем OpenAI провела ещё два цикла обучения, используя контролируемую тонкую настройку и обучение с подкреплением.
Контролируемая тонкая настройка выполняется с использованием обучающих наборов данных, содержащих аннотации, поясняющие их содержание. Обучение с подкреплением, в свою очередь, не использует аннотации. Последний метод может быть более экономичным, поскольку сокращает время, которое разработчики тратят на организацию наборов данных.
Конкурент OpenAI компания Anthropic представила собственную новую большую языковую модель под названием Claude 4.1 Opus. Это обновлённая версия флагманской модели рассуждений Claude 4 Opus. После выпуска в мае Anthropic назвала эту версию «лучшей в мире моделью программирования».
Модель Claude Opus 4 набрала 72,5% на «SWE-bench Verified» - тесте для оценки навыков программирования у больших языковых моделей. Новая модель Claude Opus 4.1 достигла показателя в 74,5%. Кроме того, Anthropic улучшила исследовательские и аналитические возможности модели.
Модель Claude Opus 4.1 уже доступна в платных версиях ИИ-помощника Claude AI, а также через его интерфейс прикладного программирования, Amazon Bedrock и сервис Vertex AI от Google Cloud. Данное обновление — первое в серии запланированных улучшений линейки языковых моделей от Anthropic. В ближайшие недели компания планирует выпустить остальные обновления, которые она называет «значительно более масштабными».
