ИИ исправил другую нейросеть, изменив всего 0,016% её параметров
В эксперименте модель GPT‑6 Astra исправила склонность модели Qwen3.5‑0.8B к зацикливанию рассуждений. После вмешательства результат на математическом тесте MATH‑500 вырос с 7,9% до 48,1%. Авторы исследования назвали новый подход Weight-Space Programming — программированием в пространстве весов. Веса представляют собой числовые параметры, определяющие поведение нейросети. Обычно их корректирует алгоритм обучения. Исследователи предложили языковой модели самостоятельно разобраться в проблеме и внести изменения.
«Всё это возможно без разрешения Astra писать циклы обучения», — отметили исследователи лаборатории ИИ MIT.
Для эксперимента выбрали небольшую модель Qwen с 800 млн параметров. В официальной документации Qwen такой размер позиционируется прежде всего для прототипирования, специализированного дообучения и исследовательских задач. У модели есть режим пошаговых рассуждений: перед окончательным ответом она формирует промежуточные рассуждения. Именно этот режим использовали при проверке. В эксперименте модель Astra работала с весами через язык программирования Python. Ей разрешили проверять свои идеи на тренировочных задачах GSM8K и MATH, но запретили градиентное обучение. В опубликованном варианте бюджет составлял 50 прямых проходов модели. Причина сбоя рассуждений модели Qwen обнаружилась в двух слоях: определённое направление в выходных сигналах поддерживало повторение рассуждений. Модель Astra исправила это, изменив 131’072 параметра — около 0,016% модели.
В карточке исправленной версии Qwen приведены результаты сразу нескольких проверок. Помимо роста точности в тесте MATH‑500, точность в GSM8K увеличилась с 13,8% до 67,1%, а выполнение инструкций на IFEval — с 21% до 62,3%. Доля генераций, упиравшихся в лимит длины, сократилась с 93% до 33,1%. Модель значительно чаще доводила решение до ответа, вместо того чтобы расходовать весь доступный объём на повторения. Исправленную версию модели Qwen разместили на Hugging Face. Там же описан повторный запуск полного теста MATH‑500: 500 задач с четырьмя генерациями для каждой. Тест дал результат 51%, а лимита длины достигли 31,6% ответов. Проверку выполнил специалист Hugging Face Ахсен Халик. При восстановлении модели сверили контрольные суммы тензоров: изменения затронули только два из них.
Математический эксперимент входит в более широкую серию испытаний. В других заданиях модель Astra определяла по весам, для какой игры обучена небольшая сеть, распознавала назначение моделей и создавала игровые сети с нуля. На GitHub исследователи выложили запросы, ответы, программный код и результаты проверок. Отдельно описано, какие инструменты разрешались в каждом опыте: условия различались между заданиями.
В случае с моделью Qwen увеличение в точности ответов связано с устранением конкретного сбоя — повторяющихся рассуждений. Это делает результат особенно интересным для разработчиков компактных моделей: эксперимент показывает возможность исправлять нежелательное поведение точечной правкой параметров. Опубликованные веса, журналы и процедура воспроизведения позволяют проверить, какие изменения обеспечили эффект и сохраняется ли он при других настройках запуска. Для такой проверки важен не только итоговый балл, но и то, что опубликованная процедура позволяет сопоставить долю завершённых ответов с частотой зацикливания и расходом токенов.
