Как сообщает The Decoder, исследователи представили подход Weight-Space Programming («программирование в пространстве весов»): языковая модель GPT-6 Astra работает с нейросетями как механик с ручками регулировки — вместо дорогостоящего переобучения она читает и меняет отдельные веса. Веса — это числовые параметры, в которых нейросеть хранит выученные знания и навыки. В экспериментах Astra работала либо напрямую со списками чисел, либо использовала инструменты программирования и обратную связь от тестовых прогонов.
В нескольких тестах Astra получала «сырые» веса обученных сетей и определяла, чему те научились: только по числам она правильно назвала, в какую из четырёх компьютерных игр играет сеть, распознала базовые формы на выходе генератора изображений (правда, путала залитые фигуры с контурными) и угадала язык обучения небольших языковых моделей — без доступа к обучающим данным и без запуска этих моделей. Ещё в одном тесте требовалось отличить, какая из двух дообученных моделей натренирована всегда соглашаться с пользователем: по одним весам это не получалось. Но когда Astra разрешили наблюдать, на что модели обращают внимание при обработке текста, она верно нашла «заискивающую» модель во всех трёх парах.
Дальше Astra сама писала веса с нуля: для трёх простых компьютерных игр она создавала модели без какого-либо обучения, опираясь только на правила и исходный код. По данным исследователей, такие модели обошли конкурентов, обученных стандартным методом, на отрезке в 100 млн раундов: в Breakout модель Astra набирала в среднем 517 очков против 25, хотя в двух других играх уступила версиям с самым долгим обучением. Для го на доске 9×9 Astra написала сеть примерно из 1,5 млн параметров и за 50 итераций (в каждой сеть играла до 128 тренировочных партий, после чего Astra корректировала веса) обыграла сопоставимую по размеру модель, обученную примерно на 20 млн партий.
Самый практичный эксперимент касался языковой модели Qwen3.5-0.8B: в среде программирования и за 50 итераций с тренировочными задачами Astra должна была улучшить её математические навыки, а результат проверялся на задачах, которых Astra не видела. Модель нашла известную по документации Qwen проблему — «циклы размышлений», когда сеть бесконечно повторяет один и тот же текст вместо ответа, — и изменила лишь 0,016% всех весов. Точность на бенчмарке математических задач MATH-500 выросла с 7,9% до 48,1%, следование инструкциям — с 21% до 62%; при этом треть ответов по-прежнему упиралась в лимит длины текста против 93% до правки.
На маленькой Gemma 3 270M, редко попадавшей в такие циклы, измеримых улучшений добиться не удалось. По предположению исследователей, Astra сняла в Qwen «блокировку», подавлявшую уже имеющиеся способности, — а вот навыки, которых у модели фундаментально нет, перезаписью отдельных весов добавить не вышло.
Пионер ИИ Юрген Шмидхубер назвал в соцсети X подход давно известным и сослался на свои работы 1990-х; один из исследователей, Хаттаб, ответил, что авторы цитируют эти «сильно опередившие время» статьи, а нового здесь то, насколько хорошо современные языковые модели переводят между человеческим языком и числами сети. Команда видит потенциал в аудитах безопасности прямо по весам моделей и точечных изменениях поведения без дорогого переобучения, хотя признаёт, что возможности пока ограничены, и следующим шагом планирует бенчмарк для систематической оценки. Логи экспериментов выложены на GitHub, а изменённая модель Qwen — на Hugging Face.
