Как сообщает Data Secrets, исследовательница обнаружила, что в языковой модели Qwen3.5 4B достаточно изменить всего два нейрона, чтобы модель начала отвечать как «злой» персонаж. Её твит об этой находке собрал более 3 миллионов просмотров.
Техника называется steering — по сути «рулевое управление» поведением модели. Во время инференса, то есть генерации ответа, к активации нейрона L14 N8949 искусственно прибавляют единицу, а из активации нейрона L13 N7956, наоборот, вычитают. Один внутренний сигнал усиливается, другой ослабляется — и это работает как настройка «личности» модели.
После такого изменения Qwen отвечает в стиле карикатурного гадкого злодея и заметно «тупеет». В комментариях к твиту пользователи делятся примерами ответов «злого квена», а на Kaggle уже сделали на его основе интерактивную игрушку.
Автор находки утверждает, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
