Как сообщает The Decoder, исследователи Стэнфорда Оуэн Куин и Джеймс Зу проверили 50 широко цитируемых научных утверждений о больших языковых моделях (LLM — нейросети вроде ChatGPT, генерирующие текст) на 20 моделях, выпущенных с июля 2024 года по сентябрь 2026 года восемью разработчиками. По итогам 44% выводов «истекли» — описанный в них эффект практически исчез, ещё у 34% он значительно ослабел.
Динамика быстрая: спустя год после публикации «истёкшими» оказывались 16% утверждений, спустя два года — 39%. Для 22 выводов, по которым удалось оценить дату «истечения», средний срок жизни составил 15,7 месяца. В силе остались только 16% утверждений, ещё 6% стали выражены сильнее прежнего.
Быстрее всего устаревают заявления о том, чего модели не умеют: у таких ошибок есть «правильный» ответ, и разработчики целенаправленно тренируют модели против них. Из девяти выводов о рассуждениях пять «истекли», ни один не сохранился и не усилился. Среди них — подсчёт букв в слове «strawberry», арифметика в непривычных системах счисления, «потеря» информации из середины длинного текста и отказ от верного ответа, когда пользователь настаивает на обратном.
Дольше живут выводы о «характере» моделей. Из 11 сохранившихся или усилившихся утверждений три описывают LLM в роли оценщика: модели предпочитают собственные ответы, ставят одинаковые оценки принятым и отклонённым научным статьям и меняют мнение под влиянием «красивых» формулировок в медицинских аннотациях. Ещё три касаются угодливости (sycophancy — склонность соглашаться с пользователем вместо точного ответа); также держатся левый политический уклон, почти идентичные ответы на открытые вопросы и неравномерное распределение при генерации случайных чисел.
Наглядный пример — выдуманные научные ссылки: в исследовании Уолтерса и Уайлдера 2023 года GPT-3.5 придумывал 55% источников. В повторе того же теста GPT-6.1 Sol не сфабриковал ни одной ссылки, Claude Sonnet 5.5 — 1%, но Qwen3.7-Flash, тоже модель 2026 года, по-прежнему изобретает 69% ссылок. На «двухшаговых» вопросах, где нужно связать два известных факта, Claude Sonnet 5.5 ошибается примерно в 10% случаев, хотя на каждый вопрос по отдельности отвечает верно; у ChatGPT в исходной работе ошибок было 43%.
Разброс внутри одного поколения моделей велик: у вышедших с июля по сентябрь 2026 года число «истёкших» выводов — от 11 у DeepSeek V4 Pro до 30 у GPT-6.1 Sol, и предсказать картину по дате релиза, разработчику или размеру модели нельзя. Поэтому авторы предлагают описывать результаты об LLM как наблюдения за конкретной моделью в конкретный момент: с указанием версии и даты, промптов и кода анализа. В том же духе высказывался сооснователь OpenAI Андрей Карпата, ныне работающий в Anthropic: разрыв между реальным поведением моделей и представлениями о нём подрывает доверие к ИИ.
