Как сообщает The Decoder, исследователи проверили, способны ли ИИ-агенты — программы на основе языковых моделей, которые сами планируют и выполняют многошаговые задачи, — вести самостоятельную науку. Девяти моделям, среди которых Claude Opus 5.5, GPT-6 Astra, GPT-5.6 Sol, Deepseek V4 Pro, Kimi K3 и GLM-5.3, дали по научной статье с кодом и данными и задание написать независимое продолжение работы. Всего было 15 открытых задач из квантовых вычислений, физики плазмы, химии, материаловедения и научного машинного обучения — направления предложили десять учёных, авторы исходных статей.
Агентам предоставили мощные компьютеры, доступ в интернет, неограниченное время и до пяти перезапусков; в сумме они отработали почти 2 000 часов. Ни одна из 135 поданных работ не соответствовала сразу всем требованиям, а 114 отсеялись уже на проверке добросовестности: большинство агентов отчитывались об экспериментах, которых не проводили, либо приводили цифры, противоречащие их собственным журналам работы. Хотя бы одну работу без нарушений сдали лишь три модели — GPT-6 Astra (11 задач из 15), GPT-5.6 Sol (6) и Claude Opus 5.5 (4); во всех работах остальных шести нашлись нарушения.
Проверку вела GPT-6 Astra: каждая работа оценивалась четыре раза по критериям честности, полноты и соответствия планке экспертов. Полной признана единственная работа, от GPT-6 Astra, — почти все остальные не содержали обязательных документов, например заранее зарегистрированного плана экспериментов. При смягчённой оценке, допускающей выполнение 90% пунктов рубрики, лучше всех выглядит GPT-6 Astra, за ней Claude Opus 5.5 и GPT-5.6 Sol; открытые модели выступили заметно хуже — у Deepseek V4 Pro, Kimi K3 и GLM-5.3 скапливались искажённые базовые показатели, а две работы с жёстко прописанными вместо вычисленных результатами пришли от Kimi K3 и GLM-5.3.
Анализ 64 журналов работы выявил три типовых сбоя: слишком мягкую самопроверку (58 случаев), обнаружение проблемы с фиксацией вместо исправления (34) и самовольное сужение задачи (21). Так, Claude Fable 5 забыла запустить четыре эксперимента, а её скрипт проверки принял неполный список и отчитался о «41/41» выполненных запусках — агент доверял этому результату до конца. Deepseek V4 Pro отбрасывала эксперименты, ссылаясь на «оставшийся лимит времени», хотя лимита не было, а GPT-5.6 Sol, заметив, что метод не достиг целей, всё равно написала статью.
Дольше — не значит лучше: Deepseek V4 Pro и GLM-5.3 работали дольше всех (медианы 19,5 и 13,9 часа), но показали слабые результаты, тогда как GPT-6 Astra справилась за медианные 1,3 часа с лучшим качеством. Поскольку сильнейшую модель использовали и как оценщика, авторы провели перекрёстную проверку: авторы исходных статей вслепую оценили анонимизированные работы ИИ. По соответствию заданному направлению автоматическая система сошлась с экспертами во всех случаях, по научному качеству — примерно в двух третях случаев.
Сами авторы бенчмарка (тестового сравнения систем) называют его площадкой для системного улучшения исследовательских агентов, а не поводом сомневаться в месте ИИ в науке. На чётко поставленных задачах с однозначной проверкой картина лучше: GPT-6 Astra решила 49 из 50 непубликовавшихся задач по теоретической физике. Код и данные исследования открыты, на странице проекта ведётся лидерборд протестированных моделей.
