Как сообщает The Decoder, лауреат премии Тьюринга Ричард Саттон, автор эссе 2019 года The Bitter Lesson, в новой публикации заявил, что одних только вычислительных мощностей для создания интеллекта недостаточно. По его словам, науке об ИИ нужны новые оригинальные методы, и она «далека от завершения».
В эссе The Bitter Lesson («Горький урок») Саттон доказывал, что универсальные методы, полезность которых растёт вместе с объёмом вычислений, со временем обыгрывают сложные системы, спроектированные человеком. Теперь он критикует простое масштабирование больших языковых моделей (LLM) — нейросетей, обученных на больших объёмах текстов.
Ранее исследователь называл синтетические данные — сгенерированные моделями тексты для их же обучения — «большой ошибкой», потому что реальный мир бесконечно сложен. Вместо этого Саттон призывает развивать агентов с моделями мира, которые непрерывно учатся на собственном опыте: современные LLM после завершения тренировки не продолжают учиться.
Исследователь Джерри Творек, ранее работавший в OpenAI, а сейчас возглавляющий лабораторию Core Automation, пишет, что «горький урок» по-прежнему верен, но чем больше вычислений вкладывается в обучение, тем важнее становится алгоритм. Временный успех масштабирования трансформеров — базовой архитектуры современных LLM — в сочетании с неверным прочтением эссе, по его словам, исказил мышление целого поколения учёных.
Его коллега Джейден Тео добавляет, что «горький урок» часто тормозил академические исследования: перспективные идеи отклоняли за отступление от духа эссе, хотя именно они нередко двигали прогресс. По его словам, «идея не обязана выдерживать масштабирование вечно, чтобы быть важным вкладом в прогресс ИИ». The Decoder в свежем выпуске отчёта Frontier Radar #5 насчитал 45 новых ИИ-лабораторий, делающих ставку на эти пробелы, включая Oak Lab самого Саттона.
Лидеры индустрии видят ситуацию иначе. Гендиректор OpenAI Сэм Альтман считает масштабирование LLM далёким от исчерпания и в доказательство приводит модель компании, опровергшую математическую гипотезу, над которой математики долго бились. Гендиректор Anthropic Дарио Амодеи сравнивает прогресс от масштабирования с «радугой без конца»; издание отмечает, что обе компании строят всю техническую стратегию на этой ставке.
