Как сообщает ACL Anthology, статья «MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment» вошла в сборник Findings конференции EMNLP 2026, прошедшей в октябре в Будапеште. По данным Telegram-канала Data Secrets, работу подготовили исследователи Яндекса. EMNLP — одна из двух ведущих конференций по компьютерной лингвистике: в этом году организаторы получили 17 669 заявок против примерно 8 тысяч годом ранее.
MTGBench — бенчмарк, то есть стандартизированный набор тестов, из семи многоходовых игр на английском и русском: Wordle, «Цепочка слов», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Алиас». По оценке авторов, существующие бенчмарки статичны, рассчитаны на один ход, англоцентричны и зависят от субъективных оценок LLM-судей. Задания в MTGBench генерируются отдельно для каждого языка, а не переводятся.
Игры проверяют дедукцию, работу со значением слов, латеральное мышление, последовательность рассуждений и поиск знаний. Оценка ходов устроена объективно: в четырёх играх результат сверяет алгоритм, в трёх остальных — LLM-судья, то есть языковая модель с жёстко ограниченной ролью арбитра, чью точность проверили на разметке живых аннотаторов. В тестировании участвовали 16 передовых моделей и человеческий бейзлайн из 476 игровых сессий.
Главные выводы авторов: рейтинг моделей сильно зависит от конкретной игры, а пошаговое рассуждение (chain-of-thought) практически необходимо в играх с угадыванием букв, но неравномерно помогает в заданиях на знания. Сильнейшие модели с режимом рассуждений во всём наборе игр сравнялись с русскоязычным человеческим бейзлайном или превзошли его, решая задачи за меньшее число ходов. Код и данные авторы выложили в открытом репозитории MTGBench на GitHub.
По данным Data Secrets, вторая статья исследователей Яндекса на EMNLP посвящена оценке машинного перевода. На 600 англо-русских переводах с тремя независимыми экспертными разметками они создали семейство LLM-оценщиков ORBIT: лучшая конфигурация находила ошибки с согласованностью уровня профессиональных экспертов при стоимости примерно в 28 раз ниже. Подход дополнительно проверили на пяти языковых направлениях по протоколам MQM и ESA.
