Как сообщает The Decoder, исследователи Google совместно с коллегами из Stanford, Oxford и нескольких американских университетов представили StreamVibe — видеоагента, который наблюдает за действиями человека, например за готовкой или сборкой мебели, и вмешивается, только когда нужна помощь. Система рассчитана и на расплывчатые запросы вроде «помоги, если возникнут трудности».
Существующие видеоассистенты, отмечают авторы, работают с чёткими командами вида «скажи, когда закипит вода»: они не распознают невысказанные намерения, повторяют уже данные советы, опаздывают с подсказками и не перестраиваются, когда пользователь меняет запрос по ходу задачи.
Для замера проблемы команда собрала бенчмарк из примерно 4 100 примеров на основе более 183 часов записей повседневных дел и работы с программами. Варианты, когда предложить помощь и что сказать, генерировала Gemini 2.5 Flash, а каждый пример должен был единогласно одобрить коллектив из четырёх оценщиков. Затем исследователи обучили StreamVibe-VL — как сообщается, на базе открытой модели Qwen3.5-9B от Alibaba: она каждую секунду решает, промолчать или заговорить.
Второй этап обучения с подкреплением делает модель сдержаннее, чтобы она не прерывала пользователя лишний раз, а отдельная система памяти отслеживает, какие запросы ещё в силе и какие шаги уже выполнены. По данным исследователей, StreamVibe-VL улучшает своевременность и качество ответов на 10,7% по сравнению с другими моделями, а память добавляет ещё 12,3% к проактивности; проприетарная Gemini 3.8 Flash от Google при этом в нескольких тестах набирает больше.
Главный вывод работы: когда модель обрабатывает длинное видео и должна опираться на собственные предыдущие реплики, результаты всех протестированных систем резко падают — ключевая метрика содержания ответов снижается на величину до 61,5%. На видео длиннее пяти минут модели редко выбирают удачный момент для подсказки и особенно плохо отслеживают изменённую инструкцию.
Google и раньше развивала активный анализ видео: в сентябре компания добавила в Gemini агентный анализ, где модель сама решает, какие сцены изучить детальнее, а Gemini 4 Argon показала отслеживание длинных последовательностей действий в роликах с роботами. Авторы StreamVibe признают, что реальные сценарии, вероятно, сложнее тестовых, и планируют изучать, как со временем взаимодействуют предпочтения пользователя и окружение.
