Как сообщает OpenAI, компания построила LifeVal — бенчмарк, то есть набор стандартных задач для отслеживания прогресса моделей. Он охватывает сферы, где пользователи чаще всего ждут помощи от ИИ: поиск ухода за детьми, доступ к госуслугам, составление бюджета, подготовку к школе, заказ продуктов, планирование тренировок. ChatGPT еженедельно используют более миллиарда человек.
Чтобы определить самые ценные задачи, OpenAI взяла за основу два масштабных исследования того, как люди проводят время, — American Time Use Survey и Multinational Time Use Study — и дополнила их собственным репрезентативным опросом 3 995 человек. В итоговый набор вошли задачи из областей ухода за близкими, здоровья, образования, домашних дел, личных финансов, покупок и доступа к госуслугам.
Приведённые примеры показывают результаты текущих моделей: подбор детского сада после переезда — 93,1%, организация волонтёров при подготовке к наводнению — 98%, поиск дома под бюджет с короткой дорогой на работу — 100%, настройка совместного просмотра матча с бабушкой из другого города — 96,3%, план питания и ухода при новом диагнозе диабета — 90,4%.
За прошедший год OpenAI обучала модели быстрее и увереннее работать с браузером, компьютером и внешними сервисами через коннекторы — интеграции с другими приложениями. По словам компании, это расширяет круг доступных задач и переводит ChatGPT из чат-инструмента в агентного персонального помощника.
OpenAI подчёркивает: чтобы ИИ приносил пользу, прогресс нужно измерять не только академическими тестами знаний, но и способностью моделей помогать людям в реальных делах. LifeVal, по мнению компании, — шаг в этом направлении.
