OpenAI представляет LifeVal — новый тест практической полезности искусственного интеллекта
Главной особенностью нового теста LifeVal является оценка не только качества ответа, но и способности искусственного интеллекта выполнить конкретное действие.
«Чтобы стать по-настоящему полезным персональным помощником, ChatGPT должен уметь выполнять действия, которые действительно помогают довести дело до конца», — объясняют разработчики OpenAI в публикации, посвящённой LifeVal.
Для формирования тестового набора компания изучила, на какие занятия люди тратят своё время и в каких областях им особенно нужна помощь. Исследователи использовали данные ежегодного исследования American Time Use Survey, которое измеряет количество времени, которое жители США ежедневно тратят на различные виды деятельности, и международного проекта Multinational Time Use Study, содержащего базы данных социологических опросов о бюджете времени, объединяющий данные более чем из 30 стран за последние 60 лет. Дополнительно OpenAI провела демографически репрезентативный опрос 3'995 человек, выясняя, какие обязанности они хотели бы поручить интеллектуальному помощнику. В результате были выделены семь основных направлений:
- забота о близких,
- здоровье,
- образование,
- бытовые административные вопросы,
- личные финансы,
- покупки,
- государственные услуги.
«Для того чтобы искусственный интеллект приносил пользу всему человечеству, он должен помогать людям с повседневными делами, которые для них реально важны», — подчеркнули исследователи OpenAI.
Разработчики привели несколько примеров заданий.
- Так, например, в одном из них искусственному интеллекту необходимо было подобрать детский сад после переезда семьи на новое место жительства. Модель должна была изучить доступные учреждения, сравнить условия и требования к зачислению, а затем подготовить список наиболее подходящих вариантов. В опубликованной демонстрации система выбрала три детских сада, систематизировала информацию о поступлении и выделила два вопроса, требующих решения пользователя. Результат выполнения этого задания получил оценку 93,1%.
- Другой сценарий был связан с подготовкой к возможному наводнению. Искусственному интеллекту поручили организовать работу добровольцев, которые должны помочь четырём соседям защитить дома от возможного затопления. Модель подготовила план действий с распределением задач и рекомендациями по обследованию объектов. Оценка выполнения составила 98%.
- В задаче поиска недвижимости искусственному интеллекту необходимо было подобрать жильё в заданной локации. Пользователь указал ограничения по бюджету, необходимость отдельного жилого помещения и допустимую продолжительность поездок после того, как ребёнка отвезут в школу. Модель нашла подходящий вариант, рассчитала налог на передачу недвижимости и подготовила информацию для дальнейшей проверки пользователем. В демонстрации OpenAI этому результату была присвоена оценка 100%.
- Ещё один пример показывает, как ИИ может помочь родственникам совместно смотреть спортивную трансляцию на расстоянии. Задача заключалась в подборе удобного способа просмотра матча вместе с бабушкой и подготовке резервного варианта на случай технических проблем. Результат получил 96,3%.
- В сценарии, связанном со здоровьем, система составляла план питания и ухода для человека, которому недавно диагностировали диабет. Искусственный интеллект подготовил меню на первую неделю, напоминания и перечень вопросов для медицинских специалистов. Оценка составила 90,4%.
Тест LifeVal также позволяет сравнивать прогресс разных поколений больших языковых моделей OpenAI. Согласно опубликованным результатам, средний показатель модели GPT-5.2, представленной в декабре 2025 года, составлял 49,3%. Представленная в марте 2026 года модель GPT-5.4 достигла 73%, следующая GPT-5.5 — 77,4%, а модель GPT-5.6 — 80%. Наиболее высокий результат в опубликованном сравнении показала модель GPT-6 Astra — 80,6%. Здесь используется показатель Average Reward — средняя оценка результатов выполнения заданий без взвешивания отдельных задач. Он отражает качество работы модели по методике LifeVal, а не просто долю завершенных заданий.
В OpenAI сообщают, что на протяжении последнего года специалисты компании использовали тест LifeVal не только для оценки своих моделей, но и для их совершенствования. Компания намерена развивать ChatGPT как персонального ИИ-агента, способного помогать с повседневными обязанностями посредством работы с приложениями, сайтами и документами.
