Как сообщает OpenAI, компания разработала бенчмарк BioBasicsBench вместе с Ligo — биотехнологической компанией, занимающейся дизайном ферментов. Бенчмарк измеряет, насколько ИИ-агенты справляются с рутинным анализом в «мокрых» лабораториях, то есть там, где эксперименты проводят с биологическими образцами.
Бенчмарк включает 100 задач из пяти областей: методы работы с белками, визуализация и цитометрия, количественные анализы, методы работы с нуклеиновыми кислотами и молекулярное клонирование. Агенты работают с сырыми данными — снимками гелей, фотографиями чашек с колониями, микроскопией и показаниями приборов — и должны находить ошибки и понимать, когда данных недостаточно для вывода.
Задачи составили учёные на основе данных собственных экспериментов. Каждая задача прошла внутреннюю проверку специалистом Ligo, не участвовавшим в её создании, внешнюю проверку учёного уровня PhD, работающего в лаборатории, и финальную внутреннюю проверку.
OpenAI протестировала семь моделей — GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna и GPT-6 Astra — в 37 конфигурациях модели и глубины рассуждений, по пять попыток на каждую задачу, всего 18 500 результатов. На максимальной настройке рассуждений xhigh GPT-6 Astra набрала в среднем 66,7% доступных баллов против 43,8% у GPT-5.6 Sol. В компании связывают рост с более сильными мультимодальными способностями новых моделей.
При этом в OpenAI подчёркивают, что более высокие баллы пока не означают надёжных суждений в реальной лаборатории. В приведённых примерах GPT-6 Astra позволяла привычному предположению перевесить данные контрольных образцов, игнорировала наблюдения, противоречащие её интерпретации, и завысила подсчёт колоний примерно на 12% относительно эталонного ответа бенчмарка.
