Разработчики представили набор данных Expert-validated STEM QA, предназначенный для оценки способностей ИИ в физике, химии, биологии и математике. Авторы проекта отмечают, что существующие бенчмарки часто страдают от «насыщения» (когда модели решают задачи слишком легко), ошибок в ответах и нереалистичных форматов вопросов. Новый датасет включает 398 верифицированных вопросов, подготовленных 241 профильным экспертом, что позволяет более точно оценить реальный уровень знаний моделей в научных дисциплинах. В ходе тестирования выяснилось, что передовые ИИ-модели показывают низкие результаты на этом наборе данных, набирая менее 25% правильных ответов. Исследователи также провели эксперимент по дообучению открытой модели на закрытой части датасета (2000 примеров), что привело к росту производительности на 15% на STEM-задачах из других проверочных наборов. Часть данных уже опубликована в открытом доступе для нужд научного сообщества, что может помочь в создании более надежных и точных моделей для научной деятельности.