Команда разработчиков Сбера анонсировала выход MERA Text 2.0 — обновленной версии бенчмарка для оценки фундаментальных языковых моделей. Первая версия инструмента, запущенная в 2023 году, была ориентирована на проверку базовых навыков: логики, понимания текста и предметных знаний. Однако за три года прогресс в области ИИ привел к тому, что современные SOTA-модели стали демонстрировать результаты на уровне или выше человеческих, что сделало старые тесты менее информативными для дифференциации систем. В версии 2.0 разработчики отказались от простого расширения набора данных в пользу пересмотра методологии оценки. Основной акцент смещен на группы навыков, которые остаются сложными для текущих моделей. Цель обновления — не просто зафиксировать наличие базовых способностей, а определить реальные границы возможностей современных ИИ-систем, где разница между лидерами рынка становится все менее заметной. Новая версия призвана решить проблему «насыщения» бенчмарка, когда большинство моделей показывают схожие высокие результаты, не позволяя объективно оценить их прогресс.