Исследователи выяснили, что транскрипты моделей содержат информацию о способностях даже после того, как бенчмарки достигают насыщения. Метод парного сравнения транскриптов позволил снизить ошибку прогнозирования возможностей моделей в 5,3 раза по сравнению с использованием только итоговых баллов.
Исследование: транскрипты моделей позволяют оценивать способности после насыщения бенчмарков
Авторы статьи на arXiv предложили использовать полные транскрипты выполнения задач для оценки ИИ, когда стандартные метрики бенчмарков перестают различать модели.
