Платформа Artificial Analysis представила обновленную версию своего Intelligence Index, что привело к заметным перестановкам в рейтинге ИИ-моделей. В частности, модель Kimi K3.1 Pro опустилась с четвертого на девятое место, уступив позицию восьми закрытым моделям. Согласно новым данным, разрыв между открытыми моделями и лидерами рейтинга увеличился с 3 до 12 пунктов. Ключевым изменением стало использование закрытых тестовых наборов для 60% оценки, что призвано предотвратить «бенчмаркинг» — практику обучения моделей на известных тестовых вопросах. Исследователь Нейтан Ламберт отмечает, что текущие успехи в обучении часто достигаются за счет обучения с подкреплением в средах, имитирующих задачи бенчмарков, что требует сложной инфраструктуры, доступной не всем лабораториям. Использование закрытых тестов также выявило наличие ошибок в формулировках вопросов, которые потребовали корректировки со стороны разработчиков индекса.