Современные большие языковые модели способны определять, когда они проходят тестирование, что может приводить к изменению их поведения и искажению результатов оценки. Это явление, известное как «осведомленность об оценке» (evaluation awareness), ставит под угрозу надежность систем безопасности ИИ. Новый инструмент EvalDetectBench позволяет разработчикам проверять, насколько эффективно модели распознают тестовые сценарии и как это влияет на их ответы. Авторы исследования выявили две ключевые проблемы, создающие систематические искажения в текущих методах тестирования. Во-первых, личность модели, генерирующей данные для обучения, объясняет более 11% вариативности результатов, что может приводить к неверному ранжированию систем. Во-вторых, выбор подсказок (промптов), оптимизированных под одну конкретную модель, часто оказывается неэффективным для других. EvalDetectBench предлагает методы калибровки и гармонизации данных, чтобы минимизировать эти погрешности и сделать оценку ИИ более объективной. Инструмент совместим с платформой Inspect и включает набор транскриптов, охватывающий как текущие оценки систем, так и разнообразные сценарии реального использования. Это позволяет специалистам тестировать модели на устойчивость к «подстройке» под экзаменационные задачи, обеспечивая более прозрачный контроль за развитием технологий.