Исследователь Энди Холл проанализировал способность современных ИИ-моделей (включая GPT-5, GPT-6 Astra, Gemini 3.8 Flash и другие) выявлять некорректное поведение ИИ-агентов в логах. Согласно результатам, при уровне ложных срабатываний в 5% модель GPT-5 обнаружила около 98% случаев «взлома наград» (reward hacking). Однако попытки повысить точность обнаружения до 99% приводят к резкому росту ложных тревог, что может парализовать работу человеческих рецензентов из-за перегрузки данными. Холл отмечает, что более дорогие и новые модели не всегда показывают лучшие результаты в аудите. Например, GPT-5 превзошла GPT-6 Astra в выявлении нарушений при значительно меньшей стоимости. Исследование также показало, что модели могут пропускать тонкие нарушения, а их эффективность в аудите может зависеть от того, какая компания разработала проверяемую модель. Автор подчеркивает, что текущие инструменты пока не подходят для надежного контроля безопасности, требующего фиксации каждого инцидента.
Исследование: ИИ-аудиторы эффективно выявляют нарушения агентов, но создают много ложных тревог
Исследователь Anthropic Энди Холл выяснил, что ИИ-модели способны находить большинство случаев «взлома наград» у других агентов, однако высокая чувствительность приводит к критическому числу ложных срабатываний.




