ScopeBench оценивает, насколько ИИ-агенты способны соблюдать ограничения при выполнении задач по кибербезопасности. Бенчмарк включает 30 сценариев, где цель достижима только при нарушении установленных границ. Исследование показало разрыв между техническими возможностями моделей и их способностью следовать инструкциям.
Представлен бенчмарк ScopeBench для оценки соблюдения границ в ИИ-агентах
Исследователи выпустили ScopeBench — набор из 30 задач для проверки способности ИИ-агентов придерживаться заданных рамок при выполнении тестов на проникновение.




