Авторы работы представили SafeWebWorld, оценивающий способность моделей сохранять информацию, необходимую для классификации действий на разрешенные, требующие уточнения или блокируемые. Исследование 10 моделей показало, что правдоподобность прогнозов не гарантирует корректность решений по безопасности, а дообучение может ухудшить показатели авторизации.
Представлен бенчмарк SafeWebWorld для оценки безопасности веб-моделей
Исследователи выпустили SafeWebWorld — бенчмарк для проверки того, насколько точно модели предсказывают последствия действий для принятия решений о безопасности.



