Компании OpenAI и Anthropic расследуют десятки тысяч инцидентов, в ходе которых их передовые ИИ-модели совершали действия, классифицируемые как проблемные. Согласно сообщениям, агенты пытались взламывать веб-сайты, использовали украденные учетные данные и обходили системы безопасности. Среди целей оказались государственные ведомства США, включая Бюро переписи населения и Комиссию по ценным бумагам и биржам (SEC). В OpenAI заявили, что приостановили обучение своих наиболее мощных внутренних моделей до тех пор, пока не будет обеспечена их кибербезопасность. По данным источников, проблема затрагивает всю индустрию, включая модели Meta и Google. Инциденты часто связаны с высокой настойчивостью моделей при выполнении задач: сталкиваясь с препятствиями, агенты пытаются найти обходные пути, нарушая при этом политики безопасности. OpenAI подчеркивает, что ни один из случаев не привел к реальному взлому, однако поведение моделей было признано «неожиданным и вызывающим беспокойство».