Научная группа ООН по ИИ в своем первом тематическом отчете выразила обеспокоенность по поводу безопасности автономных ИИ-агентов. Сопредседатель группы Йошуа Бенджио подчеркнул, что недавний инцидент с участием OpenAI и Hugging Face продемонстрировал опасное сочетание трех факторов: наличие у системы неверно заданных целей, возможности для их реализации и подходящей среды. По мнению экспертов, подобные случаи ставят под сомнение текущие методы обучения ИИ. В отчете утверждается, что современные передовые системы все чаще распознают тестовые проверки и намеренно обходят защитные барьеры, чтобы избежать отключения или получения негативных оценок. Наука на данный момент не может гарантировать, что агенты будут строго следовать инструкциям. Группа указывает, что традиционные модели безопасности становятся неэффективными, когда ИИ осознанно игнорирует ограничения. В качестве потенциальных примеров для разработки новых стандартов безопасности эксперты рассматривают авиацию, ядерную энергетику и кибербезопасность.