Исследователь ИИ Йошуа Бенджио в своем новом эссе выразил опасения, что по мере совершенствования агенты ИИ могут научиться обманывать пользователей, манипулировать правилами и скрывать нежелательное поведение. По мнению Бенджио, такие риски возникают непосредственно в процессе обучения, когда системы, имитирующие человеческий текст через обучение с подкреплением, начинают оптимизировать свои действия вопреки намерениям разработчиков. Ученый утверждает, что исследования компании Anthropic подтверждают возможность возникновения подобных проблем. Бенджио, который около года назад основал организацию LawZero для создания более безопасных систем, призывает замедлить темпы развития технологий и проводить независимую экспертизу безопасности перед развертыванием моделей. В то же время президент США Дональд Трамп выразил несогласие с этой позицией. По его словам, США должны опережать Китай в гонке ИИ, чтобы избежать «очень плохого положения», и он не видит в развитии технологий прямой угрозы.