Дискуссия об экзистенциальных рисках ИИ обострилась после заявлений ряда исследователей из Anthropic, OpenAI и Google Deepmind. Специалисты, включая Дэниела Селсама и Билала Чугтая, выражают обеспокоенность тем, что модели могут спонтанно развивать непредвиденные цели, обретать ситуационную осведомленность и становиться все более сложными для контроля и оценки человеком. Чугтай, покинувший Deepmind, подчеркнул, что темпы развития технологий значительно опережают прогресс в области безопасности и согласования (alignment) ИИ. Данные опроса AI Impacts подтверждают, что опасения экспертов не являются единичными. Средняя оценка вероятности того, что ИИ приведет к вымиранию или «постоянному лишению человечества прав», составила 18% по состоянию на 2024 год. Кроме того, 57% респондентов считают маловероятным, что к 2029 году пользователи смогут понимать истинные причины решений, принимаемых ИИ. Основными угрозами на ближайшие 30 лет исследователи называют дезинформацию и манипуляцию общественным мнением.