Джейкоб Коксон, исследователь, работавший ранее в OpenAI и Anthropic, объявил о своем уходе из компании. В своем заявлении он утверждает, что разработчики ИИ осознают риск того, что их технологии могут привести к гибели человечества к концу десятилетия, но продолжают гонку за созданием самообучающегося суперинтеллекта. По словам Коксона, стремление компаний первыми достичь этого этапа является «рискованной ставкой», а текущие меры безопасности недостаточны. Коксон подчеркнул, что прогресс в области систем, способных к рекурсивному самосовершенствованию, не замедляется. Он призвал коллег пересмотреть подходы к разработке и рассмотреть возможность временного запрета на расширение возможностей моделей. Его позицию частично поддержал коллега по Anthropic Эван Хьюбингер, который признал, что компания не имеет четкого плана по решению проблемы контроля над суперинтеллектом, а вероятность негативного сценария в ближайшее десятилетие оценивается выше 10%.
Исследователь Anthropic уволился из-за опасений по поводу самообучающегося ИИ
Джейкоб Коксон покинул Anthropic, заявив, что гонка за созданием самообучающегося суперинтеллекта ставит под угрозу человечество. Он призвал к замедлению разработок и введению соглашений о темпах развития между лабораториями.



