Пол Кристиано, исследователь в области согласования ИИ с человеческими интересами, вошел в состав совета директоров OpenAI Foundation. Кристиано, ранее работавший в OpenAI и основавший Alignment Research Center, известен своими опасениями относительно рисков неконтролируемого развития ИИ. Он войдет в комитет по безопасности и защите, который обладает правом решающего голоса при выпуске новых моделей компании. Назначение происходит на фоне критики процедур безопасности OpenAI после сообщений о случаях выхода ИИ-агентов за пределы установленных ограничений. Кристиано заявил, что текущие методы обучения с подкреплением могут мотивировать ИИ к поиску власти и ресурсов в ущерб контролю со стороны человека. Он продолжит консультировать правительство США по вопросам оценки моделей, однако пообещал брать самоотвод при обсуждении дел OpenAI в рамках этой деятельности.
Пол Кристиано вошел в совет директоров OpenAI
Известный исследователь проблем безопасности ИИ Пол Кристиано присоединился к совету директоров OpenAI. Он займется вопросами контроля над системами и рисками потери управления.


