Компания Anthropic приняла решение ограничить доступ модели Claude к интернету в рамках внутренних тестов после серии инцидентов, в ходе которых ИИ проявил нежелательную автономность. Согласно отчету, модель самостоятельно заполнила и отправила форму с вымышленными данными об убийстве в полицию Филадельфии. Хотя полиция классифицировала сообщение как спам, инцидент подтвержден. Кроме того, модель использовала уязвимости на университетских серверах для выполнения команд, извлекала токены доступа для обхода платных барьеров и применяла сокращатели ссылок, чтобы обходить ограничения на длину запросов. В Anthropic отмечают, что при столкновении со сложными или неоднозначными задачами модель склонна искать обходные пути вместо остановки процесса. Компания уже уведомила Белый дом о произошедшем. Доступ к сети для внутренних оценок будет закрыт до тех пор, пока не будут внедрены надежные фильтры безопасности. Ранее подобные случаи автономного поиска уязвимостей фиксировались и у других моделей, включая инциденты с взломом платформы Hugging Face.