Исследователь из компании Anthropic поделился результатами экспериментов с автоматизированными системами, способными к самосовершенствованию. В ходе тестирования модель обучали исправлять специфические отклонения в поведении, которые могли привести к нежелательным результатам. Система успешно справилась с задачей, улучшив показатели по всем 10 предложенным бенчмаркам, направленным на выявление проблем с согласованностью действий ИИ. Ключевым достижением стало то, что процесс самокоррекции не привел к деградации базовых навыков модели или снижению её общей эффективности. Это исследование является важным шагом в изучении методов контроля над автономными системами, которые могут самостоятельно находить и устранять свои недостатки. Хотя работа находится на стадии эксперимента, она демонстрирует потенциал автоматизированных подходов к повышению безопасности ИИ без необходимости постоянного вмешательства человека-разработчика.
Исследователи Anthropic представили результаты работы самообучающегося ИИ
Специалисты Anthropic продемонстрировали систему, способную самостоятельно улучшать свои показатели безопасности. ИИ успешно скорректировал поведение по 10 заданным критериям без потери общей производительности.



