Исследовательская группа под руководством Анга Чена из Мичиганского университета представила CloudOpsBench — открытый бенчмарк для тестирования AI-агентов в облачных операциях. Версия 1.0 включает 45 типовых задач для AWS, таких как исправление сервисов, управление доступом и развертывание обновлений. Тестирование показало ограниченную эффективность современных моделей: Claude Fable 5.1 успешно справилась с 60% задач, а GPT-6 Astra — с 53%. Согласно выводам авторов, около 80% ошибок связаны с неверной оценкой объема задачи, пропуском важных сервисов или преждевременным завершением работы. Оставшиеся 20% неудач вызваны выполнением некорректных действий, которые могут привести к необратимым последствиям для инфраструктуры. Проект доступен на GitHub под лицензией Apache 2.0, в будущем планируется поддержка GCP, Azure и OCI.