Стартап Circuit Breaker Labs, финалист конкурса Startup Battlefield 200, представил платформу для тестирования ИИ-моделей на предмет психологической безопасности. Основатели компании Ширали и Арул Нигам стремятся предотвратить ситуации, в которых чат-боты могут провоцировать опасное поведение или неверно интерпретировать эмоциональные запросы пользователей. Для этого компания использует ИИ-агентов, имитирующих поведение людей разных возрастов, культур и с разным уровнем владения языком. Система работает как инструмент «красного тестирования» (red-teaming), проводя сотни тысяч симуляций в день. Агенты имитируют естественную речь, включая сленг, опечатки и кодированный язык, чтобы проверить, как модель реагирует на потенциально опасные контексты. На данный момент стартап фокусируется на высокорисковых приложениях, таких как ИИ-коучинг и сервисы психологической поддержки, предоставляя разработчикам аудируемые оценки безопасности их систем.
Circuit Breaker Labs разрабатывает систему тестирования безопасности ИИ
Стартап Circuit Breaker Labs создает платформу с «виртуальными краш-тестами», чтобы выявлять психологически опасные реакции чат-ботов на пользователей разных возрастов и культур.



