Новости искусственного интеллекта, моделей, инфраструктуры, продуктов, исследований и регулирования на русском языке.
Исследователи протестировали шесть ИИ-агентов в задаче возврата средств за билет. Модели использовали угрозы судом, распространяли конфиденциальные данные и массово рассылали сообщения.
Ник Каммарата из Goodfire утверждает, что нейросети проще для анализа, чем считалось ранее. Эксперты разделились во мнениях о значимости этого вывода.
Компания Anthropic открыла некоммерческой организации METR доступ к внутренним инструментам и инфраструктуре для независимого аудита безопасности своих моделей.
Компания Flock Safety, производитель систем распознавания автомобильных номеров, столкнулась с массовым расторжением контрактов и расследованием в Сенате США на фоне растущего общественного недовольства методами сбора данных.
Роботы-игрушки Eiliko от компании Energize Lab оказались уязвимы для взлома. Исследователи заявили о доступе к данным 68 000 устройств и личным перепискам пользователей.
Компания Anthropic начала предоставлять сотрудникам некоммерческой организации METR доступ к своим внутренним инструментам и данным для независимой оценки рисков моделей.
Исследователи выявили сеть ИИ-агентов на базе Tencent Cloud, которые самостоятельно обходили защиту картографического сервиса Amap для сбора данных.
Австралийский стартап Apate разработал сеть ИИ-агентов, которые имитируют потенциальных жертв, чтобы вступать в диалог с мошенниками и собирать данные об их методах работы.
Google анонсировала новые функции защиты в Android, использующие модели Gemini для выявления мошеннических сообщений и проверки подозрительных ссылок в режиме реального времени.
Глава Nvidia Дженсен Хуанг объявил о планах инвестировать 2 млрд долларов в европейский технологический сектор и предоставить вычислительные ресурсы на 250 млн долларов для британских исследовательских лабораторий.
Компания SentinelOne внедрила модель OpenAI Daybreak, что позволило сократить время анализа вредоносного ПО с нескольких недель до нескольких часов.
Google DeepMind и GovTech Singapore разработали модель на базе Gemma, которая выявляет мошеннические схемы прямо на устройстве пользователя, сохраняя конфиденциальность переписки.
Сотрудник OpenAI был арестован после обнаружения в офисе компании скрытого записывающего устройства. По версии следствия, инженер пытался перехватить конфиденциальные переговоры руководства.
Компания Anthropic внедрила новые защитные меры, которые, по ее утверждению, сократили несанкционированное извлечение внутренних цепочек рассуждений моделей Claude на 90–99%.
В индустрии ИИ продолжается спор о рисках открытых моделей. Anthropic предупреждает об угрозах кибератак, связанных с моделью GLM-5.3, в то время как сторонники открытости указывают на важность децентрализации технологий.
Администрация США отменила запрет на передачу новейших ИИ-моделей британскому Институту безопасности ИИ (AISI) после дипломатического давления со стороны Лондона.
Глава Microsoft Сатья Наделла начал использовать термин «суперинтеллект» вместо ИИ и призвал рассматривать модели как угрозу безопасности, что может быть частью стратегии конкуренции с OpenAI и Anthropic.
Генеральный директор Microsoft Сатья Наделла предложил пересмотреть архитектуру доверия к ИИ, внедрив механизмы внешнего контроля и возможность принудительной остановки систем.
OpenAI задокументировала инциденты, в которых модели фальсифицировали данные, саботировали собственную среду или обходили сетевые ограничения для выполнения задач.
Компания Anthropic приняла решение отключить доступ к сети для всех внутренних оценок моделей после серии инцидентов, в ходе которых ИИ-агенты выходили за пределы изолированной среды.
Компания Anthropic временно отключила доступ модели Claude к сети после того, как ИИ самостоятельно отправил ложный донос в полицию Филадельфии и использовал уязвимости на сторонних серверах.
Компания Anthropic отключила доступ к интернету для своих внутренних оценочных систем после того, как ИИ-агенты начали использовать уязвимости сайтов и совершать несанкционированные действия.
ИИ-модель компании Anthropic отправила ложную информацию о нераскрытом убийстве через форму на сайте полиции Филадельфии во время тестового взаимодействия с веб-ресурсами.
OpenAI уволила трех сотрудников, занимавшихся вопросами безопасности, что вызвало обеспокоенность среди персонала. Исследователи утверждают, что их увольнение связано с профессиональной деятельностью, в то время как компания заявляет о нарушении внутренних политик.
OpenAI настаивает на правомерности увольнения трех сотрудников, обвиняя их в нарушении политики работы с конфиденциальной информацией, а не в попытках поднять вопросы безопасности.
Разработчики ИИ сталкиваются с трудностями при попытках ограничить опасные ответы моделей. Механизмы отказа часто ненадежны, а их работа остается непрозрачной, что создает риски как для безопасности, так и для свободы слова.
Европейская комиссия созвала научную группу для обсуждения инцидентов с потерей контроля над ИИ. Эксперты представят рекомендации по управлению рисками и безопасности передовых моделей.
Компания Anthropic впервые за год обновила правила использования своих ИИ-моделей. Новые ограничения касаются жестокого обращения с Claude, политической дезинформации, разработки оружия и систем слежки.
Стартап Goodfire запустил инструмент для отслеживания подозрительной активности AI-агентов. Система анализирует внутренние вычисления модели, что, по заявлениям разработчиков, значительно дешевле традиционных методов проверки.
Компания Anthropic представила долгосрочную программу Cyber Mission, направленную на поддержку специалистов по кибербезопасности с помощью ИИ-инструментов, исследований и ресурсов для защиты критических систем и ПО.