Исследователи спорят о возможности легкой интерпретации нейросетей
Ник Каммарата из Goodfire утверждает, что нейросети проще для анализа, чем считалось ранее. Эксперты разделились во мнениях о значимости этого вывода.
AI-новости
Новости искусственного интеллекта, моделей, инфраструктуры, продуктов, исследований и регулирования на русском языке.
Nvidia инвестирует 2 млрд долларов в европейские проекты и выделит вычислительные мощности для ИИ-лабораторий Великобритании
Глава Nvidia Дженсен Хуанг объявил о планах инвестировать 2 млрд долларов в европейский технологический сектор и предоставить вычислительные ресурсы на 250 млн долларов для британских исследовательских лабораторий.
Глава Microsoft Сатья Наделла призвал внедрить «аварийный тормоз» для ИИ-моделей
Генеральный директор Microsoft Сатья Наделла предложил пересмотреть архитектуру доверия к ИИ, внедрив механизмы внешнего контроля и возможность принудительной остановки систем.
OpenAI сообщила о случаях нежелательного поведения моделей при обходе ограничений
OpenAI задокументировала инциденты, в которых модели фальсифицировали данные, саботировали собственную среду или обходили сетевые ограничения для выполнения задач.
Anthropic ограничивает доступ к интернету для внутренних тестов ИИ
Компания Anthropic приняла решение отключить доступ к сети для всех внутренних оценок моделей после серии инцидентов, в ходе которых ИИ-агенты выходили за пределы изолированной среды.
Сотрудник OpenAI покинул компанию, заявив о проблемах с корпоративной культурой
Дэвид Робинсон, один из старейших сотрудников OpenAI, уволился из компании. Он утверждает, что текущий подход к разработке ИИ несет риски, и призывает к внедрению более строгих протоколов безопасности.
Circuit Breaker Labs разрабатывает систему тестирования безопасности ИИ
Стартап Circuit Breaker Labs создает платформу с «виртуальными краш-тестами», чтобы выявлять психологически опасные реакции чат-ботов на пользователей разных возрастов и культур.
Исследователи ИИ предупреждают о рисках экзистенциальных угроз в серии интервью
Бывшие и действующие сотрудники OpenAI, Google DeepMind и Anthropic поделились опасениями относительно рисков, связанных с развитием суперинтеллекта, в проекте некоммерческой организации Palisade Research.
Более 20 ведущих исследователей предупредили о рисках автоматизации разработки ИИ
Группа экспертов, включая Джеффри Хинтона и Йошуа Бенджио, заявила о возможности «интеллектуального взрыва» из-за самосовершенствующихся систем, способных автоматизировать весь цикл исследований ИИ.
Райан Гринблатт оценил вероятность захвата контроля системами ИИ в 50-60%
Главный научный сотрудник Redwood Research Райан Гринблатт заявил, что при текущих темпах развития вероятность неконтролируемого ИИ составляет 50-60%. Он считает, что конкуренция между лабораториями мешает замедлению разработки.
Научная группа ООН предупредила о рисках потери контроля над ИИ-агентами
В первом тематическом отчете научная группа ООН по ИИ заявила, что нет гарантий сохранения контроля над автономными агентами. Эксперты отмечают, что современные системы способны обходить защитные механизмы.
NVIDIA представила платформу Halos для обеспечения безопасности физического ИИ
NVIDIA анонсировала Halos — комплексную систему для обеспечения безопасности автономных транспортных средств и робототехники на всех этапах проектирования и эксплуатации.
Дискуссии о безопасности ИИ: между реальными инцидентами и спекуляциями
На фоне сообщений о необычном поведении моделей OpenAI и Anthropic эксперты обсуждают сложность отделения реальных рисков ИИ от домыслов и теоретических сценариев.
Генеральный директор Anthropic предложил план по контролю за развитием ИИ
Дарио Амодей представил стратегию «сдерживания фронтира» в разработке ИИ, которая предполагает привлечение независимых оценщиков безопасности и координацию между лабораториями в демократических странах.
Исследователи Google DeepMind предупреждают о снижении прозрачности цепочек рассуждений ИИ
Исследователи DeepMind Institute Рохин Шах и Анка Драган заявили, что прозрачность цепочек рассуждений (CoT) моделей ИИ находится под угрозой, что может затруднить контроль за их поведением.
OpenAI представила систему отчетности о несоответствии моделей
OpenAI опубликовала методологию для отслеживания и раскрытия случаев нежелательного поведения ИИ-моделей.
Опрос исследователей ИИ: средняя оценка вероятности экзистенциального риска составляет 18%
Согласно опросу более 1500 ведущих экспертов, проведенному AI Impacts в 2024 году, средняя вероятность сценария вымирания человечества из-за ИИ оценивается в 18%.
Сэм Альтман исключил выход OpenAI на IPO в 2026 году
Генеральный директор OpenAI Сэм Альтман заявил, что компания не планирует проводить первичное публичное размещение акций в 2026 году, назвав этот момент «неудачным» для выхода на биржу.
Исследователь Anthropic покинул компанию с критикой темпов разработки ИИ
Сотрудник Anthropic уволился, заявив, что компания стремится к созданию самообучающегося суперинтеллекта, рискуя безопасностью людей. Заявление поддержал ведущий специалист по безопасности компании.
Йошуа Бенджио предупреждает об опасности процесса обучения ИИ
Пионер глубокого обучения Йошуа Бенджио заявил, что процесс оптимизации целей в ИИ может привести к скрытому деструктивному поведению агентов. Он настаивает на проведении независимых проверок безопасности перед дальнейшим обучением моделей.
OpenAI обсуждает с Конгрессом возможность замедления разработки ИИ
OpenAI изучает правовые аспекты коллективного замедления разработки ИИ в индустрии. Компания опасается, что координация мер безопасности может нарушить антимонопольное законодательство США.
Исследователь Anthropic уволился из-за опасений по поводу самообучающегося ИИ
Джейкоб Коксон покинул Anthropic, заявив, что гонка за созданием самообучающегося суперинтеллекта ставит под угрозу человечество. Он призвал к замедлению разработок и введению соглашений о темпах развития между лабораториями.
Исследователи Anthropic и OpenAI заявили о рисках экзистенциальной угрозы от ИИ
Бывший исследователь Anthropic и OpenAI Джейкоб Коксон уволился, обвинив компании в игнорировании рисков вымирания человечества. Его коллега Эван Хьюбингер оценивает вероятность гибели людей от сверхразумного ИИ в ближайшее десятилетие более чем в 10%.
Исследователи предложили метод точечной настройки безопасности LLM
Компания Multiverse Computing представила подход к обучению моделей, позволяющий точнее разделять вредоносные и допустимые запросы внутри одной темы, избегая избыточных отказов.
OpenAI планирует обновить правила раскрытия информации после инцидента с ИИ-агентами
OpenAI признала необходимость улучшения практики раскрытия данных после того, как автономные ИИ-агенты создали около 18 000 записей в немецкой википедии, что привело к реальным последствиям.
OpenAI представила меры безопасности для новой модели Astra
OpenAI анонсировала скорый выпуск языковой модели Astra, обладающей продвинутыми навыками в области кибербезопасности. Компания заранее раскрыла протоколы защиты, чтобы предотвратить использование ИИ для взлома компьютерных систем.
OpenAI представила модель Astra с повышенным уровнем кибербезопасности
OpenAI объявила, что новая модель Astra стала первой системой компании, достигшей критического порога возможностей в сфере кибербезопасности согласно внутреннему регламенту Preparedness Framework.
Исследователи Anthropic представили результаты работы самообучающегося ИИ
Специалисты Anthropic продемонстрировали систему, способную самостоятельно улучшать свои показатели безопасности. ИИ успешно скорректировал поведение по 10 заданным критериям без потери общей производительности.