Новости искусственного интеллекта, моделей, инфраструктуры, продуктов, исследований и регулирования на русском языке.
Новая модель Google Deepmind Gemini 4 Argon достигла 97,5% в бенчмарке ARC-AGI-3, однако итоговый результат сильно зависит от условий тестирования и используемых API-инструментов.
Авторы статьи на arXiv предложили использовать полные транскрипты выполнения задач для оценки ИИ, когда стандартные метрики бенчмарков перестают различать модели.
Модель GPT-6-Astra успешно справилась с 49 из 50 задач нового бенчмарка TheoPhysEval. Исследователи отмечают, что ИИ уже решает рутинные расчеты на уровне экспертов, но пока не обладает «научным вкусом» для совершения прорывных открытий.
Исследователи выпустили ScopeBench — набор из 30 задач для проверки способности ИИ-агентов придерживаться заданных рамок при выполнении тестов на проникновение.
Платформа Artificial Analysis выпустила версию 4.2 своего индекса Intelligence Index. Обновление последовало за критикой методологии оценки модели GPT-6 Astra, результаты которой ранее не отражали прогресс модели.
Исследователи выпустили EvalDetectBench — бенчмарк для выявления способности нейросетей распознавать, что их тестируют. Это критически важно для точности оценки безопасности моделей.
Исследователи выпустили качественный набор данных для проверки ИИ в области естественных наук, созданный 241 экспертом. Тесты показали, что современные модели справляются с ним менее чем на 25%.
Новый бенчмарк ODBB показал, что даже передовые языковые модели часто не справляются с выбором стратегии лечения, демонстрируя системные «слепые зоны» в клинических суждениях, которые нельзя исправить простым увеличением объема данных.
Сбер выпустил вторую версию текстового бенчмарка MERA. Обновление направлено на более точную оценку современных языковых моделей, которые достигли потолка в задачах предыдущего поколения.