Предложен метод Attention-Aware Routing для улучшения работы MoE-моделей
Исследователи представили метод AAR, который оптимизирует выбор экспертов в MoE-моделях через анализ весов внимания, повышая точность в задаче GSM8K.
AI-новости
Новости искусственного интеллекта, моделей, инфраструктуры, продуктов, исследований и регулирования на русском языке.
OpenAI представила метод «рекуррентной глубины» в модели Astra
OpenAI анонсировала новую модель Astra, использующую технологию «рекуррентной глубины». Этот метод позволяет ИИ выходить за рамки последовательного мышления, что вызвало дискуссии среди экспертов по безопасности.