Новый метод Attention-Aware Routing (AAR) дополняет механизм маршрутизации в MoE-моделях временными и спектральными признаками из окна весов внимания. Тесты на модели OLMoE показали прирост точности в GSM8K на 3,37 п.п. при замороженных весах трансформера, а также снижение вероятности длинных ошибочных генераций.
Предложен метод Attention-Aware Routing для улучшения работы MoE-моделей
Исследователи представили метод AAR, который оптимизирует выбор экспертов в MoE-моделях через анализ весов внимания, повышая точность в задаче GSM8K.
