Авторы статьи arXiv:2609.16129 предложили схему прунинга параметров, использующую метрику информации Фишера для оценки влияния удаления весов. Метод продемонстрировал превосходство над традиционным прунингом по величине весов при тестировании на архитектурах Vision Transformer и полносвязных сетях.
Предложен новый метод оптимизации нейросетей через расстояния Фишера
Исследователи представили метод прунинга нейросетей, основанный на дифференциально-геометрическом расстоянии в пространстве моделей.
