Исследователи предложили метод DASA (Desired-Update-Aligned Synthetic Data), который использует непрерывные синтетические эмбеддинги для дообучения LLM. В тестах на моделях Llama и Qwen метод показал результаты, сопоставимые с обучением на обычном тексте, обеспечив ускорение в 3,6–4,9 раза по сравнению с подходом GRADMM.
Исследователи представили метод DASA для дообучения LLM без использования человекочитаемого текста
Новый метод DASA позволяет дообучать языковые модели с помощью синтетических эмбеддингов, достигая эффективности, сопоставимой с использованием естественного языка.
