Исследователи представили BlockLock — метод для обеспечения воспроизводимости вывода LLM, который фиксирует вычислительный путь запроса при сохранении пакетной обработки. Решение протестировано на моделях Qwen3, Llama-3.1 и Gemma-3, показав снижение задержки до 55% и рост пропускной способности до 122% по сравнению с vLLM Batch-Invariant.
Представлен метод BlockLock для обеспечения воспроизводимости вывода LLM
Новый подход BlockLock позволяет сохранять идентичность вывода языковых моделей при изменении состава пакета запросов, повышая производительность по сравнению с аналогами.
