Компания IBM выпустила модели Granite Switch 4.1 (версии 8B и 30B), которые объединяют возможности чат-бота, специализированных систем принятия решений и распознавания речи (ASR). Благодаря использованию технологии Activated LoRA (aLoRA), все компоненты работают на базе одной модели, что позволяет экономить видеопамять и повторно использовать KV-кэш для ускорения обработки запросов. Разработчики отмечают, что такая архитектура обеспечивает высокую скорость переключения между задачами. В рамках тестирования Granite-Switch-4.1-30B продемонстрировала более высокую скорость выполнения 5-шагового RAG-процесса по сравнению с моделью Jev-27B. Кроме того, IBM представила пример использования 3B-версии модели для управления игровым процессом в Doom, где Granite Switch достигала 60–100 решений в секунду, параллельно поддерживая диалог с пользователем. Пользователи могут создавать собственные конфигурации Granite Switch, комбинируя адаптеры из библиотек Granite.
IBM представила Granite Switch 4.1: объединение чата, принятия решений и распознавания речи
Новые модели Granite Switch 4.1 позволяют выполнять задачи чата, классификации и транскрибации аудио через одну конечную точку, используя общие ресурсы GPU.




