Компания Aleph Alpha анонсировала выход Kolibri, языковой модели с архитектурой mixture-of-experts, насчитывающей 78 миллиардов параметров. При обработке каждого токена задействуется около трех миллиардов из них. Модель была обучена на 768 графических процессорах B200 в Германии и Финляндии. Около 21,3% обучающих данных составляет немецкий язык, для обработки которого была создана специализированная инфраструктура; также для генерации синтетических данных использовались китайские модели. По заявлению разработчиков, Kolibri ориентирована на нужды государственного управления, авиационной и промышленной отраслей. Модель поддерживает контекстное окно до одного миллиона токенов и была разработана с учетом требований EU AI Act. Aleph Alpha утверждает, что Kolibri демонстрирует высокую эффективность в соотношении качества и эксплуатационных затрат, превосходя ряд сопоставимых моделей. Веса Kolibri уже доступны для использования на платформе Hugging Face под лицензией Apache 2.0.