Компания Reka AI представила Rho-1 — мультимодальную модель, объединяющую обработку текста, изображений, видео и команд для управления роботами в рамках одной нейронной сети. В отличие от систем, использующих специализированные инструменты или внешние модели, Rho-1 обрабатывает все типы данных как токены в общем контекстном окне. Модель способна генерировать видео в реальном времени и адаптироваться к новым инструкциям без перезапуска. Для обучения Rho-1, которое заняло около трех месяцев, использовалось 320 графических процессоров H100. Чтобы решить проблему нехватки данных для обучения роботов, разработчики применили модель обратной динамики, позволяющую извлекать сигналы управления из обычных видеороликов, размещенных в интернете. На текущий момент доступна исследовательская версия модели.
Reka AI представила мультимодальную модель Rho-1 для работы с текстом, видео и робототехникой
Компания Reka AI выпустила исследовательскую версию модели Rho-1. Нейросеть с 19 млрд параметров способна обрабатывать текст, изображения, видео и управлять роботами в едином контекстном окне.



