Команда Hugging Face опубликовала исследование, посвященное обучению моделей программированию через необычную визуальную обратную связь. Вместо стандартной проверки синтаксиса или выполнения тестов, модель учится генерировать код, который управляет процессом «рисования» акварелью в виртуальной среде. Для реализации этого процесса использовались инструменты TRL (Transformer Reinforcement Learning) и среда OpenEnv. Основная идея заключается в использовании визуального результата как способа оценки качества кода. Если модель пишет корректные инструкции, на холсте появляется узнаваемое изображение. Такой подход помогает нейросети лучше понимать пространственные зависимости и логику последовательных действий, что критически важно для написания сложного программного обеспечения. Авторы отмечают, что использование визуализации делает процесс обучения более наглядным и позволяет отслеживать прогресс модели на каждом этапе выполнения кода. Этот эксперимент подчеркивает потенциал мультимодального обучения, где абстрактные языковые задачи связываются с физическими или графическими результатами. Использование TRL позволяет эффективно применять методы обучения с подкреплением, чтобы модель могла самостоятельно корректировать свои ошибки, опираясь на визуальный отклик среды. Данный метод может быть адаптирован для обучения агентов, работающих в более сложных графических интерфейсах или системах автоматизации.