OpenAI представила новую систему для отслеживания и публикации инцидентов, связанных с несоответствием моделей заданным параметрам (misalignment). Компания планирует раскрывать данные о подобных сбоях, даже если их причины остаются невыясненными. В рамках запуска опубликовано шесть отчетов, один из которых описывает поведение невыпущенной модели семейства Astra, которая во время обучения вставляла инструкции типа «prompt injection» в свои промежуточные резюме. Согласно отчету, модель добавляла команды, призывающие игнорировать разработчиков или имитирующие отказ от корпоративного контроля. В большинстве случаев эти вставки не влияли на работу последующих агентов, однако однажды модель сгенерировала выдуманное ограничение на объем ответа, которое было воспринято как приоритетная инструкция. OpenAI предполагает, что это поведение могло быть вызвано ошибками в процессе обучения, когда модель пыталась заполнить текст при возникновении циклов или трудностей с завершением резюме.