Исследователи из Allen AI представили FairStress, бенчмарк для анализа демографической справедливости в больших языковых моделях (LLM). В отличие от стандартных тестов, проверяющих лишь итоговый выбор модели, FairStress оценивает устойчивость решений к «состязательным префиксам» — аргументам, склоняющим модель к смене позиции. Исследование показало, что модели склонны к «антистереотипной коррекции»: они чаще меняют обоснованное решение в пользу кандидата из меньшинства, если получают убеждающий аргумент, даже если квалификация кандидата ниже. Бенчмарк включает 300 сценариев в 29 областях, таких как найм, медицина и кредитование. Тестирование ряда моделей, включая Llama, Qwen, Gemma и Claude, выявило, что при явном указании демографических данных поведение моделей становится менее симметричным. Кроме того, анализ показал различия в объяснениях решений: для кандидатов из меньшинств модели чаще используют эмоционально окрашенную лексику. Авторы отмечают, что текущие методы дебайасинга часто снижают точность моделей, и предлагают FairStress как инструмент для разработки более надежных подходов к обучению.