Автоматизированный анализ законодательства становится все более распространенным, однако разные алгоритмы часто интерпретируют одни и те же нормы по-разному. Исследователи проанализировали работу парсеров на примере законов штата Миссури и обнаружили, что частота ошибок при извлечении числовых пороговых значений достигает 43%. Чтобы решить проблему ненадежности, авторы предложили механизм «сертификата выживаемости» для логических выводов, извлеченных из текстов законов. Система использует метод Монте-Карло для оценки устойчивости логических связей: утверждение считается достоверным только в том случае, если оно проходит статистическую проверку с доверительным интервалом 95%. При тестировании на почти 30 тысячах разделов законодательства штата Миссури и актах Индии выяснилось, что текущие модели часто не достигают необходимого порога информативности. Основной причиной ошибок оказалась неверная калибровка алгоритмов при переносе на новые типы документов. Разработчики подчеркивают, что предложенный сертификат является эффективным, но «хрупким» инструментом. Для его корректной работы требуется индивидуальная калибровка под каждую главу закона или высокая устойчивость к ошибкам. Исследователи опубликовали код, данные и полный аудит своих выводов, включая опровергнутые в ходе работы гипотезы, чтобы повысить прозрачность автоматизированного юридического анализа.