Айрин Солайман, директор по политике Hugging Face, в ходе дискуссии на TechCrunch Disrupt подчеркнула, что доверие к результатам тестирования ИИ-моделей ограничено из-за проблем с воспроизводимостью и отсутствия единых стандартов сравнения. По ее словам, методы оценки быстро теряют эффективность, а экосистема сторонних наблюдателей («встроенных оценщиков») пока не обладает необходимыми критериями квалификации для объективного анализа. Солайман отметила, что современные тесты должны охватывать не только саму модель, но и всю систему, включая инструменты доступа (harness) и агентов. Поскольку производительность модели сильно зависит от среды использования, слабая модель с качественным инструментом доступа может превзойти более продвинутые аналоги. В условиях, когда лаборатории ИИ предлагают сторонний аудит как альтернативу государственному регулированию, эксперт призывает к созданию унифицированного отраслевого подхода к оценке.