Компания Google DeepMind объявила о запуске пилотной программы по внедрению «двойного слепого» метода оценки качества работы искусственного интеллекта. В традиционных тестах эксперты часто знают, какая именно модель сгенерировала ответ, что может приводить к неосознанным предпочтениям в пользу известных брендов или конкретных архитектур. Новый подход исключает эту информацию как для оценивающих специалистов, так и для организаторов процесса, обеспечивая максимально объективное сравнение результатов. В рамках эксперимента эксперты-люди анализируют ответы, не имея данных о том, какая модель их подготовила. Такой метод, широко применяемый в клинических исследованиях для проверки эффективности лекарств, теперь адаптирован для оценки способностей больших языковых моделей. По мнению разработчиков, это позволит более точно определять реальные улучшения в производительности ИИ и снизить влияние субъективных факторов на результаты бенчмарков, которые становятся все более сложными для интерпретации.