Новый бенчмарк MERIT оценивает, как долгосрочная память влияет на выполнение задач агентами, учитывая стоимость токенов и операций. Тесты показали, что при обновлении данных эффективность методов поиска через эмбеддинги нестабильна, в то время как структурированные хранилища фактов демонстрируют более высокую точность.
Представлен бенчмарк MERIT для оценки эффективности памяти LLM-агентов
Исследователи выпустили MERIT — инструмент для измерения полезности долгосрочной памяти у ИИ-агентов, использующих внешние инструменты, с учетом финансовых затрат.



