Компания Anthropic выпустила в публичную бета-версию функцию Message Threads для своего API. Ранее каждый запрос требовал повторной отправки всей истории переписки, что увеличивало время ожидания. Новая технология позволяет передавать только изменения, произошедшие с момента последнего сообщения. По данным Anthropic, для запросов объемом от 500 000 до 1 млн токенов время до получения первого токена сокращается примерно на 35%. Функция наиболее полезна для кодинг-агентов, инструментов автоматизации и систем, обрабатывающих большие объемы документов или изображений. При этом общее количество используемых токенов остается прежним, так как модель по-прежнему анализирует всю историю беседы. Потоки данных хранятся в зашифрованном виде в памяти и удаляются после пяти минут бездействия. Инструмент доступен на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud.