Как сообщает The Decoder, Anthropic запустила функцию Message Threads в открытой бете на платформе Claude. Раньше каждый запрос к API требовал повторной отправки всей истории переписки с моделью. Теперь передаётся только то, что изменилось с прошлого сообщения.
По данным Anthropic, для запросов объёмом от 500 тысяч до одного миллиона токенов время до первого токена — то есть до начала ответа модели — сокращается примерно на 35%.
Больше всего от нововведения выиграют агенты для программирования, агенты, управляющие компьютером, а также рабочие процессы, которые обрабатывают большое количество документов или изображений.
Поток хранится в зашифрованном виде в памяти между запросами и автоматически истекает после пяти минут неактивности. Расход токенов при этом не меняется: Claude по-прежнему читает полную историю разговора.
Функция работает на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud.
