Как сообщает Telegram-канал «эйай ньюз», OpenAI заметно улучшила кэширование в своих продуктах. Изменения коснулись сервисов Codex и Work, а также API.
Кэш — это временно сохранённый обработанный контекст сессии или запроса. Пока он хранится, модели не нужно пересчитывать его заново, и работа с сервисом не требует лишних затрат лимитов и времени.
В Codex и Work кэш теперь хранится всегда. Раньше, если пользователь отходил на пару часов, при возвращении сессии приходилось заново заполнять кэш, и на это уходило много лимитов.
В API OpenAI появилась возможность сохранять кэш в течение 12 часов. Запись в такой кэш стоит вдвое дороже, чем запись в обычный 30-минутный.
