Кэширование промптов
Повторный контекст считается по цене кэша. Как это получить и где увидеть.
Когда запрос начинается с того же текста, что и недавний (системный промпт, файлы, длинный диалог), провайдер модели берёт эту часть из кэша. FreshRouter считает такие токены по цене кэша — она в разы ниже цены входа. Цена кэша каждой модели есть на странице цен (https://freshrouter.com/pricing) и в https://freshrouter.com/models.json.
Что нужно сделать
| Модели | API | Что делать |
|---|---|---|
| GPT | /v1/chat/completions, /v1/responses | Ничего: кэш работает сам. |
| Gemini | /v1/chat/completions | Ничего: кэш работает сам. |
| Claude | /v1/messages | Пометьте, что кэшировать, через cache_control. Claude Code делает это сам. |
| Claude | /v1/chat/completions | Не кэшируется. Для Claude используйте /v1/messages. |
Остальные модели кэшируются, когда их провайдер сообщает о токенах из кэша. Страница «Использование» показывает это по каждому запросу, так что для проверки хватит одного повторного запроса.
Claude: пометьте, что кэшировать
Поставьте cache_control на последний блок, который повторяется от запроса к запросу. Кэшируется всё до этого блока включительно:
curl https://freshrouter.com/v1/messages \
-H "x-api-key: sk-your-freshrouter-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"system": [
{
"type": "text",
"text": "<long instructions or files that repeat in every request>",
"cache_control": {"type": "ephemeral"}
}
],
"messages": [{"role": "user", "content": "Hello!"}]
}'Первый запрос записывает кэш — это на 25% дороже обычного входа. Следующие читают его по цене кэша. Запись в кэше живёт около 5 минут, и каждое чтение продлевает её.
Как увидеть, что попало в кэш
- В ответе:
usage.prompt_tokens_details.cached_tokensв формате OpenAI,usage.cache_read_input_tokensиusage.cache_creation_input_tokensв формате Anthropic. - В консоли: на странице «Использование» у каждого запроса есть столбец «Кэш», а обзор показывает, сколько кэш сэкономил за 30 дней.
Как получать больше из кэша
- Держите начало промпта одинаковым: сначала инструкции, инструменты и файлы, в конце — то, что меняется.
- Не ставьте в начало время, случайные ID и другой меняющийся текст.
- Отправляйте следующие запросы в течение нескольких минут.