Пакетная обработка (Batch API)

import time
from anthropic import Anthropic

client = Anthropic(
    api_key="ВАШ_API_КЛЮЧ",
    base_url="https://api.kosareva.cloud",  # без /v1: путь SDK допишет сам
)

reviews = [
    "Доставили на день раньше, всё целое",
    "Коробка мятая, внутри не тот цвет",
]

# 1. Создать пакет: у каждого запроса свой custom_id и max_tokens
batch = client.messages.batches.create(
    requests=[
        {
            "custom_id": f"review-{i}",
            "params": {
                "model": "claude-haiku-5-5",
                "max_tokens": 1024,
                "messages": [{"role": "user", "content": f"Тональность отзыва одним словом: {text}"}],
            },
        }
        for i, text in enumerate(reviews)
    ],
)

# 2. Ждать, пока processing_status не станет ended
while batch.processing_status != "ended":
    time.sleep(60)
    batch = client.messages.batches.retrieve(batch.id)

# 3. Забрать результаты и сопоставить по custom_id
for item in client.messages.batches.results(batch.id):
    if item.result.type == "succeeded":
        answer = next(b.text for b in item.result.message.content if b.type == "text")
        print(item.custom_id, answer)
    else:
        print(item.custom_id, item.result.type)  # errored, canceled или expired: денег не списано

У каждого результата есть custom_id и result.type. При succeeded ответ лежит в result.message, в том же виде, что у обычного /v1/messages. При errored, canceled и expired ответа нет, и за такой запрос ничего не списано.

# 1. Создать пакет, в ответе id и processing_status
curl https://api.kosareva.cloud/v1/messages/batches \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ" \
  -H "Content-Type: application/json" \
  -d '{"requests":[{"custom_id":"review-1","params":{"model":"claude-haiku-5-5","max_tokens":1024,"messages":[{"role":"user","content":"Тональность отзыва одним словом: доставили на день раньше"}]}}]}'

# 2. Спрашивать раз в минуту, пока processing_status не станет ended
curl https://api.kosareva.cloud/v1/messages/batches/ID_ПАКЕТА \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ"

# 3. Скачать результаты: по строке JSON на запрос
curl https://api.kosareva.cloud/v1/messages/batches/ID_ПАКЕТА/results \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ" -o results.jsonl
# → {"custom_id":"review-1","result":{"type":"succeeded","message":{…}}}

{"custom_id": "card-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gemini-3-8-flash", "max_tokens": 1024, "messages": [{"role": "user", "content": "Переведи на английский: Кружка керамическая, 350 мл"}]}}
{"custom_id": "card-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gemini-3-8-flash", "max_tokens": 1024, "messages": [{"role": "user", "content": "Переведи на английский: Чайник стеклянный, 1 л"}]}}

В каждой строке custom_id, method, url и body, а в body обычный запрос к chat/completions. Модель во всех строках одна: для другой модели соберите отдельный пакет.

import json
import time
from openai import OpenAI

client = OpenAI(api_key="ВАШ_API_КЛЮЧ", base_url="https://api.kosareva.cloud/v1")

# 1. Загрузить файл с запросами
with open("requests.jsonl", "rb") as source:
    input_file = client.files.create(file=source, purpose="batch")

# 2. Создать пакет
batch = client.batches.create(
    input_file_id=input_file.id,
    endpoint="/v1/chat/completions",
    completion_window="24h",
)

# 3. Ждать, пока пакет не закончится
while batch.status not in ("completed", "failed", "expired"):
    time.sleep(60)
    batch = client.batches.retrieve(batch.id)

# 4. Забрать ответы: по строке JSON на запрос
if batch.output_file_id:
    for line in client.files.content(batch.output_file_id).text.splitlines():
        item = json.loads(line)
        print(item["custom_id"], item["response"]["body"]["choices"][0]["message"]["content"])

# Запросы с ошибкой и просроченные: за них денег не списано
if batch.error_file_id:
    print(client.files.content(batch.error_file_id).text)

# 1. Загрузить файл, в ответе id файла
curl https://api.kosareva.cloud/v1/files \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ" \
  -F purpose="batch" \
  -F file="@requests.jsonl"

# 2. Создать пакет из файла
curl https://api.kosareva.cloud/v1/batches \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ" \
  -H "Content-Type: application/json" \
  -d '{"input_file_id":"ID_ФАЙЛА","endpoint":"/v1/chat/completions","completion_window":"24h"}'

# 3. Спрашивать раз в минуту, пока status не станет completed
curl https://api.kosareva.cloud/v1/batches/ID_ПАКЕТА \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ"

# 4. Скачать ответы: output_file_id из статуса
curl https://api.kosareva.cloud/v1/files/ID_ФАЙЛА_ОТВЕТОВ/content \
  -H "Authorization: Bearer ВАШ_API_КЛЮЧ" -o output.jsonl

Отменить пакет в этом формате нельзя: он доработает сам, а оплатить придётся только обработанные запросы. Ответы приходят в output_file_id. Запросы с ошибкой и просроченные попадают в error_file_id, за них денег не списано.

Цены за 1M токенов. Например, 1 000 запросов к Claude Sonnet 5.5, в каждом 2 000 токенов на входе и 500 на выходе вместе с рассуждениями. Обычными запросами это 972 ₽, пакетом 486 ₽.

Цены других моделей на их страницах в каталоге, пакетом делите вход и выход пополам. Расход по пакету появляется в «Статистике» кабинета, когда пакет закончится.

• При создании пакета с баланса удерживается сумма по оценке сверху: вход считается по объёму запросов, выход по max_tokens каждого запроса и цене выхода.
• Когда пакет закончится, удержание снимается и списывается фактический расход по цене пакета.
• Если на балансе или в лимите ключа меньше оценки, пакет не создаётся и ничего не удерживается. Придёт ответ 402 с нужной суммой и ссылкой на пополнение.
• Ставьте max_tokens по реальной длине ответа с запасом на рассуждения: чем он выше, тем больше удержим на время работы пакета. В формате OpenAI поле можно не передавать, но тогда оценка возьмёт на ответ большой запас.

Прочерк значит, что в этом формате модель пакетом не принимается.