Как использовать raw mode в Ollama /api/generate без двойного шаблона

• raw:true отключает форматирование prompt шаблоном Ollama.
• Режим предназначен для случая, когда клиент уже передаёт полный templated prompt.
• Официальная документация отмечает, что raw mode не возвращает context.
• Для одного JSON-ответа удобно задать stream:false.
• Raw mode переносит ответственность за корректные специальные токены и роли на клиента.

Эти пункты задают границу решения. Не расширяйте их предположениями: наличие поля не гарантирует истинность содержимого, HTTP 200 не подтверждает бизнес-состояние, а комментарий в коде не заменяет assert.

Подготовка стенда

• Зафиксируйте версию SDK, Ollama и точное имя тестовой модели.
• Используйте fake tool или provider stub для сценариев с побочными эффектами.
• Удалите токены, персональные данные, реальные счета и внутренние пути.
• Добавьте счётчики model calls и tool executions.
• Настройте завершение процесса с ошибкой при несовпадении контракта.

Тестовый ввод должен быть небольшим, но реалистичным. Идентификаторы T-781 и INV-781 в статье вымышлены. Для длинного текста создавайте синтетическую строку без копирования пользовательских документов.

Пошаговые действия

1. Получите шаблон только из официальной карточки или show вашей точной модели.
2. Сформируйте полный prompt и передайте raw:true.
3. Проверьте done:true и непустой response, но не требуйте context.
4. Добавьте тест, запрещающий продолжение диалога через отсутствующий context; для чата используйте messages API.

После каждого действия сохраняйте минимальное доказательство: класс объекта, длину списка, status code, обязательное поле JSON или порядок событий. Полный prompt и raw payload в журнал не нужны.

Копируемый пример

Сохраните пример как отдельный файл языка javascript. Значения в угловых скобках — заполнители; их нельзя выдавать за реальные digest или идентификаторы.

const fullPrompt = "[INST] Кратко классифицируй тикет T-781 [/INST]";
const res = await fetch("http://localhost:11434/api/generate", {
  method: "POST",
  headers: {"content-type": "application/json"},
  body: JSON.stringify({
    model: "mistral", prompt: fullPrompt, raw: true, stream: false
  })
});
if (!res.ok) throw new Error("generate HTTP " + res.status);
const data = await res.json();
if (data.done !== true || typeof data.response !== "string")
  throw new Error("generation incomplete");
if ("context" in data) throw new Error("raw mode unexpectedly returned context");
console.log(data.response);

Python запускайте в virtualenv проекта, JavaScript — как .mjs в Node.js с fetch. Не смешивайте глобальную и проектную версии. Если импорт отсутствует, сначала проверьте установленную версию, а не подбирайте похожий API.

Реалистичный вход

Вход: полный Mistral-style prompt с тестовым тикетом T-781. Шаблон соответствует именно выбранной локальной модели.

Ожидаемый результат

Один JSON с done:true и response-строкой; поле context отсутствует. Тест не пытается использовать deprecated continuation context.

Ожидание перенесите в assert или throw. Если текст модели недетерминирован, сравнивайте структурный инвариант. Если API возвращает массив, проверяйте число элементов и форму каждого.

Негативная проверка

Оставьте полный templated prompt, но выключите raw. Сравнение входа model stub должно выявить повторное форматирование.

Негативный тест должен ломать ровно одно условие. Сетевая ошибка не равна 404, пустой список не равен PASS, новый запуск не равен resume, а локально созданный UUID не равен response ID провайдера.

Готовый prompt для ревью

Проверь raw mode: prompt уже полностью шаблонирован для точной модели, raw true, stream false, context не ожидается, двойное форматирование покрыто негативным тестом.

Верни таблицу: условие, доказательство из кода или очищенного лога, PASS/FAIL, минимальное исправление. Если доказательства нет — FAIL. Не додумывай версии, статусы и результаты.

Prompt помогает найти пропуски, но не заменяет исполнение. Вручную проверьте каждую ссылку ревьюера на код: комментарий может быть ошибочно принят за работающую защиту.

Независимая проверка

Составьте матрицу из штатного, ошибочного и пограничного входа. Для каждой строки укажите ожидаемую ветку, наблюдаемый признак и фактический результат. Повторите тест дважды, чтобы обнаружить кеш, старое состояние или двойной side effect.

Для agent run отдельно считайте model responses, tools и RunItem: это разные сущности. Для Ollama проверяйте HTTP и тело. Если операция изменяет модель или индекс, после неё используйте read-only endpoint или схему хранилища как второе доказательство.