Гайд · TNWS AI
Как получить воспроизводимый ответ Ollama с options.seed
Фиксируем seed и остальные параметры генерации, повторяем одинаковый /api/generate и сравниваем response при неизменной модели и окружении.
Задача и критерий готовности
Практическая задача — уменьшить случайность тестового ответа Ollama, зафиксировав seed и все входные параметры для воспроизводимого регрессионного теста. Готовность подтверждается программным тестом, а не впечатлением от текста. Для каждого сценария ниже заданы вход, ожидаемый наблюдаемый признак и негативная проверка.
Контракт сверён 12 сентября 2026 года по официальной документации Ollama API. Цены, тарифы, региональная доступность и неподтверждённые лимиты не используются: они не нужны для выполнения задачи.
Подтверждённые факты
- Seed передаётся внутри объекта
options, а не на верхнем уровне запроса. - Официальный пример использует числовое значение
seed. - Для сравнения нужны одинаковые model, prompt и остальные options.
stream:falseупрощает получение одной response-строки.- Seed не заменяет фиксацию версии модели и среды; обновление модели может изменить результат.
Эти пункты задают границу решения. Не расширяйте их предположениями: наличие поля не гарантирует истинность содержимого, HTTP 200 не подтверждает бизнес-состояние, а комментарий в коде не заменяет assert.
Подготовка стенда
- Зафиксируйте версию SDK, Ollama и точное имя тестовой модели.
- Используйте fake tool или provider stub для сценариев с побочными эффектами.
- Удалите токены, персональные данные, реальные счета и внутренние пути.
- Добавьте счётчики model calls и tool executions.
- Настройте завершение процесса с ошибкой при несовпадении контракта.
Тестовый ввод должен быть небольшим, но реалистичным. Идентификаторы T-781 и INV-781 в статье вымышлены. Для длинного текста создавайте синтетическую строку без копирования пользовательских документов.
Пошаговые действия
- Зафиксируйте точное имя с тегом, prompt и объект options.
- Передайте одинаковый числовой seed в два последовательных запроса.
- Сравните response и сохраните model plus digest из локального каталога рядом с тестом.
- Отдельно измените seed: тест не обязан гарантировать различие, но должен доказать, что конфигурация реально изменилась.
После каждого действия сохраняйте минимальное доказательство: класс объекта, длину списка, status code, обязательное поле JSON или порядок событий. Полный prompt и raw payload в журнал не нужны.
Копируемый пример
Сохраните пример как отдельный файл языка javascript. Значения в угловых скобках — заполнители; их нельзя выдавать за реальные digest или идентификаторы.
const body = {
model: "mistral",
prompt: "Верни один тег для тикета: двойное списание",
stream: false,
options: {seed: 123, temperature: 0}
};
async function run() {
const res = await fetch("http://localhost:11434/api/generate", {
method: "POST", headers: {"content-type": "application/json"},
body: JSON.stringify(body)
});
if (!res.ok) throw new Error("generate HTTP " + res.status);
const data = await res.json();
if (data.done !== true) throw new Error("not done");
return data.response;
}
const first = await run(), second = await run();
if (first !== second) throw new Error("responses differ");
console.log(first);
Python запускайте в virtualenv проекта, JavaScript — как .mjs в Node.js с fetch. Не смешивайте глобальную и проектную версии. Если импорт отсутствует, сначала проверьте установленную версию, а не подбирайте похожий API.
Реалистичный вход
Два запроса с одной моделью mistral, одинаковым prompt, seed=123 и temperature=0 в неизменном локальном окружении.
Ожидаемый результат
Response-строки совпадают в тестовом окружении. Рядом сохраняется точная идентификация модели; статья не обещает совпадение после её обновления.
Ожидание перенесите в assert или throw. Если текст модели недетерминирован, сравнивайте структурный инвариант. Если API возвращает массив, проверяйте число элементов и форму каждого.
Негативная проверка
Измените prompt на один символ, сохранив seed. Не требуйте старый snapshot: seed не делает разные входы эквивалентными.
Негативный тест должен ломать ровно одно условие. Сетевая ошибка не равна 404, пустой список не равен PASS, новый запуск не равен resume, а локально созданный UUID не равен response ID провайдера.
Готовый prompt для ревью
Проверь reproducibility test: seed находится в options, model tag и prompt фиксированы, остальные options одинаковы, сравнивается полный response и описаны границы воспроизводимости.
Верни таблицу: условие, доказательство из кода или очищенного лога, PASS/FAIL, минимальное исправление. Если доказательства нет — FAIL. Не додумывай версии, статусы и результаты.
Prompt помогает найти пропуски, но не заменяет исполнение. Вручную проверьте каждую ссылку ревьюера на код: комментарий может быть ошибочно принят за работающую защиту.
Независимая проверка
Составьте матрицу из штатного, ошибочного и пограничного входа. Для каждой строки укажите ожидаемую ветку, наблюдаемый признак и фактический результат. Повторите тест дважды, чтобы обнаружить кеш, старое состояние или двойной side effect.
Для agent run отдельно считайте model responses, tools и RunItem: это разные сущности. Для Ollama проверяйте HTTP и тело. Если операция изменяет модель или индекс, после неё используйте read-only endpoint или схему хранилища как второе доказательство.
В CI сохраняйте exit code, версии и безопасные агрегаты. Не сохраняйте полный raw response, словарь tokenizer, пользовательский prompt или tool arguments без отдельной политики редактирования.
Типичные ошибки
Пустой список принимают за успех
Конструкции вроде all([]) истинны. Если ожидается конкретный guardrail или embedding, сначала проверьте количество элементов, затем их свойства.
Логируют всё для удобства
Raw responses, arguments и verbose model_info могут быть большими или чувствительными. Создайте allowlist полей и сохраняйте только агрегаты, нужные для расследования.
Смешивают идентификаторы
Response ID, trace ID, tool call ID, model tag и SHA-256 отвечают на разные вопросы. Храните их в отдельных колонках и не генерируйте подмену для отсутствующего значения.
Не проверяют версию
Поведение после обновления может измениться. Версия и точное имя модели должны быть частью воспроизводимого отчёта, особенно для snapshot-тестов и tokenizer-данных.
Чек-лист финальной проверки
- Тема, title и slug уникальны.
- API и поля сверены по первоисточнику 12 сентября 2026 года.
- Есть точный вход и программируемый ожидаемый результат.
- Негативный тест активирует нужную противоположную ветку.
- Секреты, PII и реальные реквизиты исключены.
- Счётчики разделяют model, tool и item events.
- Проверяется форма массива и каждый элемент.
- Полный raw или verbose payload не уходит в журнал.
- Повторный запуск не создаёт ложный успех.
- Ограничения не заменены выдуманными метриками.
Ограничения
Этот материал проверяет один технический контракт, но не точность модели, безопасность всей системы и не производительность вашего сервера. Конкретные пределы контекста, поддерживаемые dimensions, размеры и скорость зависят от модели и окружения; их измеряют на собственном стенде.
Approval не заменяет авторизацию, typed output не гарантирует истинность, release ссылок не обещает мгновенное падение RSS, а seed не гарантирует одинаковый ответ после смены модели. Такие границы должны оставаться явными в рабочей документации.
FAQ
Почему нет универсальных чисел?
Потому что они зависят от версии и модели. Используйте фактический ответ вашего стенда и фиксируйте дату измерения.
Достаточно ли HTTP 200?
Нет. Проверяйте контрактный status, обязательные поля и при необходимости независимое состояние.
Можно ли доверить проверку нейросети?
Она полезна для ревью, но PASS выставляет исполняемый тест или проверенный ответ API.
Что сохранять в отчёте?
Версии, безопасные идентификаторы, агрегаты, exit code и результат каждого assert — без секретов и полного пользовательского содержимого.
Первоисточник
- Официальная документация Ollama API — проверено 12 сентября 2026 года.
Материал подготовлен самостоятельно; примеры не выдают синтетические данные за результаты реального бенчмарка.
Читайте также
Как использовать raw mode в Ollama /api/generate без двойного шаблона
Передаём готовый шаблон prompt с raw:true, отключаем автоматическое форматирование и проверяем отсутствие context в ответе raw mode.
Как квантовать FP16-модель через Ollama API /api/create
Создаём отдельный q4_K_M-вариант из FP16-модели, проверяем progress, финальный success и не перезаписываем исходное имя.
Как подключить LoRA adapter при создании модели через Ollama API
Загружаем adapter как blob, передаём словарь adapters в /api/create, проверяем success и сохраняем базовую модель без изменений.
Комментарии
Пока тихо. Скажите первое слово