Гайд · TNWS AI

Как подключить OpenAI SDK к локальной Ollama без переписывания приложения

WindowsmacOSLinuxChatGPT#Ollama #локальные нейросети #ИИ

12 сентября 2026 2 мин—

Практический ответ на запрос «как подключить OpenAI SDK к Ollama»: точные команды, реальные параметры Ollama, диагностика, ограничения и проверка результата.

Укажите base_url http://localhost:11434/v1 и имя установленной модели. Заглушка api_key требуется некоторым OpenAI-клиентам, но локальная Ollama её не проверяет. Совместимость покрывает распространённые endpoint и параметры, но не гарантирует идентичность всех возможностей OpenAI.

Что нужно знать до начала

OpenAI-совместимый префикс Ollama — /v1, нативный API использует /api.
Имя model должно совпадать с результатом ollama list.
Локальному серверу по умолчанию не нужен настоящий OpenAI API-ключ.
Поддерживаемые параметры зависят от endpoint и возможностей выбранной модели.
Формат ответа совместим, но качество и tokenization определяются локальной моделью.
Неподдерживаемые поля надо выявлять интеграционным тестом.

Пошаговая настройка

Скачайте модель и убедитесь, что она запускается через ollama run.
Обновите OpenAI SDK до поддерживаемой версии.
Вынесите base_url, model и api_key в переменные окружения.
Создайте клиент с base_url http://localhost:11434/v1.
Отправьте короткий детерминированный запрос.
Зафиксируйте контрактные тесты для streaming, JSON и tools, если они используются.

Рабочий пример

from openai import OpenAI
client=OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
r=client.chat.completions.create(
 model="qwen3",
 messages=[{"role":"user","content":"Ответь ровно словом OK"}],
 temperature=0
)
print(r.choices[0].message.content)

Как проверить результат

Сравните схему объекта, finish_reason, streaming chunks и обработку ошибок с ожиданиями вашего приложения. Отдельно протестируйте несуществующую модель.

Чего не делать

Не оставляйте облачный base_url рядом с настоящим секретным ключом.
Не считайте OpenAI compatibility полной копией платформы OpenAI.
Не подменяйте модель в production без eval на реальных данных.

Применимость и ограничения

Команды проверялись по документации 12 сентября 2026 года. Поддержка зависит от версии Ollama, операционной системы, драйвера и конкретной модели. Перед изменением production-конфигурации сохраните текущие параметры и проведите тест на отдельной машине.

FAQ

Нужен ли интернет после загрузки локальной модели?

Для локальной генерации — нет; интернет нужен для загрузки, обновлений и облачных функций.

Как узнать, где выполняется модель?

Выполните ollama ps и проверьте столбцы PROCESSOR и CONTEXT.

Можно ли использовать инструкцию в production?

После добавления аутентификации, таймаутов, ограничений ресурсов, журналирования и собственных тестов.

Почему команды могут отличаться?

Ollama регулярно обновляется; перед изменением системы сверяйте указанную официальную страницу.

Официальный источник

https://docs.ollama.com/api/openai-compatibility