Гайд · TNWS AI
Как подключить Gradio load_chat к локальному OpenAI-совместимому LLM API
Используем gr.load_chat с явным base_url и model, проверяем доступность и ограничения загрузки файлов.
Задача и применимость
Русскоязычный вопрос: «как подключить gradio load_chat к локальному api нейросети». Пример применим к Gradio load_chat и собственному локальному серверу с OpenAI-совместимым chat endpoint, который уже проверен отдельно. Не предполагается, что любые embeddings или completion API совместимы с чат-интерфейсом. Документация load_chat проверена 20 сентября 2026 года.
Что подтверждено производителем
Официальная справка gr.load_chat описывает base_url, model, token, file_types, system_message и streaming. Пример использует локальный URL /v1, model и launch(). Значение file_types=None запрещает загрузку файлов; разрешённые варианты text_encoded и image надо соотносить с возможностями вашего модельного сервера.
Порядок действий
- Запустите локальный совместимый chat API и проверьте его собственным запросом вне Gradio.
- Выясните точную строку model из API сервера.
- Передайте base_url и model в gr.load_chat, установив file_types=None для текстового теста.
- Отправьте вопрос с известным ответом и затем контекстный уточняющий вопрос.
- При сбое разделите ошибки URL, model ID, чата и UI по самостоятельным тестам.
Готовый шаблон
Сохраните пример в отдельном файле Python. В коде нет реального секрета или скрытого вызова модели: если подключён внешний API, его адрес и параметры указаны явно. Установите gradio в отдельном окружении; дополнительные пакеты требуются только там, где они импортированы в примере.
import os
import gradio as gr
model_id = os.environ["MODEL_ID"]
demo = gr.load_chat(
"http://127.0.0.1:8000/v1/",
model=model_id,
token=os.environ.get("MODEL_API_KEY", "local-test"),
file_types=None,
system_message="Отвечай по-русски; если не знаешь, скажи об этом.",
streaming=True,
)
demo.launch(server_name="127.0.0.1")
Вход и ожидаемый результат
На сервере заранее проверенная чат-модель доступна под MODEL_ID; вход «В тексте сказано: доставка по будням. Когда доставка?» предполагает смысловой ответ «по будням». Следом спросите «А ночью?» — модель должна честно отметить отсутствие такого факта в тексте, хотя строгого выполнения инструкции нельзя гарантировать одним тестом. Если первый запрос не отвечает, сначала проверьте сервер напрямую.
Проверка контракта
load_chat экономит интеграционный код, но предполагает определённый контракт upstream. Совпадение адреса /v1 само по себе не гарантирует поддержку всех возможностей: сервера различаются форматом потоковых событий, обработкой system-ролей и поддержкой вложений. Начните с text-only без файлов, затем расширяйте интерфейс по одному параметру. Особенно опасно разрешать image, когда чат-модель на сервере не умеет читать изображение; UI примет файл, но обещанный анализ будет ложным.
Работа с данными пользователя
Не смешивайте token для модели и секрет входа конечного пользователя в ваше приложение. Локальный модельный API может вообще не требовать реального ключа, но SDK может ожидать непустую строку; placeholder local-test в примере не является защитой. Если реальный ключ нужен, читайте его из переменной окружения серверного процесса, не вставляйте в репозиторий, журнал и клиентский JavaScript. Внешний доступ к Gradio отдельно защищайте сетью и авторизацией.
Что проверить перед развёртыванием
Когда вопрос включает текущие цены, остатки или внутренние правила, обычный чат без RAG не получает эти сведения из вашей базы. Системная инструкция не добавляет источников. Для приёмки тестируйте известные факты из переданного текста, неизвестный факт, повторение контекста и поведение при временно недоступном модельном сервере. Сохраняйте номер Gradio, версию сервера и идентификатор модели вместе с результатами; смена любого из этих слоёв может изменить картину.
Сравните сценарии: load_chat подходит, если нужен быстрый интерфейс к совместимому API без дополнительной логики; ручной ChatInterface из отдельного гайда нужен при своей фильтрации ролей, сложной обработке файлов или валидации ответов. Таблица ниже сравнивает проверяемый контракт, а не абстрактную «лучшую» технологию. |Сценарий|load_chat|своя fn в ChatInterface| |---|---|---| |Подключение совместимого chat API|base_url и model|пишете вызов сами| |Особая бизнес-валидация|не следует из простого вызова|вставляете в функцию| |Текстовый тест без файлов|file_types=None|определяете входы сами|
Перед первой демонстрацией возьмите прямой контрольный ответ upstream API: status, модель, content и признак завершения. Потом повторите тот же смысловой вопрос через gr.load_chat. Если прямой вызов работает, а UI нет, ищите несовпадение base_url, streaming и сериализации сообщений. Если оба способа не работают, замена UI не устранит сбой модели. Не используйте в качестве проверки вопрос об актуальных новостях без подключения источников: отсутствие свежих сведений ожидаемо для локальной модели и не говорит о неправильной интеграции.
Критерии приёмки
- base_url достигает именно работающего chat endpoint.
- MODEL_ID совпадает с моделью на сервере.
- Файловая загрузка выключена для первой текстовой проверки.
Типичные ошибки и чего не делать
- Не приравнивать /v1 URL к полной совместимости API.
- Не хранить настоящий токен в исходном коде.
- Не ожидать актуальных сведений без источника данных.
FAQ
Нужен ли свой callback?
Для базового совместимого chat API — нет.
Как выключить файлы?
Задайте file_types=None.
Заменяет ли token авторизацию Gradio?
Нет, он используется для upstream-модели.
Официальные источники
Частые вопросы
Нужен ли свой callback?
Для базового совместимого chat API — нет.
Как выключить файлы?
Задайте file_types=None.
Заменяет ли token авторизацию Gradio?
Нет, он используется для upstream-модели.
Читайте также
Как добавить ползунок temperature к AI-чату через additional_inputs в Gradio
Связываем Slider и функцию чат-бота без ошибки порядка аргументов; проверяем значение до вызова нейросети.
Как добавить примеры вопросов в Gradio, не вызывая нейросеть по клику
Настраиваем examples и run_examples_on_click=False, чтобы пользователь отредактировал вопрос перед дорогим вызовом модели.
Как группировать запросы к ML-модели через batch=True в Gradio Interface
Сверяем сигнатуру пакетной функции, tuple of lists и max_batch_size на детерминированном тесте.
Комментарии
Пока тихо. Скажите первое слово