Гайды.
Пошаговые инструкции по нейросетям: промпты, настройки, сравнение моделей и рабочие сценарии для учёбы, кода и картинок.
1322 материала
Наш Telegram
Новости ИИ без воды
Как найти очередь запросов vLLM по метрикам /metrics
Разделяем очередь и генерацию через метрики ожидающих запросов и времени ожидания; строим контрольный замер.
Как передать идентификатор клиента в Pydantic AI через deps и RunContext
Передача tenant через deps_type и RunContext в Pydantic AI: отделяем доступ к справке одного клиента от текста пользовательского запроса.
Как передать top_k в vLLM через extra_body и оценить эффект
Отправляем нестандартный для OpenAI параметр top_k через extra_body и сравниваем ответы на фиксированном корпусе.
Как переранжировать найденные документы через llama.cpp /v1/rerank
Запускаем reranker GGUF, подаём список кандидатов и проверяем порядок и связь результата с исходными документами.
Как переранжировать результаты поиска через CrossEncoder.rank
Повторно проверяем top-k кандидатов для одного вопроса, сохраняем corpus_id и не применяем дорогую парную модель ко всей коллекции.
Как подключить Chat API vLLM и проверить model ID до первого запроса
Запускаем vLLM с чат-моделью, получаем фактический model ID и проверяем форму ответа без предположений о содержимом.
Как подключить Gradio load_chat к локальному OpenAI-совместимому LLM API
Используем gr.load_chat с явным base_url и model, проверяем доступность и ограничения загрузки файлов.
Как подключить LLM API к Gradio ChatInterface и сохранить контекст диалога
Готовый Python-шаблон чат-интерфейса для совместимого LLM API: роль history, тест двух реплик и проверка ошибок модели.
Как подключить языковую модель к DSPy и проверить первый вызов
Подключаем DSPy к доступной модели через переменные окружения и отделяем ошибку соединения от ошибки сигнатуры.
Как добавлять правила конкретного клиента через динамические instructions Pydantic AI
Динамические instructions в Pydantic AI: передача разрешённого языка ответа из deps, два тестовых клиента и защита от недоверенного текста.
Как показать код рядом с ответом AI в Gradio через additional_outputs
Возвращаем текст и gr.Code как два выхода чат-функции; проверяем отсутствие кода при запросе вне сценария.
Как показать прогресс индексации документов RAG в Gradio
Подключаем gr.Progress к обработке фрагментов и проверяем, что процент отражает фактически завершённую работу.