Гайды.
Пошаговые инструкции по нейросетям: промпты, настройки, сравнение моделей и рабочие сценарии для учёбы, кода и картинок.
1322 материала
Наш Telegram
Новости ИИ без воды
Как показывать локальную генерацию потоком через TextIteratorStreamer
Потоковые фрагменты текста, фоновой поток и сборка финального ответа: проверяем завершение и не сохраняем частичный вывод.
Как показывать ответ нейросети потоком в Gradio ChatInterface
Показываем частичный ответ LLM без его перезаписи: генератор yield, накопление текста и тест остановки.
Как показывать ответ LlamaIndex по мере генерации через streaming
streaming=True, response_gen и проверка полного ответа, отмены запроса и ограничений streaming-модели.
Как получить и проверить embedding текста в Sentence Transformers
Генерируем векторы для нескольких предложений, проверяем форму массива, версию модели, язык и сохранение связи с исходной строкой.
Как получить embeddings через llama.cpp /v1/embeddings и проверить pooling
Запускаем специализированную embedding-модель, кодируем две строки и проверяем размерность и числовой формат.
Как получить embeddings через vLLM и не перепутать модель с чат-LLM
Подаём две строки в /v1/embeddings со специализированной моделью и проверяем количество и размерность векторов.
Как получить JSON по схеме через response_format в llama.cpp server
Задаём объектную JSON Schema в chat endpoint, разбираем строку content и валидируем обязательные поля отдельно.
Как запросить повторный вызов инструмента Pydantic AI через ModelRetry
ModelRetry в инструменте Pydantic AI: недостающая часть кода, ограниченный бюджет попыток и разница между просьбой к модели и исправлением данных.
Как посчитать токены русского промпта через /tokenize в llama.cpp
Считаем токены конкретным токенизатором GGUF, проверяем структуру tokens и риск переполнения контекста.
Как принять изображение и текст в Gradio Multimodal ChatInterface для vision-модели
Разбираем message с text и files, проверяем путь и объясняем, как не выдать текстовый чат за анализ изображения.
Как принять TXT-документ для RAG через gr.File и проверить его перед индексацией
Ограничиваем тип и размер файла, читаем UTF-8 и отделяем загрузку документа от векторной индексации.
Как протестировать инструмент агента Pydantic AI без вызова LLM через TestModel
Локальный тест инструмента с TestModel и override: какие свойства можно проверить без LLM, почему нельзя оценивать так качество настоящих ответов.