Гайды.
Пошаговые инструкции по нейросетям: промпты, настройки, сравнение моделей и рабочие сценарии для учёбы, кода и картинок.
1322 материала
Наш Telegram
Новости ИИ без воды
Как сравнить две редакции ответчика на одном наборе в MLflow Evaluate
Запускаем два predict_fn на одинаковых вопросах и отдельно сравниваем воспроизводимый тест обязательного ответа.
Как связать реплики диалога по session_id в MLflow Tracing
Передаём псевдоним пользователя и session_id, проверяем группировку двух запросов без хранения настоящих идентификаторов.
Как уменьшить размер embeddings через truncate_dim без потери контроля качества
Проверяем форму усечённого вектора и Recall@k, отдельно объясняем, почему truncation не делает любую модель Matryoshka.
Как вести двухшаговый диалог через llama.cpp /v1/chat/completions
Собираем messages, добавляем ответ assistant в историю и проверяем, что модель использует предыдущий вопрос.
Как включить автотрассировку вызовов OpenAI SDK в MLflow
Подключаем mlflow.openai.autolog к эксперименту и проверяем, что реальные вызовы SDK создают трассы.
Как проверить пользу prefix caching vLLM для повторных вопросов к документу
Включаем prefix caching, сохраняем общий префикс и измеряем время обработки повторных вопросов без обещания ускорения каждого ответа.
Как выбрать cosine или dot для нормализованных embeddings в Sentence Transformers
Проверяем единичную норму, сопоставляем две метрики и понимаем, когда dot меняет ранжирование: таблица проверяемых сценариев.
Как задать embedding-модель локально в LlamaIndex и не смешать индексы
Settings как глобальный fallback и локальный embed_model для конкретного индекса с тестом на совместимость после перезапуска.
Как получить список меток из русского текста через типизированную DSPy Signature
Класс Signature с InputField и OutputField задаёт структуру списка меток, который затем проверяется по допустимому словарю.
Как загрузить только нужные файлы в LlamaIndex через SimpleDirectoryReader
input_files, required_exts и recursive: не отправляем в индекс лишние файлы и проверяем метаданные источника.
Как запускать Transformers без интернета через локальные файлы модели
Заранее сохраняем модель и токенизатор, проверяем local_files_only и HF_HUB_OFFLINE, не обещая работу при отсутствующих весах.
Как зарегистрировать новую версию русского промпта в MLflow Prompt Registry
Создаём две неизменяемые версии промпта с переменными {{question}} и проверяем их форматирование без вызова модели.