Поиск.
Найдено: 0 моделей и 20 материалов
Материалы
Как показывать локальную генерацию потоком через TextIteratorStreamer
Потоковые фрагменты текста, фоновой поток и сборка финального ответа: проверяем завершение и не сохраняем частичный вывод.
Как найти релевантный фрагмент через semantic_search в Sentence Transformers
Кодируем вопрос и документы, связываем corpus_id с текстом, проверяем top_k и строим отказ при отсутствии подходящего источника.
Как извлечь ответ из заданного текста через Transformers question-answering
Контекст, вопрос и контроль отсутствующего ответа: извлекаем span из документа, проверяем offsets и не принимаем догадку за факт.
Как не потерять конец текста при truncation и padding в Transformers
max_length, truncation и padding для пары сообщений: проверяем, что юридически важная оговорка не исчезает до вызова модели.
Как обработать большой поток отзывов пакетами в Transformers без переполнения памяти
batch_size, потоковый источник и честный замер производительности: сохраняем соответствие входов и выходов и тестируем OOM.
Как оформить диалог для локальной LLM через apply_chat_template в Transformers
Роли user и assistant, add_generation_prompt и защита от двойных спецтокенов: проверяем входной шаблон перед генерацией.
Как ограничить длину генерации в Transformers через max_new_tokens и проверить результат
Граница новых токенов против общей длины входа, детерминированный тест и контроль обрезанного ответа на локальной instruct-модели.
Как определить тональность отзыва через Transformers pipeline и проверить ошибочные метки
Практика text-classification для англоязычных отзывов: явная модель, оценки уверенности, проверка отрицаний и схема ручной приёмки.
Как получить и проверить embedding текста в Sentence Transformers
Генерируем векторы для нескольких предложений, проверяем форму массива, версию модели, язык и сохранение связи с исходной строкой.
Как разметить темы заявок без обучения через zero-shot-classification в Transformers
Candidate labels, hypothesis_template и multi_label: размечаем англоязычные обращения без обучения новой головы и проверяем ошибочные категории.
Как собрать имена и организации из текста через Transformers NER без разорванных токенов
Token classification и aggregation_strategy=simple: выделяем сущности с offsets, сверяем фрагменты оригинала и не публикуем сырые догадки.
Как выбрать cosine или dot для нормализованных embeddings в Sentence Transformers
Проверяем единичную норму, сопоставляем две метрики и понимаем, когда dot меняет ранжирование: таблица проверяемых сценариев.
Как запускать Transformers без интернета через локальные файлы модели
Заранее сохраняем модель и токенизатор, проверяем local_files_only и HF_HUB_OFFLINE, не обещая работу при отсутствующих весах.
Как показывать ход работы LangChain-агента через stream updates и messages
Различия stream_mode updates и messages, потоковая выдача токенов и контроль конца ответа без показа сырого tool JSON.
Как показывать ответ нейросети потоком в Gradio ChatInterface
Показываем частичный ответ LLM без его перезаписи: генератор yield, накопление текста и тест остановки.
Как показывать ответ LlamaIndex по мере генерации через streaming
streaming=True, response_gen и проверка полного ответа, отмены запроса и ограничений streaming-модели.
Как квантовать embeddings в int8 через SentenceTransformer.encode
Сравниваем тип и размер массива float32/int8, объясняем необходимость калибровки и измерения recall перед заменой хранилища.
Как найти смысловые дубли вопросов через paraphrase_mining
Ищем пары похожих вопросов, читаем позиции и score, исключаем отрицания и цифры ручной проверкой до объединения записей.
Как переранжировать результаты поиска через CrossEncoder.rank
Повторно проверяем top-k кандидатов для одного вопроса, сохраняем corpus_id и не применяем дорогую парную модель ко всей коллекции.
Как измерить Recall@k поиска через InformationRetrievalEvaluator
Готовим queries, corpus и relevant_docs, проверяем golden IDs и сравниваем качество модели до смены индекса.