Как получить и проверить embedding текста в Sentence Transformers

1. Запишите текст и стабильные идентификаторы исходных документов.
2. Установите версию 6.1.0 и загрузите названный checkpoint из его карточки.
3. Получите embedding сразу для трёх англоязычных предложений через encode.
4. Сопоставьте число строк массива и входов, измерьте размерность.
5. Сохраните идентификатор модели рядом с векторами и проверьте повторный поиск на контрольном наборе.

Подготовьте изолированное окружение и установите зафиксированный пакет: pip install "sentence-transformers==6.1.0". Библиотека потребует подходящих зависимостей и свободной памяти под выбранные веса; установка пакета не скачивает заранее любую модель. Перед тестом напечатайте установленную версию и зафиксируйте имя checkpoint. Не отправляйте в примеры клиентские имена, закрытые документы или ключи доступа.

Готовый шаблон

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
rows = [("a", "Returns are accepted within 14 days."),
        ("b", "A customer can return an item for two weeks."),
        ("c", "The train leaves at seven.")]
vectors = model.encode([text for _, text in rows])
assert vectors.shape[0] == len(rows)
print(vectors.shape)
for (doc_id, _), vector in zip(rows, vectors):
    print(doc_id, vector.shape, str(vector[:3]))

Запускайте первый раз на очень маленьком обезличенном наборе. Для каждой строки и документа сохраняйте стабильный ID: иначе невозможно выяснить, почему нейросеть выбрала конкретную запись. Если вывод отличается от ожидаемой формы, сначала проверьте состав входа, затем конфигурацию модели и только после этого настройки ранжирования. Не маскируйте ошибки ручной подстановкой заранее «правильного» ответа.

Конкретный вход и ожидаемый результат

Вход: три строки a/b/c, где a и b относятся к возврату, c — к поезду. Ожидаемый проверяемый выход — матрица с тремя строками и размерностью 384 для указанной модели; содержание координат заранее не объявляется константой. Сам факт близости a и b проверяется отдельным вызовом similarity.

Проверяйте структуру отдельно от смысла. Массив верного размера не означает хорошего поиска, а высокий score не удостоверяет факт в документе. Сохраните реальные выводы программы и сопоставьте их с заранее размеченными эталонными ID. При переносе на другой корпус обновите проверочные данные; простая замена входного предложения в коде не доказывает обобщения метода.

Разбор метода и ограничений

Embedding — не пересказ предложения и не готовый ответ пользователю. Это числовое представление, которое полезно вместе с известной метрикой и источником. При первой загрузке модель скачивает веса, а на следующем запуске может использовать cache; успешный вызов encode сам по себе не говорит, что файл a принадлежал нужному клиенту. Храните исходный ID, версию документа, checkpoint и параметры предобработки, иначе по одному вектору невозможно восстановить происхождение результата. Модель из примера документирована как англоязычная: русские фразы могут получить числовые векторы, но это ещё не подтверждает качество русского поиска. При переходе на многоязычный checkpoint переиндексируйте корпус, даже если случайно совпала размерность.

Дополнительный сценарий проверки

Тестирование начните с трёх строк разной тематики и повторите на реальных обезличенных документах. Проверьте пустые строки, длинные документы и дубли: такой вход технически может закодироваться, но это не значит, что поиск полезен. Для длинного файла сначала определите единицу индексации — один документ или осмысленные фрагменты: embedding длинного текста может не представлять ключевой факт в конце. Сравнивайте контрольные вопросы с ожидаемым doc_id, а не только форму массива. Нельзя трактовать первую координату как «вероятность возврата»: значения отдельных измерений не имеют такой очевидной семантики. Сохранённые вектора без указания модели могут превратиться в неисправимый архив при обновлении сервиса.

Критерии принятия