Как переранжировать результаты поиска через CrossEncoder.rank

1. Получите ограниченный список кандидатов от первого этапа поиска и сохраните их IDs.
2. Создайте CrossEncoder с моделью из официального примера.
3. Передайте одинаковый исходный вопрос и тексты кандидатов в rank.
4. Верните corpus_id к ID документа, а не к позиции всего индекса.
5. Сравните top-1 до и после rerank на размеченных вопросах.

Подготовьте изолированное окружение и установите зафиксированный пакет: pip install "sentence-transformers==6.1.0". Библиотека потребует подходящих зависимостей и свободной памяти под выбранные веса; установка пакета не скачивает заранее любую модель. Перед тестом напечатайте установленную версию и зафиксируйте имя checkpoint. Не отправляйте в примеры клиентские имена, закрытые документы или ключи доступа.

Готовый шаблон

from sentence_transformers import CrossEncoder

query = "A man is eating pasta."
docs = [("d1", "A man is eating food."),
        ("d2", "A man is riding a horse."),
        ("d3", "A man is eating a piece of bread.")]
model = CrossEncoder("cross-encoder/stsb-distilroberta-base")
for hit in model.rank(query, [text for _, text in docs]):
    doc_id, text = docs[hit["corpus_id"]]
    print(doc_id, float(hit["score"]), text)

Запускайте первый раз на очень маленьком обезличенном наборе. Для каждой строки и документа сохраняйте стабильный ID: иначе невозможно выяснить, почему нейросеть выбрала конкретную запись. Если вывод отличается от ожидаемой формы, сначала проверьте состав входа, затем конфигурацию модели и только после этого настройки ранжирования. Не маскируйте ошибки ручной подстановкой заранее «правильного» ответа.

Конкретный вход и ожидаемый результат

Вход — вопрос о человеке, который ест пасту, и три англоязычных кандидата о еде, лошади и хлебе. Ожидается ранжированный список из трёх doc_id; d1 или d3 должны быть проверены выше нерелевантного d2 на реальном запуске. Конкретный порядок двух похожих записей и численные scores не фиксируются.

Проверяйте структуру отдельно от смысла. Массив верного размера не означает хорошего поиска, а высокий score не удостоверяет факт в документе. Сохраните реальные выводы программы и сопоставьте их с заранее размеченными эталонными ID. При переносе на другой корпус обновите проверочные данные; простая замена входного предложения в коде не доказывает обобщения метода.

Разбор метода и ограничений

Cross-encoder рассматривает вопрос и документ совместно. Это делает второй этап полезным для неоднозначных кандидатов, но стоимость работы растёт с количеством пар. Схема «всё заново прогнать через CrossEncoder» для большого архива обычно непропорциональна: сначала дешёвый retrieval, затем ограниченный rerank. Замерьте задержку при 10 и 50 кандидатах и выберите бюджет по p95 своего сервиса. Примерные scores модели STS описывают похожесть англоязычных фраз, а не право на доступ к документу. Если кандидат из другого tenant попал в набор, reranker может поставить его первым; контроль доступа должен сработать раньше. Сохраните ID кандидата отдельно от его временной позиции внутри списка.

Дополнительный сценарий проверки

Создайте вопросы с похожими словами, но разными условиями: «returns within 14 days» и «returns after 14 days». Если первый этап не нашёл корректный документ, rerank не сможет изобрести его из пустоты. Поэтому отдельно измеряйте recall кандидатов и accuracy после перестановки. Проверяйте два сценария: top-10 содержит нужный текст, top-10 его не содержит. Во втором повышение score нерелевантного отрывка не является улучшением. Для русскоязычных договоров выберите reranker с подтверждённой поддержкой русского, иначе англоязычная демонстрационная модель может выдать цифры без качества. После перехода на новую модель не сравнивайте абсолютные scores со старой без калибровки. Ответ LLM формируйте только из фактически разрешённых и проверенных источников.

Критерии принятия