Как выявить утечку одинаковых AI-примеров между train и test

Перед запуском запишите, какие данные считаются входом, что является ожидаемым результатом, что именно означает отказ и кому предстоит разбирать расхождение. Для AI-оценки важно отдельно хранить вход, ожидаемую метку и фактический результат: если они смешаны, тест может подтверждать сам себя. Используйте стабильные синтетические ID, чтобы видеть ошибку в журнале, не раскрывая содержимое клиентских обращений.

Сначала прогоните тест на маленьком входе, где правильное поведение известно вручную. Затем внесите одну контролируемую ошибку и убедитесь, что код её замечает. После этого верните корректный набор и только тогда расширяйте проверку до реальных данных. Не переносите демонстрационные численные значения или пороги в производство без отдельного обоснования: они выбраны для наглядности, а не рассчитаны по вашей аудитории.

Вход и ожидаемый результат

Train содержит Когда придёт чек?, test содержит когда придёт чек? под другим ID. Ожидается обнаружение пересечения и отказ от принятия оценки. Результат демонстрации: [('TE-8', 'TR-1')]; TE-9 не совпадает ни с одним train. При переносе в production такая пара должна стать ошибкой подготовки оценки, а не просто предупреждением. Перед тем как применять правило к закрытому корпусу, обсудите пограничные случаи, которые могут поменять интерпретацию входа. Запись в документации о границах теста не менее важна, чем зелёный check.

Пошаговые действия

1. Создайте scripts/check.py в корне репозитория и вставьте код из блока ниже. Он использует названия функций стандартной библиотеки, указанные в официальных ссылках в конце статьи.
2. Выполните python scripts/check.py локально. Не продолжайте, если уже демонстрационная фикстура даёт иной результат: сначала проверьте копирование кода и кодировку файла.
3. Сначала запустите синтетический тест и убедитесь, что пара TE-8/TR-1 обнаружена. В реальном CI замените массивы чтением двух файлов, а демонстрационный блок print замените ненулевым завершением при overlap. Сохраните рядом с итоговым отчётом списки пересечений по ID, не полный текст вопроса. После удаления повтора повторите проверку. Для корпуса ответов на одного клиента дополнительно разделяйте train/test по клиенту или документу, если задачей является обобщение на новые сущности.
4. Создайте .github/workflows/ai-corpus-check.yml из YAML-шаблона. Событие pull_request полезно для проверки корпуса до слияния; чтение репозитория ограничено permissions: contents: read. Скрипт не должен получать ключ внешней модели или реальные секреты.
5. В разделе Actions откройте job check, сопоставьте его код завершения с локальным прогоном и зафиксируйте ссылку на проверенный коммит в PR. Не принимайте зелёный результат на старой ревизии за проверку последнего изменения.

# scripts/check.py
import unicodedata

def key(text):
    return unicodedata.normalize("NFC", text).strip().casefold()

train = [{"id":"TR-1","text":"Когда придёт чек?"}]
test = [{"id":"TE-8","text":"  когда придёт чек?  "},
        {"id":"TE-9","text":"Срочно: платёж не прошёл"}]
index = {key(row["text"]): row["id"] for row in train}
overlap = [(row["id"], index[key(row["text"])])
           for row in test if key(row["text"]) in index]
if overlap:
    print("Expected overlap in demo:", overlap)
else:
    raise SystemExit("Demo overlap was not detected")

name: AI corpus checks
on:
  pull_request:
permissions:
  contents: read
jobs:
  check:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v7
      - uses: actions/setup-python@v7
        with:
          python-version: '3.13'
      - run: python scripts/check.py

Ошибки интерпретации и границы

Проверка точных повторов не находит семантически эквивалентные перефразы. casefold() может изменить важное для некоторых языков различие; политика нормализации должна соответствовать данным. Раздельный корпус не доказывает качество модели, лишь устраняет один источник утечки. Если вы увеличиваете корпус, добавляйте не только новые примеры, но и отрицательные случаи, на которых тест обязан упасть. Проверяйте, что изменение expected прошло ревью отдельно от изменения кода: иначе можно незаметно изменить правило под текущий ответ системы. Избегайте вывода полного корпуса в CI и не сохраняйте в артефактах ответ закрытой модели без решения о доступе и хранении.

Ошибка выполнения самого Python, нераспознанный формат входа и обнаруженный бизнес-дефект — разные ситуации. В сообщении теста указывайте тип проблемы и безопасный ID. Если тест требует внешний сервис, вынесите его из PR с недоверенным кодом и явно ограничьте доступ к токенам; этот пример намеренно работает локально. Перед публикацией каких-либо результатов опишите методику, размер и происхождение набора, иначе читатель воспримет демонстрационную арифметику как характеристику продукта.

Чек-лист финальной проверки