Как найти дубли и пустые поля в CSV-наборе для оценки AI

Перед кодом сформулируйте один проверяемый инвариант из задачи: что конкретно должно пройти и какой специально нарушенный пример обязан завершиться ошибкой. Используйте синтетические обращения и стабильные ID. Данные, попавшие в репозиторий или журнал CI, могут увидеть участники проекта; не копируйте сюда реальные обращения, ключи и закрытые документы. Фикстура не должна зависеть от сегодняшнего ответа модели: ожидаемое значение задаётся после предметной проверки.

Оставьте тестовые файлы рядом с кодом. При изменении бизнес-правила обновляйте его описание и expected осознанно, отдельным ревью. Простой зелёный запуск не является доказательством: сначала проверьте, что отрицательный кейс действительно делает job красным. Ошибка должна сообщать ID или номер строки, но не раскрывать чувствительный исходный текст.

Входная фикстура, которую можно скопировать

Сохраните строки в обозначенный ниже файл; комментарии с путями — пояснение и не входят в JSONL или CSV. Если пример показывает две версии ответа, прогоните их отдельно, как описано в шагах.

id,input,expected
urgent-payment,Срочно: не проходит оплата,urgent
receipt-question,Когда придёт чек?,normal

Пошаговая реализация

1. Создайте каталог scripts и файл scripts/evaluate.py; при необходимости добавьте каталог data и пример из предыдущего блока. Убедитесь, что кодировка текстовых файлов — UTF-8.
2. Скопируйте скрипт ниже и запустите команду python scripts/evaluate.py локально. Для проекта с отдельным модулем замените демонстрационную функцию на импорт приложения. Сначала сохраните исходное проверяемое поведение.
3. Создайте CSV и сохраните скрипт. Сначала выполните его локально: при корректных двух строках увидите два разных ID. Добавьте вторую строку с urgent-payment — получите явную ошибку с номером строки. Затем в workflow запускайте именно этот скрипт первым шагом перед дорогой оценкой модели; если корпус некорректен, не делайте внешних запросов. Проверяйте reader.fieldnames точно: лишний пробел после имени колонки сделает файл несовместимым с ожидаемой схемой и должен быть видимым исправлением в PR. Если таблицу экспортирует Excel, проверьте кодировку UTF-8 и форму кавычек.
4. Добавьте workflow из следующего блока в .github/workflows/ai-evaluation.yml. Он запускается для pull request и не передаёт секреты коду из PR. Если сетевой интеграционный тест всё же необходим, выведите его в отдельный доверенный workflow и ограничьте доступ к ключу.
5. Откройте успешный и намеренно неуспешный запуск. Убедитесь, что статус job соответствует коду завершения Python, а сообщение указывает на кейс, который нужно исправлять. После проверки верните корректные данные, не оставляйте искусственный сбой в ветке.

# scripts/evaluate.py
import csv
from pathlib import Path

seen, errors = set(), []
with Path("data/cases.csv").open(newline="", encoding="utf-8") as stream:
    reader = csv.DictReader(stream)
    if reader.fieldnames != ["id", "input", "expected"]:
        raise SystemExit("Expected columns: id,input,expected")
    for line, row in enumerate(reader, 2):
        case_id = (row["id"] or "").strip()
        text = (row["input"] or "").strip()
        label = (row["expected"] or "").strip()
        if not case_id or not text:
            errors.append(f"line {line}: empty id or input")
        if case_id in seen:
            errors.append(f"line {line}: duplicate id {case_id}")
        seen.add(case_id)
        if label not in {"urgent", "normal"}:
            errors.append(f"line {line}: unknown expected label")
if errors:
    raise SystemExit("\n".join(errors))
print(f"CSV validated: {len(seen)} distinct case IDs")

Готовый workflow для проверки в pull request

Файл ниже запускает скрипт через Python. permissions: contents: read оставляет встроенному токену только чтение кода. Если вы уже используете другой CI, сохраняйте тот же негативный тест и ненулевой код выхода, а файл workflow адаптируйте к своей инфраструктуре.

name: AI evaluation
on:
  pull_request:
permissions:
  contents: read
jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v7
      - uses: actions/setup-python@v7
        with:
          python-version: '3.13'
      - run: python scripts/evaluate.py

Пример входа и ожидаемого результата

Вход из двух строк проходит и сообщает CSV validated: 2 distinct case IDs. Дополнительная строка с уже существующим urgent-payment даёт line 4: duplicate id urgent-payment. Пустой input приводит к empty id or input и не попадает в оценку. Это наблюдаемое поведение демонстрационного кода, а не отчёт о запуске на внешней модели. В production проверяйте, что конкретный контракт подходит к бизнес-процессу, и сохраняйте вход/ожидание рядом с именем кейса.

Где этот тест может обмануть

csv.DictReader читает поля по заголовкам, а newline="" соответствует рекомендации документации для файлов CSV. Номер строки здесь рассчитан на простой файл без встроенных переносов внутри кавычек; если такие поля нужны, ориентируйтесь на reader.line_num. Уникальный ID не гарантирует уникальный текст: если важно убрать содержательные дубли, добавьте отдельную нормализацию входа и обсуждайте её правила. Если тест проверяет только формат, не представляйте его как оценку фактической правильности ответа. Если тест проверяет только список ID, не делайте вывода о полноте подтверждающих документов. Разделяйте сбой инфраструктуры, некорректный корпус и нарушение прикладного инварианта: у этих проблем разные действия.