Гайд · TNWS AI
Как проверить даты выставления и оплаты счёта из AI-ответа
Проверяем ISO-даты extracted invoice: срок оплаты не раньше даты выставления, невалидные даты отклоняются.
Практическая задача
Предотвратить автоматическое создание напоминания на основании перепутанных или невозможных дат. Для учебного контракта issue_date и due_date представлены календарными датами YYYY-MM-DD без времени и часового пояса. date.fromisoformat разбирает строку, но бизнес-правило сравнения нужно назначить отдельно. Мы разрешаем оплату в день выставления и отклоняем срок раньше него. На настоящем документе форматы и часовой пояс следует согласовать с источником, а сомнительную дату отправлять на ручную сверку. Этот сценарий применим, когда у команды есть контроль над входом или выходом AI-приложения и требуется конкретный сигнал о нарушении правила, а не общее впечатление от нескольких ответов. Все входы ниже вымышлены; числовые результаты относятся только к этим примерам.
Документация методов Python и синтаксиса workflow сверена 20.09.2026. Если вы используете другое окружение, проверьте совместимость до копирования команд. Статья не утверждает, что показанный код измеряет качество конкретной модели или заменяет ручную проверку.
Подготовка и проверяемый контракт
Перед запуском запишите, какие данные считаются входом, что является ожидаемым результатом, что именно означает отказ и кому предстоит разбирать расхождение. Для такой проверки храните тестовый вход, ожидаемый результат и фактический исход раздельно: если они смешаны, тест может подтверждать сам себя. Используйте стабильные синтетические ID, чтобы видеть ошибку в журнале, не раскрывая содержимое клиентских обращений.
Сначала прогоните тест на маленьком входе, где правильное поведение известно вручную. Затем внесите одну контролируемую ошибку и убедитесь, что код её замечает. После этого верните корректный набор и только тогда расширяйте проверку до реальных данных. Не переносите демонстрационные численные значения или пороги в производство без отдельного обоснования: они выбраны для наглядности, а не рассчитаны по вашей аудитории.
Вход и ожидаемый результат
Счёт от 2026-09-02 со сроком 2026-09-12 проходит; AI-вариант со сроком 2026-08-12 не проходит. Оба срока не ранее 2 сентября проходят; 12 августа возвращает False, 31 сентября вызывает ValueError. Перед тем как применять правило к закрытым данным, обсудите пограничные случаи, которые могут поменять интерпретацию входа. Запись в документации о границах теста не менее важна, чем зелёный check.
Пошаговые действия
- Создайте
scripts/check.pyв корне репозитория и вставьте код из блока ниже. Он использует названия функций стандартной библиотеки, указанные в официальных ссылках в конце статьи. - Выполните
python scripts/check.pyлокально. Не продолжайте, если уже демонстрационная фикстура даёт иной результат: сначала проверьте копирование кода и кодировку файла. - Скопируйте код и выполните три проверки порядка: позже, в тот же день, раньше. Проверьте четвёртый случай с невозможным календарным днём, чтобы отсутствие ошибки парсинга не выглядело успешным результатом. Для фактического счёта сначала зафиксируйте, что дата в источнике имеет именно ISO-формат; иначе разберите её по явно согласованному формату. Храните отдельно исходную строку OCR и нормализованную дату, чтобы ревьюер мог заметить ошибку распознавания.
- Создайте
.github/workflows/ai-corpus-check.ymlиз YAML-шаблона. Событиеpull_requestполезно для проверки данных до слияния; чтение репозитория ограниченоpermissions: contents: read. Скрипт не должен получать ключ внешней модели или реальные секреты. - В разделе Actions откройте job
check, сопоставьте его код завершения с локальным прогоном и зафиксируйте ссылку на проверенный коммит в PR. Не принимайте зелёный результат на старой ревизии за проверку последнего изменения.
# scripts/check.py
from datetime import date
def dates_ok(issue,due):
start=date.fromisoformat(issue)
deadline=date.fromisoformat(due)
return deadline>=start
assert dates_ok('2026-09-02','2026-09-12')
assert dates_ok('2026-09-02','2026-09-02')
assert not dates_ok('2026-09-02','2026-08-12')
try: dates_ok('2026-09-31','2026-10-12')
except ValueError: print('invalid calendar date rejected')
else: raise AssertionError('invalid date accepted')
name: AI corpus checks
on:
pull_request:
permissions:
contents: read
jobs:
check:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v7
- uses: actions/setup-python@v7
with:
python-version: '3.13'
- run: python scripts/check.py
Ошибки интерпретации и границы
Даты не доказывают юридическую силу счёта; праздничные дни, банковский календарь и договорные условия здесь не рассматриваются. Если вы расширяете набор случаев, добавляйте не только новые примеры, но и отрицательные случаи, на которых тест обязан упасть. Проверяйте, что изменение expected прошло ревью отдельно от изменения кода: иначе можно незаметно изменить правило под текущий ответ системы. Избегайте вывода полного приватного набора в CI и не сохраняйте в артефактах ответ закрытой модели без решения о доступе и хранении.
Ошибка выполнения самого Python, нераспознанный формат входа и обнаруженный бизнес-дефект — разные ситуации. В сообщении теста указывайте тип проблемы и безопасный ID. Если тест требует внешний сервис, вынесите его из PR с недоверенным кодом и явно ограничьте доступ к токенам; этот пример намеренно работает локально. Перед публикацией каких-либо результатов опишите методику, область применения и происхождение примеров, иначе читатель воспримет демонстрационную арифметику как характеристику продукта.
Практический разбор именно этого контроля
Предотвратить автоматическое создание напоминания на основании перепутанных или невозможных дат. Для самостоятельной проверки сначала выпишите три наблюдаемых состояния: допустимый вход, намеренно недопустимый вход и видимый сигнал отказа. В данной фикстуре это выглядит так: Счёт от 2026-09-02 со сроком 2026-09-12 проходит; AI-вариант со сроком 2026-08-12 не проходит. При успешном тесте ожидается: Оба срока не ранее 2 сентября проходят; 12 августа возвращает False, 31 сентября вызывает ValueError. Не превращайте это в числовой KPI: здесь проверяется контракт на конкретных примерах, а не поведение модели на пользовательском трафике.
Даты не доказывают юридическую силу счёта; праздничные дни, банковский календарь и договорные условия здесь не рассматриваются. Подключая проверку к продукту, расположите её до той операции, ради которой она написана: парсинга, сохранения, отображения или экспорта. Для каждого нового формата добавляйте отдельный негативный пример и письменное решение, почему он отклоняется. Отдельно просмотрите обработку ошибок: система должна отличать невалидный ответ AI от сбоя тестовой инфраструктуры, а пользователь не должен видеть сырой стек или приватное содержимое.
Чек-лист финальной проверки
- Синтетический вход и ожидаемый исход согласованы предметным владельцем.
- Команда
python scripts/check.pyработает локально и в CI на одной версии файлов. - Негативный случай обнаруживается, а не только успешный случай проходит.
- Имена ID и меток уникальны там, где этого требует контракт.
- В репозитории, логах и артефактах нет реальных секретов и приватных текстов.
- Понятно, какой дефект тест находит и каких выводов о качестве AI он не даёт.
- Ссылки на применённые функции и синтаксис workflow перепроверены при переносе.
FAQ
Можно ли автоматически исправить перепутанные даты?
Нет, нужно сравнить с исходным документом.
Что означает срок в тот же день?
Тест допускает его по явному учебному правилу; ваша политика может отличаться.
Как обработать другой формат?
Явно согласовать вход и написать отдельный парсер с тестами.
Почему исходную строку хранить?
Она помогает обнаружить ошибку распознавания и восстановить источник.
Что делать после обнаружения сбоя
Сохраните конкретный ID, воспроизведите его на текущей ревизии и отделите ошибку входных данных от ошибки функции. Если неверна контракт, исправьте её после предметного ревью; если неверен код, сначала оставьте проваливающийся тест, затем вносите исправление. После зелёного запуска просмотрите соседние случаи с похожими признаками, чтобы локальная правка не изменила другое согласованное поведение. Сохраните версии кода, набора и параметров запуска рядом с выводом: без них сравнивать результаты в будущем нельзя. Не приводите цифру из синтетического примера как измеренный показатель продукта.
Официальные первоисточники
Проверено 20.09.2026: 1, 2, 3, 4. Описание переписано своими словами; изменяемые версии и поля нужно повторно сверять перед дальнейшим использованием.
Читайте также
Как исключить bias из weight decay через Optax
Optax 0.2.6: маска add_decayed_weights применяет decay к kernel и оставляет bias без изменения.
Как использовать Huber loss в Optax для регрессии с выбросами
Optax 0.2.6: Huber loss квадратичен около нуля и линеен после delta; проверяем ошибки 0,5 и 2.
Как использовать sigmoid focal loss в Optax
Optax 0.2.6: focal loss для logits 0 и labels 0/1 при gamma=2; проверка симметричного базового значения.
Комментарии
Пока тихо. Скажите первое слово