Как проверить canonical на языке AI-перевода статьи

Перед запуском запишите, какие данные считаются входом, что является ожидаемым результатом, что именно означает отказ и кому предстоит разбирать расхождение. Для такой проверки храните тестовый вход, ожидаемый результат и фактический исход раздельно: если они смешаны, тест может подтверждать сам себя. Используйте стабильные синтетические ID, чтобы видеть ошибку в журнале, не раскрывая содержимое клиентских обращений.

Сначала прогоните тест на маленьком входе, где правильное поведение известно вручную. Затем внесите одну контролируемую ошибку и убедитесь, что код её замечает. После этого верните корректный набор и только тогда расширяйте проверку до реальных данных. Не переносите демонстрационные численные значения или пороги в производство без отдельного обоснования: они выбраны для наглядности, а не рассчитаны по вашей аудитории.

Вход и ожидаемый результат

Русская /ru/a имеет canonical /ru/a; полностью переведённая /en/a ошибочно указывает canonical /ru/a. Функция обнаруживает en→ru; после установки self-canonical печатает пустой список. Перед тем как применять правило к закрытым данным, обсудите пограничные случаи, которые могут поменять интерпретацию входа. Запись в документации о границах теста не менее важна, чем зелёный check.

Пошаговые действия

1. Создайте scripts/check.py в корне репозитория и вставьте код из блока ниже. Он использует названия функций стандартной библиотеки, указанные в официальных ссылках в конце статьи.
2. Выполните python scripts/check.py локально. Не продолжайте, если уже демонстрационная фикстура даёт иной результат: сначала проверьте копирование кода и кодировку файла.
3. Передайте в проверку только утверждённые полноценные переводы, чтобы не смешивать их с частичной локализацией шаблона. Запустите ошибочный пример и найдите английский URL, указывающий на русский оригинал. Убедитесь, что /en/a действительно содержит английскую основную часть, после чего исправьте canonical в HTML и проверьте self-ссылку на обеих страницах. Дубли с параметрами и отдельные региональные варианты разберите отдельно. После релиза сверьте hreflang и canonical на фактических URL, а не на черновых данных.
4. Создайте .github/workflows/ai-corpus-check.yml из YAML-шаблона. Событие pull_request полезно для проверки данных до слияния; чтение репозитория ограничено permissions: contents: read. Скрипт не должен получать ключ внешней модели или реальные секреты.
5. В разделе Actions откройте job check, сопоставьте его код завершения с локальным прогоном и зафиксируйте ссылку на проверенный коммит в PR. Не принимайте зелёный результат на старой ревизии за проверку последнего изменения.

# scripts/check.py
rows=[{'url':'https://example.org/ru/a','locale':'ru','canonical':'https://example.org/ru/a','translated':True},
      {'url':'https://example.org/en/a','locale':'en','canonical':'https://example.org/ru/a','translated':True}]
def wrong(rows):
    return [(p['locale'],p['url'],p['canonical']) for p in rows if p['translated'] and p['url']!=p['canonical']]
assert wrong(rows)==[('en',rows[1]['url'],rows[0]['url'])]
rows[1]['canonical']=rows[1]['url']
assert wrong(rows)==[]
print('cross-language canonical:',wrong(rows))

name: AI corpus checks
on:
  pull_request:
permissions:
  contents: read
jobs:
  check:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v7
      - uses: actions/setup-python@v7
        with:
          python-version: '3.13'
      - run: python scripts/check.py

Как превратить фикстуру в блокирующий контроль

Приведённый Python намеренно содержит локальную демонстрацию с заранее известным ответом. Успешное завершение команды означает лишь то, что правило распознало показанный пример; оно не означает, что реальные опубликованные страницы прошли аудит. Перед использованием предложенного workflow замените учебные словари и XML на снимок данных вашего генератора страниц. Для задачи «Как проверить canonical на языке AI-перевода статьи» сохраните эталон отдельно от проверяемого вывода, посчитайте найденные нарушения и завершайте программу ненулевым кодом, если список ошибок непустой: после диагностического вывода добавьте проверку вида if errors: raise SystemExit(1), где errors — результат именно вашего контроля. Проверьте этот переход двумя отдельными прогонами: сначала подайте намеренно испорченный экспорт и убедитесь, что job красный, затем исправьте экспорт и дождитесь зелёного результата. Не меняйте ожидаемый результат вместе с данными лишь ради прохождения CI. Отдельно проверяйте доступность URL и полноту выгрузки, иначе пустой снимок даст ложное спокойствие.

Ошибки интерпретации и границы

Это проверка политики конкретного двуязычного издания, а не гарантия того, какой URL будет выбран поиском. Если вы расширяете набор случаев, добавляйте не только новые примеры, но и отрицательные случаи, на которых тест обязан упасть. Проверяйте, что изменение expected прошло ревью отдельно от изменения кода: иначе можно незаметно изменить правило под текущий ответ системы. Избегайте вывода полного приватного набора в CI и не сохраняйте в артефактах ответ закрытой модели без решения о доступе и хранении.

Ошибка выполнения самого Python, нераспознанный формат входа и обнаруженный бизнес-дефект — разные ситуации. В сообщении теста указывайте тип проблемы и безопасный ID. Если тест требует внешний сервис, вынесите его из PR с недоверенным кодом и явно ограничьте доступ к токенам; этот пример намеренно работает локально. Перед публикацией каких-либо результатов опишите методику, область применения и происхождение примеров, иначе читатель воспримет демонстрационную арифметику как характеристику продукта.

Практический разбор именно этого контроля

Не потерять самостоятельно переведённую версию из-за неправильного сигнала о предпочтительном URL. Для самостоятельной проверки сначала выпишите три наблюдаемых состояния: допустимый вход, намеренно недопустимый вход и видимый сигнал отказа. В данной фикстуре это выглядит так: Русская /ru/a имеет canonical /ru/a; полностью переведённая /en/a ошибочно указывает canonical /ru/a. При успешном тесте ожидается: Функция обнаруживает en→ru; после установки self-canonical печатает пустой список. Не превращайте это в числовой KPI: здесь проверяется контракт на конкретных примерах, а не поведение модели на пользовательском трафике.