Гайд · TNWS AI
Как проверить self-hreflang каждой версии AI-статьи
Проверка, что ru и en страницы перечисляют самих себя в hreflang-наборе: тест метаданных перед публикацией.
Практическая задача
Не выпускать неполный hreflang-кластер после автоматического перевода материала. Документация Google требует, чтобы каждая языковая версия перечисляла себя и остальные языковые версии. Наш проверяемый контракт хранит код локали в CMS отдельно от URL: нельзя пытаться вывести язык лишь из строки пути, поскольку маршруты меняются. Пустой набор ссылок не равнозначен рабочей локализации. Этот скрипт проверяет self-связь, но не взаимность между разными URL — для неё есть отдельный тест. Этот сценарий применим, когда у команды есть контроль над входом или выходом AI-приложения и требуется конкретный сигнал о нарушении правила, а не общее впечатление от нескольких ответов. Все входы ниже вымышлены; числовые результаты относятся только к этим примерам.
Документация методов Python и синтаксиса workflow сверена 26.09.2026. Если вы используете другое окружение, проверьте совместимость до копирования команд. Статья не утверждает, что показанный код измеряет качество конкретной модели или заменяет ручную проверку.
Подготовка и проверяемый контракт
Перед запуском запишите, какие данные считаются входом, что является ожидаемым результатом, что именно означает отказ и кому предстоит разбирать расхождение. Для такой проверки храните тестовый вход, ожидаемый результат и фактический исход раздельно: если они смешаны, тест может подтверждать сам себя. Используйте стабильные синтетические ID, чтобы видеть ошибку в журнале, не раскрывая содержимое клиентских обращений.
Сначала прогоните тест на маленьком входе, где правильное поведение известно вручную. Затем внесите одну контролируемую ошибку и убедитесь, что код её замечает. После этого верните корректный набор и только тогда расширяйте проверку до реальных данных. Не переносите демонстрационные численные значения или пороги в производство без отдельного обоснования: они выбраны для наглядности, а не рассчитаны по вашей аудитории.
Вход и ожидаемый результат
Страница /ru/a с locale=ru содержит только en→/en/a; self ru→/ru/a отсутствует. До исправления возвращается пара ru-URL и ru, после правки печатается пустой список. Перед тем как применять правило к закрытым данным, обсудите пограничные случаи, которые могут поменять интерпретацию входа. Запись в документации о границах теста не менее важна, чем зелёный check.
Пошаговые действия
- Создайте
scripts/check.pyв корне репозитория и вставьте код из блока ниже. Он использует названия функций стандартной библиотеки, указанные в официальных ссылках в конце статьи. - Выполните
python scripts/check.pyлокально. Не продолжайте, если уже демонстрационная фикстура даёт иной результат: сначала проверьте копирование кода и кодировку файла. - Получите URL, заявленную локаль и набор альтернатив из той версии HTML, которая реально отдаётся посетителю. Запустите пример и убедитесь, что ru отсутствует лишь на первой странице. Исправьте генератор шаблона так, чтобы он выдавал self для всех языков кластера, а не вручную допишите один документ. Затем сравните ru и en версии в браузере и запустите отдельную проверку обратных ссылок. Если страница ещё не переведена, не объявляйте её полноправной альтернативой.
- Создайте
.github/workflows/ai-corpus-check.ymlиз YAML-шаблона. Событиеpull_requestполезно для проверки данных до слияния; чтение репозитория ограниченоpermissions: contents: read. Скрипт не должен получать ключ внешней модели или реальные секреты. - В разделе Actions откройте job
check, сопоставьте его код завершения с локальным прогоном и зафиксируйте ссылку на проверенный коммит в PR. Не принимайте зелёный результат на старой ревизии за проверку последнего изменения.
# scripts/check.py
rows=[{'url':'https://example.org/ru/a','locale':'ru','alternates':{'en':'https://example.org/en/a'}},
{'url':'https://example.org/en/a','locale':'en','alternates':{'ru':'https://example.org/ru/a','en':'https://example.org/en/a'}}]
def missing_self(pages):
return [(p['url'],p['locale']) for p in pages if p['alternates'].get(p['locale'])!=p['url']]
assert missing_self(rows)==[(rows[0]['url'],'ru')]
rows[0]['alternates']['ru']=rows[0]['url']
assert missing_self(rows)==[]
print('missing after fix:',missing_self(rows))
name: AI corpus checks
on:
pull_request:
permissions:
contents: read
jobs:
check:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v7
- uses: actions/setup-python@v7
with:
python-version: '3.13'
- run: python scripts/check.py
Как превратить фикстуру в блокирующий контроль
Приведённый Python намеренно содержит локальную демонстрацию с заранее известным ответом. Успешное завершение команды означает лишь то, что правило распознало показанный пример; оно не означает, что реальные опубликованные страницы прошли аудит. Перед использованием предложенного workflow замените учебные словари и XML на снимок данных вашего генератора страниц. Для задачи «Как проверить self-hreflang каждой версии AI-статьи» сохраните эталон отдельно от проверяемого вывода, посчитайте найденные нарушения и завершайте программу ненулевым кодом, если список ошибок непустой: после диагностического вывода добавьте проверку вида if errors: raise SystemExit(1), где errors — результат именно вашего контроля. Проверьте этот переход двумя отдельными прогонами: сначала подайте намеренно испорченный экспорт и убедитесь, что job красный, затем исправьте экспорт и дождитесь зелёного результата. Не меняйте ожидаемый результат вместе с данными лишь ради прохождения CI. Отдельно проверяйте доступность URL и полноту выгрузки, иначе пустой снимок даст ложное спокойствие.
Ошибки интерпретации и границы
Тест не доказывает, что все альтернативы указывают на существующие страницы и что перевод соответствует оригиналу. Если вы расширяете набор случаев, добавляйте не только новые примеры, но и отрицательные случаи, на которых тест обязан упасть. Проверяйте, что изменение expected прошло ревью отдельно от изменения кода: иначе можно незаметно изменить правило под текущий ответ системы. Избегайте вывода полного приватного набора в CI и не сохраняйте в артефактах ответ закрытой модели без решения о доступе и хранении.
Ошибка выполнения самого Python, нераспознанный формат входа и обнаруженный бизнес-дефект — разные ситуации. В сообщении теста указывайте тип проблемы и безопасный ID. Если тест требует внешний сервис, вынесите его из PR с недоверенным кодом и явно ограничьте доступ к токенам; этот пример намеренно работает локально. Перед публикацией каких-либо результатов опишите методику, область применения и происхождение примеров, иначе читатель воспримет демонстрационную арифметику как характеристику продукта.
Практический разбор именно этого контроля
Не выпускать неполный hreflang-кластер после автоматического перевода материала. Для самостоятельной проверки сначала выпишите три наблюдаемых состояния: допустимый вход, намеренно недопустимый вход и видимый сигнал отказа. В данной фикстуре это выглядит так: Страница /ru/a с locale=ru содержит только en→/en/a; self ru→/ru/a отсутствует. При успешном тесте ожидается: До исправления возвращается пара ru-URL и ru, после правки печатается пустой список. Не превращайте это в числовой KPI: здесь проверяется контракт на конкретных примерах, а не поведение модели на пользовательском трафике.
Тест не доказывает, что все альтернативы указывают на существующие страницы и что перевод соответствует оригиналу. Подключая проверку к продукту, расположите её до той операции, ради которой она написана: парсинга, сохранения, отображения или экспорта. Для каждого нового формата добавляйте отдельный негативный пример и письменное решение, почему он отклоняется. Отдельно просмотрите обработку ошибок: система должна отличать невалидный ответ AI от сбоя тестовой инфраструктуры, а пользователь не должен видеть сырой стек или приватное содержимое.
Чек-лист финальной проверки
- Синтетический вход и ожидаемый исход согласованы предметным владельцем.
- Команда
python scripts/check.pyработает локально и в CI на одной версии файлов. - Негативный случай обнаруживается, а не только успешный случай проходит.
- Имена ID и меток уникальны там, где этого требует контракт.
- В репозитории, логах и артефактах нет реальных секретов и приватных текстов.
- Понятно, какой дефект тест находит и каких выводов о качестве AI он не даёт.
- Ссылки на применённые функции и синтаксис workflow перепроверены при переносе.
FAQ
Зачем ссылка на саму страницу?
Она входит в полный набор альтернатив каждой версии согласно рекомендациям Google.
Можно ли взять locale из последнего сегмента URL?
Лучше брать утверждённую локаль из модели сайта: URL может отличаться.
Нужна ли self в sitemap-реализации?
Набор альтернатив в sitemap также строится для каждой версии, включая её саму.
Пустой список ошибок достаточен?
Нет, дополнительно проверяют обратные ссылки и доступность страниц.
Что делать после обнаружения сбоя
Сохраните конкретный ID, воспроизведите его на текущей ревизии и отделите ошибку входных данных от ошибки функции. Если неверен контракт, исправьте её после предметного ревью; если неверен код, сначала оставьте проваливающийся тест, затем вносите исправление. После зелёного запуска просмотрите соседние случаи с похожими признаками, чтобы локальная правка не изменила другое согласованное поведение. Сохраните версии кода, набора и параметров запуска рядом с выводом: без них сравнивать результаты в будущем нельзя. Не приводите цифру из синтетического примера как измеренный показатель продукта.
Официальные первоисточники
Проверено 26.09.2026: 1, 2, 3, 4, 5. Описание переписано своими словами; изменяемые версии и поля нужно повторно сверять перед дальнейшим использованием.
Читайте также
Как исключить bias из weight decay через Optax
Optax 0.2.6: маска add_decayed_weights применяет decay к kernel и оставляет bias без изменения.
Как использовать Huber loss в Optax для регрессии с выбросами
Optax 0.2.6: Huber loss квадратичен около нуля и линеен после delta; проверяем ошибки 0,5 и 2.
Как использовать sigmoid focal loss в Optax
Optax 0.2.6: focal loss для logits 0 и labels 0/1 при gamma=2; проверка симметричного базового значения.
Комментарии
Пока тихо. Скажите первое слово