Как тестировать адаптеры AI-моделей матрицей GitHub Actions

Нужен репозиторий GitHub, доступ к его Actions и возможность добавить файл в каталог .github/workflows. Подготовьте тестовую ветку и одно синтетическое обращение с известным ожидаемым результатом. Не берите production-заявки: даже если runner временный, ввод и диагностика оказываются в истории запуска. Для Python-части используйте unittest из стандартной библиотеки; если в вашем проекте есть дополнительные импорты, установите их отдельно из контролируемого файла зависимостей.

До коммита запишите контракт: какие поля обязательно должны быть в результате, какие значения разрешены и при каком несоответствии job получает ненулевой код выхода. Сначала выполните тот же скрипт локально. Это позволяет различить ошибку Python от ошибки описания workflow. Если проверка обращается к внешней модели, разделите транспортную ошибку, отсутствие ключа и несоответствие ответа: эти причины требуют разного исправления.

Пошаговая настройка

1. Создайте нужные каталоги и файлы из блоков ниже; имена путей в YAML должны совпадать с именами файлов в репозитории. Файл workflow хранится внутри .github/workflows, а тестовый код — в tests или scripts согласно примеру.
2. Проверьте три секции YAML: on задаёт событие, permissions ограничивает встроенный токен, jobs содержит runner и последовательность шагов. Не вставляйте ключи или закрытые тексты в YAML.
3. Сохраните workflow и тест из блоков. matrix.adapter создаёт отдельный job на каждое значение, а fail-fast: false позволяет получить результат обеих веток даже при падении одной. В тесте замените normalize на вызов конкретного адаптера по имени из ADAPTER; оставьте один и тот же вход и одинаковые утверждения. Не пробрасывайте API-ключи в pull_request из форка. Если fallback имеет другой формат входа, отдельно преобразуйте его к общему интерфейсу, но не ослабляйте результат теста. При появлении третьего адаптера сначала добавьте локальную реализацию, затем новое значение в матрицу.
4. Сначала воспроизведите успешный вход, затем намеренно измените одно ожидаемое значение и убедитесь, что job падает. Проверка без негативного сценария не доказывает, что тест вообще способен обнаружить регрессию. После этого верните правильное значение и повторите запуск.
5. При сбое откройте конкретный job и шаг, а не ориентируйтесь только на общий статус workflow. Проверьте событие запуска, выбранную ветку, наличие файлов, код завершения скрипта и последние безопасные диагностические сообщения.

Готовый шаблон workflow

Скопируйте YAML; если в блоке указаны два имени файла, разделите его на два соответствующих файла. Ссылки на внешние actions и параметры проверены по их официальным README на 19.09.2026.

name: Adapter contract matrix
on:
  pull_request:
permissions:
  contents: read
jobs:
  adapter-contract:
    runs-on: ubuntu-latest
    strategy:
      fail-fast: false
      matrix:
        adapter: [primary, fallback]
    env:
      ADAPTER: ${{ matrix.adapter }}
    steps:
      - uses: actions/checkout@v7
      - uses: actions/setup-python@v7
        with:
          python-version: '3.13'
      - run: python -m unittest discover -s tests -v

Код или тестовая фикстура для копирования

Этот блок даёт исходную контрольную точку. Встраивая его в приложение, заменяйте демонстрационный нормализатор на собственный импорт, сохраняя контракт и синтетические тестовые входы.

# tests/test_adapter_contract.py
import os, unittest

def normalize(name, text):
    assert name in {"primary", "fallback"}
    return {"priority":"high" if text.startswith("Срочно:") else "normal",
            "summary":text}

class AdapterContract(unittest.TestCase):
    def test_priority_and_summary(self):
        actual = normalize(os.environ["ADAPTER"], "Срочно: платеж не прошёл")
        self.assertEqual(actual["priority"], "high")
        self.assertEqual(actual["summary"], "Срочно: платеж не прошёл")

Реалистичный вход и ожидаемый результат

Для Срочно: платеж не прошёл оба job должны дать priority high. Если fallback возвращает normal, job fallback падает, а primary завершается успешно; это показывает конкретную несовместимость, не скрытую общим статусом. Перед тем как трактовать красный job как баг модели, убедитесь, что сравниваются значения одной и той же ревизии кода и одной и той же фикстуры. Не подменяйте ожидаемое значение фактически полученным: такое «исправление» отключит сигнал регрессии.

Разбор ошибок и ограничения

Если workflow не появляется в Actions, сперва проверьте расположение YAML и событие on; затем проверьте ограничения по путям и веткам. Если job есть, но падает на checkout или setup-python, отличайте инфраструктурную ошибку от провала прикладного утверждения. Если Python завершился с ошибкой импорта, проверьте реальные пути и зависимости. Если проблема только в содержании ответа, сохраните минимальный безопасный вход и точное различие ожидаемого и фактического полей.