Гайд · TNWS AI
Как уменьшить карту признаков через Flax NNX max_pool
Flax 0.12.10: max_pool для NHWC, окно 2×2, stride 2, VALID padding и точная проверка максимумов.
Задача и применимость
Актуальный запрос: «как использовать max_pool Flax NNX». Уменьшить карту признаков 4×4 до 2×2, выбирая максимум каждого непересекающегося окна 2×2. Функции pooling NNX ожидают массив с batch, пространственными осями и последней feature-осью. При VALID padding и stride (2,2) неполные окна не добавляются.
Материал проверен на Flax 0.12.10, JAX/jaxlib 0.11.2 и Python 3.12 на CPU. Используется актуальный API from flax import nnx, а не устаревший экспериментальный import и не Linen. Пример не загружает веса или внешние данные и решает одну изолированную задачу. Численный тест подтверждает контракт кода в указанной версии, но не качество нейросети на рабочем датасете.
Перед запуском установите совместимые версии пакетов в отдельное окружение и выведите flax.__version__, jax.__version__ и jaxlib.__version__. Не смешивайте примеры NNX с похожими по названию конструкциями Linen: у них различаются жизненный цикл Module, представление состояния, инициализация и способы применения transformations. При переносе кода сначала выберите один API и следуйте документации именно его версии.
Пошаговое решение
- Создайте возрастающую карту NHWC
(1,4,4,1). - Вызовите nnx.max_pool с window_shape и strides
(2,2). - Сравните output с точной матрицей максимумов.
- Зафиксируйте padding и layout в preprocessing contract.
Готовый проверяемый шаблон
import jax.numpy as jnp
from flax import nnx
x = jnp.arange(16, dtype=jnp.float32).reshape(1, 4, 4, 1)
y = nnx.max_pool(x, window_shape=(2, 2), strides=(2, 2), padding="VALID")
expected = jnp.array([[[[5.], [7.]], [[13.], [15.]]]])
assert y.shape == (1, 2, 2, 1)
assert jnp.array_equal(y, expected)
assert jnp.isfinite(y).all()
print(y[..., 0])
Вход и ожидаемый результат
Окна исходной карты дали максимумы [[5,7],[13,15]]; output имел форму (1,2,2,1). Такой пример проверяет не только форму, но и фактическую привязку каждого окна.
Как проверить результат
Используйте несимметричную возрастающую матрицу, чтобы перестановка осей была заметна. Для SAME отдельно рассчитайте ожидаемую геометрию. Документация предупреждает, что произвольная pooling reduction не обязана быть дифференцируемой.
Перенос в рабочую модель
В рабочем проекте зафиксируйте контракт batch: порядок осей, dtype, диапазон признаков и семантику target. Инициализацию, dropout и генерацию данных разделяйте по именованным RNG streams. Обучаемые nnx.Param, статистическое состояние и optimizer state сохраняйте и проверяйте раздельно. Перед обновлением Flax/JAX прогоняйте небольшой обезличенный regression batch и сравнивайте формы, loss, конечность значений и допустимое численное отклонение.
Критерии приёмки
- Версии Flax, JAX и jaxlib записаны в отчёте.
- Формы входа, параметров и результата совпадают с контрактом.
- Все численные outputs и gradients конечны.
- Train/eval режим задан явно для стохастических и stateful слоёв.
- Результат проверен независимой формулой, состоянием или контрольным вызовом.
- Негативный случай неверной формы или режима включён в тесты проекта.
Регрессионный протокол
Сохраните минимальные входы: один объект, небольшой batch, нулевые значения, несимметричные размеры осей и заведомо несовместимую форму. Сравнивайте массивы через allclose с документированным допуском. Воспроизводимость требует одинаковых seeds и одинакового порядка запросов RNG. Производительность оценивайте после JIT-прогрева и block_until_ready, отдельно от compile time. Один удачный запуск не заменяет validation на независимых данных.
Диагностика расхождений
При расхождении сначала проверьте layout и preprocessing, затем RNG streams, train/eval mode, типы переменных State, forward, loss и optimizer update. Упростите модель до одного слоя, отключите JIT и стохастику, сравните промежуточные shapes. Возвращайте компоненты по одной. Не увеличивайте допуск и не заменяйте NaN нулями до установления причины.
Контроль после внедрения
В эксплуатации ограничьте допустимые shapes и размер batch, чтобы запрос не исчерпал память и не вызвал поток перекомпиляций. Не логируйте исходные пользовательские тензоры, ключи и содержимое обучающих примеров. Храните предыдущий проверенный checkpoint и схему State для отката. После восстановления проверяйте контрольный forward до включения модели в трафик.
Границы применимости
CPU-проверка не доказывает скорость или точную численную идентичность GPU/TPU. Случайная инициализация не является обучением, снижение train loss не гарантирует обобщение, а правильная форма не подтверждает корректность данных. Для важных решений нужны validation/test, мониторинг дрейфа, ограничения входов и человеческий контроль.
Типичные ошибки и чего не делать
- Не путать NHWC с NCHW.
- Не оставлять strides по умолчанию, если требуется уменьшение вдвое.
- Не ожидать SAME-геометрию при VALID padding.
Не публикуйте только удачный вывод без версии среды, форм и негативного теста. Не настраивайте модель по test set и не загружайте непроверенное состояние поверх production-модели.
FAQ
Где находится feature-ось?
Последней после пространственных осей.
Что делает VALID?
Не добавляет padding вокруг входа.
У max_pool есть параметры?
Нет, это функция редукции без обучаемых весов.
Официальные источники
Частые вопросы
Где находится feature-ось?
Последней после пространственных осей.
Что делает VALID?
Не добавляет padding вокруг входа.
У max_pool есть параметры?
Нет, это функция редукции без обучаемых весов.
Читайте также
Как накопить средний loss через Flax NNX metrics.Average
Flax 0.12.10: Average учитывает каждый элемент двух batch, compute возвращает общий mean, reset очищает состояние.
Как нормализовать каналы через Flax NNX GroupNorm
Flax 0.12.10: GroupNorm для NHWC, четыре канала и две группы, проверка статистик без зависимости от batch.
Как нормализовать каждый канал через Flax NNX InstanceNorm
Flax 0.12.10: InstanceNorm для NHWC нормирует пространственные значения каждого канала и каждого изображения отдельно.
Комментарии
Пока тихо. Скажите первое слово