Гайд · TNWS AI
Как посчитать accuracy logits через Flax NNX metrics.Accuracy
Flax 0.12.10: накопление accuracy по logits и integer labels, compute, reset и ручная проверка 2 из 3.
Задача и применимость
Актуальный запрос: «как посчитать Accuracy Flax NNX metrics». Накопить долю правильных ответов классификатора по logits и целочисленным labels. nnx.metrics.Accuracy выбирает класс по максимальному logit, обновляет total/count и возвращает агрегат через compute. До первого update compute даёт NaN, поэтому жизненный цикл метрики должен быть явным. Контрольный пример содержит одну намеренную ошибку, поэтому тест не получает тривиальные сто процентов. Значение дополнительно сверяется с дробью два из трёх.
Материал проверен на Flax 0.12.10, JAX/jaxlib 0.11.2 и Python 3.12 на CPU. Используется актуальный API from flax import nnx, а не устаревший экспериментальный import и не Linen. Пример не загружает веса или внешние данные и решает одну изолированную задачу. Численный тест подтверждает контракт кода в указанной версии, но не качество нейросети на рабочем датасете.
Перед запуском установите совместимые версии пакетов в отдельное окружение и выведите flax.__version__, jax.__version__ и jaxlib.__version__. Не смешивайте примеры NNX с похожими по названию конструкциями Linen: у них различаются жизненный цикл Module, представление состояния, инициализация и способы применения transformations. При переносе кода сначала выберите один API и следуйте документации именно его версии.
Пошаговое решение
- Создайте Accuracy.
- Передайте три пары logits/labels.
- Сравните compute с ручным результатом 2/3.
- Вызовите reset и подтвердите пустое состояние через NaN.
Готовый проверяемый шаблон
import jax.numpy as jnp
from flax import nnx
metric = nnx.metrics.Accuracy()
logits = jnp.array([[2., 1.], [0., 3.], [4., 1.]])
labels = jnp.array([0, 1, 1])
metric.update(logits=logits, labels=labels)
value = metric.compute()
assert jnp.allclose(value, 2 / 3)
metric.reset()
assert jnp.isnan(metric.compute())
print(float(value))
Вход и ожидаемый результат
Первые два прогноза были верны, третий — нет; aggregate accuracy составила 0.6666667. После reset пустая Average-база метрики снова вернула NaN.
Как проверить результат
Сверяйте shapes logits/labels и класс axis. На production не усредняйте готовые batch accuracy без весов: обновляйте метрику всеми примерами, особенно при неравных размерах последних batch. Accuracy не оценивает калибровку и дисбаланс классов.
Перенос в рабочую модель
В рабочем проекте зафиксируйте контракт batch: порядок осей, dtype, диапазон признаков и семантику target. Инициализацию, dropout и генерацию данных разделяйте по именованным RNG streams. Обучаемые nnx.Param, статистическое состояние и optimizer state сохраняйте и проверяйте раздельно. Перед обновлением Flax/JAX прогоняйте небольшой обезличенный regression batch и сравнивайте формы, loss, конечность значений и допустимое численное отклонение.
Критерии приёмки
- Версии Flax, JAX и jaxlib записаны в отчёте.
- Формы входа, параметров и результата совпадают с контрактом.
- Все численные outputs и gradients конечны.
- Train/eval режим задан явно для стохастических и stateful слоёв.
- Результат проверен независимой формулой, состоянием или контрольным вызовом.
- Негативный случай неверной формы или режима включён в тесты проекта.
Регрессионный протокол
Сохраните минимальные входы: один объект, небольшой batch, нулевые значения, несимметричные размеры осей и заведомо несовместимую форму. Сравнивайте массивы через allclose с документированным допуском. Воспроизводимость требует одинаковых seeds и одинакового порядка запросов RNG. Производительность оценивайте после JIT-прогрева и block_until_ready, отдельно от compile time. Один удачный запуск не заменяет validation на независимых данных.
Диагностика расхождений
При расхождении сначала проверьте layout и preprocessing, затем RNG streams, train/eval mode, типы переменных State, forward, loss и optimizer update. Упростите модель до одного слоя, отключите JIT и стохастику, сравните промежуточные shapes. Возвращайте компоненты по одной. Не увеличивайте допуск и не заменяйте NaN нулями до установления причины.
Контроль после внедрения
В эксплуатации ограничьте допустимые shapes и размер batch, чтобы запрос не исчерпал память и не вызвал поток перекомпиляций. Не логируйте исходные пользовательские тензоры, ключи и содержимое обучающих примеров. Храните предыдущий проверенный checkpoint и схему State для отката. После восстановления проверяйте контрольный forward до включения модели в трафик.
Границы применимости
CPU-проверка не доказывает скорость или точную численную идентичность GPU/TPU. Случайная инициализация не является обучением, снижение train loss не гарантирует обобщение, а правильная форма не подтверждает корректность данных. Для важных решений нужны validation/test, мониторинг дрейфа, ограничения входов и человеческий контроль.
Типичные ошибки и чего не делать
- Не подавать вероятности неправильной формы.
- Не интерпретировать NaN до первого update как качество модели.
- Не использовать только accuracy при сильном дисбалансе.
Не публикуйте только удачный вывод без версии среды, форм и негативного теста. Не настраивайте модель по test set и не загружайте непроверенное состояние поверх production-модели.
FAQ
Как выбирается класс?
По argmax logits для multiclass.
Что делает reset?
Обнуляет накопленные total/count.
Почему пустая метрика NaN?
Среднее без наблюдений не определено.
Официальные источники
Частые вопросы
Как выбирается класс?
По argmax logits для multiclass.
Что делает reset?
Обнуляет накопленные total/count.
Почему пустая метрика NaN?
Среднее без наблюдений не определено.
Читайте также
Как накопить средний loss через Flax NNX metrics.Average
Flax 0.12.10: Average учитывает каждый элемент двух batch, compute возвращает общий mean, reset очищает состояние.
Как нормализовать каналы через Flax NNX GroupNorm
Flax 0.12.10: GroupNorm для NHWC, четыре канала и две группы, проверка статистик без зависимости от batch.
Как нормализовать каждый канал через Flax NNX InstanceNorm
Flax 0.12.10: InstanceNorm для NHWC нормирует пространственные значения каждого канала и каждого изображения отдельно.
Комментарии
Пока тихо. Скажите первое слово