Поиск .

Как исключить bias из weight decay через Optax

Optax 0.2.6: маска add_decayed_weights применяет decay к kernel и оставляет bias без изменения.

Как ограничить gradient каждого примера через Optax

Optax 0.2.6: per_example_global_norm_clip отдельно ограничивает batch-градиенты и возвращает их сумму и число clipping-событий.

Как накапливать gradients через Optax MultiSteps

Optax 0.2.6: MultiSteps усредняет два microbatch-gradient и обновляет SGD только на каждом втором вызове.

Как обновлять target network через Optax periodic_update

Optax 0.2.6: periodic_update копирует online parameters на шагах, кратных update_period, и сохраняет target между ними.

Как проверить weight decay в Optax AdamW

Optax 0.2.6: изолируем decoupled weight decay на нулевом gradient и проверяем точный update параметра.

Как усреднить updates через Optax ema

Optax 0.2.6: ema с decay 0,5 без debias превращает updates 2 и 4 в последовательность 1 и 2,5.

Как усреднять веса через Optax incremental_update

Optax 0.2.6: Polyak update вычисляет step_size·new+(1-step_size)·old для целого PyTree параметров.

Как заморозить bias через Optax selective_transform

Optax 0.2.6: selective_transform зануляет update замороженного листа и обучает только разрешённые параметры.

Почему Optax apply_every не равен большому batch

Optax 0.2.6: apply_every суммирует gradients, но соседние transforms в chain обновляют state на каждом вызове.

Почему Optax masked не замораживает параметры

Optax 0.2.6: masked преобразует выбранные листья, а остальные updates пропускает; точный тест kernel и bias.

Как настроить cosine decay learning rate в Optax

Optax 0.2.6: cosine decay от 0,1 до нуля за 10 шагов; контроль значений на старте, середине и конце.

Как объединить clipping и SGD через Optax chain

Optax 0.2.6: chain последовательно применяет global clipping и SGD; точная проверка update для gradient 3–4.

Как ограничить глобальную норму gradients через Optax

Optax 0.2.6: clip_by_global_norm ограничивает общую L2-норму PyTree; проверка вектора 3–4 до нормы 1.

Как пропустить NaN-gradient через Optax apply_if_finite

Optax 0.2.6: wrapper пропускает нечисловой update, увеличивает счётчики и сохраняет параметры на проблемном шаге.

Как сделать первый шаг Adam через Optax

Optax 0.2.6: состояние Adam, первый update, apply_updates и проверка конечности и направления шага.

Как сделать шаг SGD через Optax

Optax 0.2.6: init, update и apply_updates для SGD; ручная проверка знака и величины обновления параметров.

Как сделать warmup и cosine decay learning rate в Optax

Optax 0.2.6: линейный warmup до 0,1 за два шага и cosine decay до нуля; проверка контрольных точек.

Как отслеживать learning rate через Optax inject_hyperparams

Optax 0.2.6: stateful wrapper для SGD и linear schedule; learning rate хранится в optimizer state и меняется по шагам.

Как задать разные learning rate через Optax partition

Optax 0.2.6: partition применяет SGD 0,1 к kernel и 0,01 к bias; проверка отдельных updates по labels PyTree.

Как заменить NaN в gradients через Optax zero_nans

Optax 0.2.6: zero_nans заменяет NaN нулями и отмечает проблемные листья; проверка смешанного gradient.