Поиск.
Найдено: 0 моделей и 20 материалов
Материалы
Как исключить bias из weight decay через Optax
Optax 0.2.6: маска add_decayed_weights применяет decay к kernel и оставляет bias без изменения.
Как использовать Huber loss в Optax для регрессии с выбросами
Optax 0.2.6: Huber loss квадратичен около нуля и линеен после delta; проверяем ошибки 0,5 и 2.
Как использовать sigmoid focal loss в Optax
Optax 0.2.6: focal loss для logits 0 и labels 0/1 при gamma=2; проверка симметричного базового значения.
Как ограничить gradient каждого примера через Optax
Optax 0.2.6: per_example_global_norm_clip отдельно ограничивает batch-градиенты и возвращает их сумму и число clipping-событий.
Как накапливать gradients через Optax MultiSteps
Optax 0.2.6: MultiSteps усредняет два microbatch-gradient и обновляет SGD только на каждом втором вызове.
Как обновлять target network через Optax periodic_update
Optax 0.2.6: periodic_update копирует online parameters на шагах, кратных update_period, и сохраняет target между ними.
Как посчитать binary cross-entropy по logits в Optax
Optax 0.2.6: sigmoid_binary_cross_entropy принимает logits и метки 0/1; проверяем базовый уровень ln(2).
Как посчитать hinge loss в Optax с метками −1 и +1
Optax 0.2.6: hinge loss требует targets строго −1/+1; проверяем уверенные predictions и нарушения margin.
Как посчитать softmax cross-entropy с integer labels в Optax
Optax 0.2.6: проверяем multiclass loss для logits и целочисленных меток, формы входа и явное усреднение batch.
Как проверить cosine similarity embeddings через Optax
Optax 0.2.6: одинаковые единичные vectors дают similarity 1, ортогональные — 0; проверяем batch и axis.
Как проверить NT-Xent loss embeddings через Optax
Optax 0.2.6: четыре embeddings с парными labels дают почти нулевой NT-Xent при высокой внутриклассовой близости.
Как проверить weight decay в Optax AdamW
Optax 0.2.6: изолируем decoupled weight decay на нулевом gradient и проверяем точный update параметра.
Как сделать label smoothing через Optax smooth_labels
Optax 0.2.6: сглаживаем one-hot метку трёх классов с alpha 0,1 и проверяем сумму вероятностей.
Как усреднить updates через Optax ema
Optax 0.2.6: ema с decay 0,5 без debias превращает updates 2 и 4 в последовательность 1 и 2,5.
Как усреднять веса через Optax incremental_update
Optax 0.2.6: Polyak update вычисляет step_size·new+(1-step_size)·old для целого PyTree параметров.
Как заморозить bias через Optax selective_transform
Optax 0.2.6: selective_transform зануляет update замороженного листа и обучает только разрешённые параметры.
Почему cross-entropy даёт NaN при −inf и как помогает Optax safe
Optax 0.2.6: safe_softmax_cross_entropy трактует 0·log(0) как 0 и избегает NaN для нецелевого −inf logit.
Почему Optax apply_every не равен большому batch
Optax 0.2.6: apply_every суммирует gradients, но соседние transforms в chain обновляют state на каждом вызове.
Почему Optax l2_loss включает множитель 0,5
Optax 0.2.6: l2_loss возвращает 0,5·(prediction-target)² поэлементно; проверяем значения и отличие от MSE.
Почему Optax masked не замораживает параметры
Optax 0.2.6: masked преобразует выбранные листья, а остальные updates пропускает; точный тест kernel и bias.