Гайды.
Пошаговые инструкции по нейросетям: промпты, настройки, сравнение моделей и рабочие сценарии для учёбы, кода и картинок.
1322 материала
Наш Telegram
Новости ИИ без воды
Как исключить bias из weight decay через Optax
Optax 0.2.6: маска add_decayed_weights применяет decay к kernel и оставляет bias без изменения.
Как использовать Huber loss в Optax для регрессии с выбросами
Optax 0.2.6: Huber loss квадратичен около нуля и линеен после delta; проверяем ошибки 0,5 и 2.
Как использовать sigmoid focal loss в Optax
Optax 0.2.6: focal loss для logits 0 и labels 0/1 при gamma=2; проверка симметричного базового значения.
Как ограничить gradient каждого примера через Optax
Optax 0.2.6: per_example_global_norm_clip отдельно ограничивает batch-градиенты и возвращает их сумму и число clipping-событий.
Как накапливать gradients через Optax MultiSteps
Optax 0.2.6: MultiSteps усредняет два microbatch-gradient и обновляет SGD только на каждом втором вызове.
Как обновлять target network через Optax periodic_update
Optax 0.2.6: periodic_update копирует online parameters на шагах, кратных update_period, и сохраняет target между ними.
Как посчитать binary cross-entropy по logits в Optax
Optax 0.2.6: sigmoid_binary_cross_entropy принимает logits и метки 0/1; проверяем базовый уровень ln(2).
Как посчитать hinge loss в Optax с метками −1 и +1
Optax 0.2.6: hinge loss требует targets строго −1/+1; проверяем уверенные predictions и нарушения margin.
Как посчитать softmax cross-entropy с integer labels в Optax
Optax 0.2.6: проверяем multiclass loss для logits и целочисленных меток, формы входа и явное усреднение batch.
Как проверить cosine similarity embeddings через Optax
Optax 0.2.6: одинаковые единичные vectors дают similarity 1, ортогональные — 0; проверяем batch и axis.
Как проверить NT-Xent loss embeddings через Optax
Optax 0.2.6: четыре embeddings с парными labels дают почти нулевой NT-Xent при высокой внутриклассовой близости.
Как проверить weight decay в Optax AdamW
Optax 0.2.6: изолируем decoupled weight decay на нулевом gradient и проверяем точный update параметра.