Callback d'écrêtage du gradient

🌐

Gradient clipping callback

En ajoutant le callback GradientClip, la norme norm_type (par défaut:2) des gradients est écrêtée à la valeur max_norm (par défaut: 1) utilisant torch::nn_utils_clip_grad_norm_(), ce qui peut éviter la divergence de la fonction de coût.

Utilisation

luz_callback_gradient_clip(max_norm = 1, norm_type = 2)

Arguments

max_norm

(entier ou réel) : norme maximale des gradients

norm_type

(entier ou réel) : type de la norme p utilisée. Peut être Inf pour la norme infinie.

Références

Voir FastAI documentation pour le callback de GradientClip.