Callback de gestion automatique de la précision mixte

🌐

Automatic Mixed Precision callback

Ce callback activera l'entraînement du modèle torch::local_autocast() pendant la phase forward() et pendant le calcul de la fonction de coût. Il désactivera ensuite l'autocast et normalisera la fonction de coût avant la phase backward() et opt$step(). Pour en savoir plus, voir ici.

Utilisation

luz_callback_mixed_precision(...)

Arguments

...

Passé à torch::cuda_amp_grad_scaler().

Valeur de retour

Un callback de type luz_callback

Voir également

Autres callbacks luz: luz_callback_auto_resume(), luz_callback_csv_logger(), luz_callback_early_stopping(), luz_callback_interrupt(), luz_callback_keep_best_model(), luz_callback_lr_scheduler(), luz_callback_metrics(), luz_callback_mixup(), luz_callback_model_checkpoint(), luz_callback_profile(), luz_callback_progress(), luz_callback_resume_from_checkpoint(), luz_callback_train_valid(), luz_callback()