Passer au contenu principal
Un checkpoint d’état protège l’état d’entraînement côté serveur. Un enregistrement de reprise complet protège aussi l’état propre à l’utilisateur qui indique à votre contrôleur quoi faire ensuite. Les exemples utilisent les helpers call et wait du script du démarrage rapide.

Que sauvegarder

1. Enregistrer l’état et la progression de la boucle

Enregistrez l’état avec save-weights, attendez la fin du future, puis conservez son chemin avec les champs côté client nécessaires pour continuer :
Le chemin renvoyé dans la réponse initiale de l’enregistrement est provisoire. Le checkpoint ne devient durable qu’une fois le future d’enregistrement terminé ; si le future échoue ou est annulé, ne conservez pas ce chemin et ne l’utilisez pas. Utilisez des noms de checkpoint uniques afin que chaque enregistrement identifie un point de reprise sans ambiguïté. Les noms comptent 1 à 128 caractères parmi A-Z, a-z, 0-9, ., _ et -. Les noms commençant par __park- ou __snap- sont réservés.

2. Lire l’enregistrement complet le plus récent

Un processus peut s’arrêter pendant l’écriture de la dernière ligne. Parcourez le fichier à rebours et ignorez une fin mal formée :

3. Valider avant de charger

Comparez l’enregistrement avec le checkpoint source et la reprise demandée :
  • ID du job source dans le chemin du checkpoint
  • Modèle de base et configuration LoRA
  • Révision et curseur du dataset
  • Révision de l’implémentation des récompenses
  • Réglages de l’optimiseur
  • Hypothèses sur le tokenizer et le modèle de chat
Arrêtez-vous pour une décision explicite si ces champs se contredisent. Ne combinez pas silencieusement un checkpoint avec une autre expérience. Choisissez ensuite comment continuer : Pour continuer dans un nouveau job :
Le nouveau job reprend le modèle de base et les paramètres LoRA du checkpoint : n’envoyez donc pas lora_config. Son ID diffère de celui du job source. Enregistrez source_job_id, state_path et resumed_job_id comme lignée gérée par l’application.

4. Rendre la frontière récupérable

Suivez cet ordre :
  1. Attendez la fin des futures forward-backward et d’étape d’optimiseur.
  2. Enregistrez le checkpoint d’état et attendez le future d’enregistrement.
  3. Conservez l’enregistrement de boucle contenant son chemin.
  4. Marquez l’étape de l’application comme terminée.
  5. Commencez l’étape suivante.
Si le processus s’arrête après l’enregistrement du checkpoint mais avant la sauvegarde de l’enregistrement de boucle, gardez l’enregistrement complet précédent comme point de reprise fiable. Ne marquez pas une étape comme terminée avant que son enregistrement soit durable. Les résultats des futures restent récupérables pendant une heure. Pendant cette fenêtre, interrogez le future_id d’enregistrement connu avant de conclure sur ce qui s’est passé. S’il renvoie 410, ne relancez pas l’enregistrement à l’aveugle : rapprochez les checkpoints du job de votre enregistrement de boucle durable. La frontière de validation à long terme est un checkpoint terminé accompagné de son enregistrement applicatif durable, et non le future lui-même.

5. Séparer les types de checkpoints

N’utilisez pas un checkpoint sampler comme point de reprise : il ne contient pas l’état de l’optimiseur et aucun nouveau job ne peut démarrer depuis celui-ci. Passez le chemin complet tinker://.../weights/<name>, et non le suffixe de l’ID du checkpoint, comme from_checkpoint. ttl_seconds vaut null par défaut : sans TTL, le checkpoint est conservé jusqu’à sa suppression. Les checkpoints actifs comptent dans le stockage des checkpoints. Pour activer le nettoyage automatique, passez une valeur de 3600 à 315360000 secondes (1 heure à 10 ans). Gérez les checkpoints avec ces routes : Le téléchargement des checkpoints est activé par défaut. Le checkpoint sampler d’un décodeur se télécharge sous forme d’adaptateur PEFT Hugging Face standard pour le modèle de base public ; consultez Charger un adaptateur de décodeur. Après l’arrêt d’un job, les opérations d’entraînement qui modifient son état sont refusées, mais vous pouvez toujours lister, inspecter, télécharger et publier ses checkpoints, modifier leur TTL et les supprimer. Vous pouvez aussi échantillonner à partir de ses checkpoints sampler.

6. Vérifier la reprise

Avant de faire monter en charge la reprise :
  1. Démarrez le nouveau job depuis le checkpoint d’état choisi.
  2. Conservez son ID comme resumed_job_id et confirmez-le avec GET /v1/training/jobs/{resumed_job_id}.
  3. Lancez une petite évaluation sur des données réservées.
  4. Envoyez une mise à jour d’entraînement.
  5. Enregistrez un nouveau checkpoint d’état sous un nouveau nom.
  6. Conservez l’enregistrement de boucle suivant.

Déployer votre modèle entraîné

Déployez un checkpoint sampler pour le servir comme modèle. Nemotron 3.5 Super VL et Nemotron 3.5 Lightning sont actuellement pris en charge. Qwen3.6-35B-A3B nécessite l’activation du déploiement progressif. Consultez les ID appelables actuels dans Déployer un checkpoint de job interactif. Si le modèle de serving n’est pas disponible pour votre équipe, le déploiement renvoie 400 avec serving for <model> is not available yet.
La réponse contient le model_id du modèle et un status deploying. Répétez le même appel pour suivre la progression : il renvoie le même modèle, et status passe à deployed lorsque le modèle est prêt. Appelez-le ensuite par son ID :
Remplacez MODEL_ID par le model_id renvoyé. La première requête d’inférence peut renvoyer 425 model_warming ; attendez l’intervalle indiqué par Retry-After, puis réessayez. Pour demander une réponse directe sans préambule de raisonnement, envoyez "reasoning": {"enabled": false} comme ci-dessus. Consultez Déployer un checkpoint pour les champs et les erreurs.

Diagnostiquer les erreurs de reprise