call et wait du
script du démarrage rapide.
Que sauvegarder
1. Enregistrer l’état et la progression de la boucle
Enregistrez l’état avecsave-weights, attendez la fin du future, puis
conservez son chemin avec les champs côté client nécessaires pour continuer :
A-Z, a-z, 0-9, ., _ et -. Les noms
commençant par __park- ou __snap- sont réservés.
2. Lire l’enregistrement complet le plus récent
Un processus peut s’arrêter pendant l’écriture de la dernière ligne. Parcourez le fichier à rebours et ignorez une fin mal formée :3. Valider avant de charger
Comparez l’enregistrement avec le checkpoint source et la reprise demandée :- ID du job source dans le chemin du checkpoint
- Modèle de base et configuration LoRA
- Révision et curseur du dataset
- Révision de l’implémentation des récompenses
- Réglages de l’optimiseur
- Hypothèses sur le tokenizer et le modèle de chat
Pour continuer dans un nouveau job :
lora_config. Son ID diffère de celui du job source.
Enregistrez source_job_id, state_path et resumed_job_id comme lignée gérée
par l’application.
4. Rendre la frontière récupérable
Suivez cet ordre :- Attendez la fin des futures forward-backward et d’étape d’optimiseur.
- Enregistrez le checkpoint d’état et attendez le future d’enregistrement.
- Conservez l’enregistrement de boucle contenant son chemin.
- Marquez l’étape de l’application comme terminée.
- Commencez l’étape suivante.
future_id d’enregistrement connu avant de conclure sur
ce qui s’est passé. S’il renvoie 410, ne relancez pas l’enregistrement à
l’aveugle : rapprochez les checkpoints du job de votre enregistrement de boucle
durable. La frontière de validation à long terme est un checkpoint terminé
accompagné de son enregistrement applicatif durable, et non le future lui-même.
5. Séparer les types de checkpoints
N’utilisez pas un checkpoint sampler comme point de reprise : il ne contient pas
l’état de l’optimiseur et aucun nouveau job ne peut démarrer depuis celui-ci.
Passez le chemin complet
tinker://.../weights/<name>, et non le suffixe de
l’ID du checkpoint, comme from_checkpoint.
ttl_seconds vaut null par défaut : sans TTL, le checkpoint est conservé
jusqu’à sa suppression. Les checkpoints actifs comptent dans le stockage des
checkpoints. Pour activer le nettoyage automatique, passez une valeur de 3600
à 315360000 secondes (1 heure à 10 ans).
Gérez les checkpoints avec ces routes :
Le téléchargement des checkpoints est activé par défaut. Le checkpoint sampler d’un décodeur se télécharge sous forme d’adaptateur PEFT Hugging Face standard pour le modèle de base public ; consultez Charger un adaptateur de décodeur.
Après l’arrêt d’un job, les opérations d’entraînement qui modifient son état
sont refusées, mais vous pouvez toujours lister, inspecter, télécharger et
publier ses checkpoints, modifier leur TTL et les supprimer. Vous pouvez aussi
échantillonner à partir de ses checkpoints sampler.
6. Vérifier la reprise
Avant de faire monter en charge la reprise :- Démarrez le nouveau job depuis le checkpoint d’état choisi.
- Conservez son ID comme
resumed_job_idet confirmez-le avecGET /v1/training/jobs/{resumed_job_id}. - Lancez une petite évaluation sur des données réservées.
- Envoyez une mise à jour d’entraînement.
- Enregistrez un nouveau checkpoint d’état sous un nouveau nom.
- Conservez l’enregistrement de boucle suivant.
Déployer votre modèle entraîné
Déployez un checkpoint sampler pour le servir comme modèle. Nemotron 3.5 Super VL et Nemotron 3.5 Lightning sont actuellement pris en charge. Qwen3.6-35B-A3B nécessite l’activation du déploiement progressif. Consultez les ID appelables actuels dans Déployer un checkpoint de job interactif. Si le modèle de serving n’est pas disponible pour votre équipe, le déploiement renvoie400 avec serving for <model> is not available yet.
model_id du modèle et un status deploying. Répétez
le même appel pour suivre la progression : il renvoie le même modèle, et status
passe à deployed lorsque le modèle est prêt. Appelez-le ensuite par son ID :
MODEL_ID par le model_id renvoyé. La première requête d’inférence peut renvoyer 425 model_warming ; attendez l’intervalle indiqué par Retry-After, puis réessayez. Pour demander une réponse directe sans préambule de raisonnement, envoyez "reasoning": {"enabled": false} comme ci-dessus. Consultez
Déployer un checkpoint
pour les champs et les erreurs.

