Créer un job Launch

Créez des jobs Launch W&B à partir de dépôts Git, d’artefacts de code ou d’images Docker à l’aide de la commande wandb launch.

Essayer dans Colab

Les jobs Launch servent de modèle pour reproduire des exécutions W&B. Les jobs sont des artefacts W&B qui capturent le code source, les dépendances et les entrées requises pour exécuter une charge de travail.

Créez et exécutez des jobs avec la commande wandb launch.

Pour créer un job sans le soumettre à l’exécution, utilisez la commande wandb job create. Voir la documentation de référence de la commande pour plus d’informations.

​

Jobs basés sur Git

Vous pouvez créer un job basé sur Git, dans lequel le code et d’autres ressources suivies sont clonés à partir d’un commit, d’une branche ou d’un tag spécifiques dans un dépôt Git distant avec W&B Launch. Utilisez l’option --uri ou -u pour spécifier l’URI qui contient le code, et éventuellement l’option --build-context pour spécifier un sous-répertoire.

Exécutez un job “hello world” à partir d’un dépôt Git avec la commande suivante :

wandb launch --uri "https://github.com/wandb/launch-jobs.git" --build-context jobs/hello_world --dockerfile Dockerfile.wandb --project "hello-world" --job-name "hello-world" --entry-point "python job.py"

La commande effectue les opérations suivantes :

1. Clone le dépôt de jobs W&B Launch dans un répertoire temporaire.
2. Crée un job nommé hello-world-git dans le projet hello. Le job est associé au commit correspondant au HEAD de la branche par défaut du dépôt.
3. Construit une image de conteneur à partir du répertoire jobs/hello_world et du fichier Dockerfile.wandb.
4. Démarre le conteneur et exécute python job.py.

Pour construire un job à partir d’une branche spécifique ou d’un hash de commit précis, ajoutez l’argument -g, --git-hash. Pour obtenir la liste complète des arguments, exécutez wandb launch --help.

​

Format des URL distantes

Le dépôt Git distant associé à un job Launch peut avoir une URL HTTPS ou SSH. Le type d’URL détermine le protocole utilisé pour récupérer le code source du job.

Type d’URL distante	Format d’URL	Exigences pour l’accès et l’authentification
https	https://github.com/organization/repository.git	nom d’utilisateur et mot de passe pour vous authentifier auprès du dépôt Git distant
ssh	[e-mail]:organization/repository.git	clé SSH pour vous authentifier auprès du dépôt Git distant

Notez que le format exact de l’URL varie selon le fournisseur d’hébergement. Les jobs créés avec wandb launch --uri utiliseront le protocole de transfert spécifié dans l’argument --uri fourni.

​

Jobs d’artefact de code

Vous pouvez créer des jobs à partir de n’importe quel code source stocké dans un Artifact W&B. Utilisez un répertoire local avec l’argument --uri ou -u pour créer un artefact de code et un job.

Pour commencer, créez un répertoire vide et ajoutez un script Python nommé main.py avec le contenu suivant :

import wandb

with wandb.init() as run:
    run.log({"metric": 0.5})

Ajoutez un fichier requirements.txt avec le contenu suivant :

wandb>=0.17.1

Enregistrez le répertoire en tant qu’artefact de code et lancez un job à l’aide de la commande suivante :

wandb launch --uri . --job-name hello-world-code --project launch-quickstart --entry-point "python main.py"

La commande précédente effectue les opérations suivantes :

1. Enregistre le répertoire actuel en tant qu’artefact de code nommé hello-world-code.
2. Crée un job nommé hello-world-code dans le projet launch-quickstart.
3. Crée une image de conteneur à partir du répertoire actuel et du Dockerfile par défaut de Launch. Le Dockerfile par défaut installe le fichier requirements.txt et définit le point d’entrée sur python main.py.

​

Jobs d’image

Vous pouvez également créer des jobs à partir d’images Docker prêtes à l’emploi. Cela est utile si vous disposez déjà d’un système de build bien établi pour votre code ML, ou si vous ne prévoyez pas d’ajuster le code ni les exigences du job, tout en souhaitant quand même expérimenter avec des hyperparamètres ou différentes tailles d’infrastructure.

L’image est récupérée depuis un registre Docker puis exécutée avec le point d’entrée spécifié, ou avec le point d’entrée par défaut si aucun n’est indiqué. Fournissez un tag d’image complet à l’option --docker-image pour créer et exécuter un job à partir d’une image Docker.

Pour exécuter un job simple à partir d’une image prédéfinie, utilisez la commande suivante :

wandb launch --docker-image "wandb/job_hello_world:main" --project "hello-world"           

​

Création automatique de jobs

W&B crée et suit automatiquement un job pour tout run dont le code source est suivi, même si ce run n’a pas été créé avec Launch. Les runs sont considérés comme ayant un code source suivi si l’une des trois conditions suivantes est remplie :

• Le run a un dépôt Git distant associé et un hash de commit.
• Le run a enregistré un artefact de code. Voir Run.log_code.
• Le run a été exécuté dans un conteneur Docker avec la variable d’environnement WANDB_DOCKER définie sur un tag d’image

L’URL du dépôt Git distant est déduite du dépôt Git local si votre job Launch est créé automatiquement par un run W&B.

​

Noms des jobs Launch

Par défaut, W&B génère automatiquement un nom de job. Ce nom est généré en fonction de la manière dont le job est créé (GitHub, artefact de code ou image Docker). Vous pouvez également définir le nom d’un job Launch à l’aide de variables d’environnement ou du SDK Python W&B.

Le tableau suivant décrit la convention de nommage des jobs utilisée par défaut en fonction de la source du job :

Source	Convention de nommage
GitHub	job-<git-remote-url>-<path-to-script>
Artefact de code	job-<code-artifact-name>
Image Docker	job-<image-name>

Nommez votre job avec une variable d’environnement W&B ou avec le SDK Python W&B

Variable d'environnement

Définissez la variable d’environnement WANDB_JOB_NAME avec le nom de job de votre choix. Par exemple :

WANDB_JOB_NAME=awesome-job-name

W&B Python SDK

Définissez le nom de votre job avec wandb.Settings. Passez ensuite cet objet lorsque vous initialisez W&B avec wandb.init(). Par exemple :

settings = wandb.Settings(job_name="my-job-name")
wandb.init(settings=settings)

Pour les jobs d’image Docker, l’alias de version est automatiquement ajouté aux alias du job.

​

Conteneurisation

Les jobs sont exécutés dans un conteneur. Les jobs d’image utilisent une image Docker préconstruite, tandis que les jobs Git et les jobs d’artefacts de code nécessitent une étape de build du conteneur.

La conteneurisation des jobs peut être personnalisée à l’aide d’arguments passés à wandb launch et de fichiers présents dans le code source du job.

​

Contexte de build

Le terme build context désigne l’arborescence des fichiers et répertoires envoyés au démon Docker pour créer une image de conteneur. Par défaut, Launch utilise la racine du code source du job comme contexte de build. Pour spécifier un sous-répertoire comme contexte de build, utilisez l’argument --build-context de wandb launch lors de la création et du lancement d’un job.

L’argument --build-context est particulièrement utile lorsque vous travaillez avec des jobs Git qui se réfèrent à un monorepo contenant plusieurs projets. En spécifiant un sous-répertoire comme contexte de build, vous pouvez créer une image de conteneur pour un projet spécifique au sein du monorepo.

Voir l’exemple ci-dessus pour découvrir comment utiliser l’argument --build-context avec le dépôt officiel des jobs W&B Launch.

​

Dockerfile

Le Dockerfile est un fichier texte qui contient des instructions pour construire une image Docker. Par défaut, Launch utilise un Dockerfile qui installe le fichier requirements.txt. Pour utiliser un Dockerfile personnalisé, indiquez le chemin d’accès au fichier avec l’argument --dockerfile de wandb launch.

Le chemin du Dockerfile est spécifié par rapport au contexte de build. Par exemple, si le contexte de build est jobs/hello_world et que le Dockerfile se trouve dans le répertoire jobs/hello_world, l’argument --dockerfile doit être défini sur Dockerfile.wandb. Voir l’exemple ci-dessus pour voir comment utiliser l’argument --dockerfile avec le dépôt officiel des jobs Launch de W&B.

​

Fichier requirements

Si aucun Dockerfile personnalisé n’est fourni, Launch recherche dans le contexte de build les dépendances Python à installer. Si un fichier requirements.txt est trouvé à la racine du contexte de build, Launch installe les dépendances répertoriées dans le fichier. Sinon, si un fichier pyproject.toml est trouvé, Launch installe les dépendances depuis la section project.dependencies.