Changes between Version 88 and Version 89 of Tutorial/JobSubm

Timestamp:

Sep 26, 2010, 6:29:32 PM (14 years ago)

Author:

/C=FR/O=CNRS/OU=UMR8607/CN=Charles Loomis/emailAddress=loomis@…

Comment:

--

Tutorial/JobSubm

@@ -303 +303 @@
 
 Les commandes glite-wms-job-cancel et glite-wms-job-logging-info s'appliquent également sur les collections.
-
-=== Les jobs paramétriques ===
-
-Pour soumettre des jobs identiques en tous points sauf pour un seul paramètre d'exécution, on peut utiliser un job paramétrique : plutôt que de créer un .jdl par job, on crée un seul fichier .jdl dont la soumission va générer automatiquement la collection de jobs. C'est une variante des collections de job décrites précédemment.
-
-Les attribut JDL suivants sont utilisés pour définir un job paramétrique :
-
- * Parameters : une liste d'éléments (ex: {a, b, c}, {2, 7, 20}) ou un entier représentant la valeur maximale du paramètre
- * ParameterStart : un entier représentant la valeur minimale du paramètre
- * ParameterStep : un entier représentant l'incrément du paramètre
-
-Si `Parameters` est un entier, le nombre de jobs générés est :
-{{{
- N = (Parameters - ParameterStart) / ParameterStep
-}}}
-
-Pour que tous les jobs tournent sur le même CE, mettre la ligne suivante dans le .jdl :
-{{{
-NodesCollocation = true;
-}}}
-
-__Exemple 1__ : un programme exécuté avec 4 fichiers différents `Input1.txt`, `Input2.txt`, `Input3.txt`, `Input4.txt`.  
-
- * Créer le script correspondant au programme :
-{{{
-[diarra@ipngrid01 ParametricJobs]$ cat ParametricNum.sh
-#!/bin/sh
-MyParam=$1
-echo "Debut execution du programme"
-echo "Parametre = ${MyParam}"
-# On peut travailler sur le fichier de Input et de Output
-# cat Input${MyParam}.txt  > Output${MyParam}.txt
-}}}
-
- * Créer le JDL suivant (`_PARAM_` vaudra successivement 1, 2, 3 puis 4) :
-{{{
-[diarra@ipngrid01 ParametricJobs]$ cat ParametricNum.jdl
-JobType = "Parametric";
-Executable    = "ParametricNum.sh";
-Arguments     = "_PARAM_";
-StdOutput     = "std.out";
-StdError      = "std.err";
-InputSandbox = {"ParametricNum.sh", "Input_PARAM_.txt"};
-OutputSandbox = {"std.out", "std.err", "Output_PARAM_.txt" };
-MyProxyServer = "myproxy.grif.fr";
-Parameters = 5;
-ParameterStart = 1;
-ParameterStep = 1;
-#NodesCollocation = true;
-#Requirements = RegExp("ipngrid12.*\.fr:2119/jobmanager.*ipno$", other.GlueCEUniqueID);
-}}}
-
- * Soumettre le job :
-{{{
-[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-submit -a -o jid ParametricNum.jdl
-}}}
-
- * Vérifier le status du job et l'existence de 4 sous-jobs :
-{{{
-[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-status -i jid
-
-*************************************************************
-BOOKKEEPING INFORMATION:
-Status info for the Job : https://grid02.lal.in2p3.fr:9000/7X5T_8XEcxUjDeng1q92Wg
-Current Status:     Running
-Submitted:          Fri Jun  6 16:31:52 2008 CEST
-*************************************************************
-- Nodes information for:
-    Status info for the Job : https://grid02.lal.in2p3.fr:9000/6zsSfE0nVOVyrWCQPga6fw
-    Current Status:     Running
-    Status Reason:      Job successfully submitted to Globus
-    Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
-    Submitted:          Fri Jun  6 16:31:52 2008 CEST
-*************************************************************
-    Status info for the Job : https://grid02.lal.in2p3.fr:9000/DFqOECrwMEWmmpZs65oG3Q
-    Current Status:     Running
-    Status Reason:      Job successfully submitted to Globus
-    Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
-    Submitted:          Fri Jun  6 16:31:52 2008 CEST
-*************************************************************
-    Status info for the Job : https://grid02.lal.in2p3.fr:9000/Ez2DyOUSDxCof9Sh0pQPog
-    Current Status:     Running
-    Status Reason:      Job successfully submitted to Globus
-    Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
-    Submitted:          Fri Jun  6 16:31:52 2008 CEST
-*************************************************************
-    Status info for the Job : https://grid02.lal.in2p3.fr:9000/FxUda1Mz5DyB7SglhMDBEw
-    Current Status:     Scheduled
-    Status Reason:      Job successfully submitted to Globus
-   Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
-    Submitted:          Fri Jun  6 16:31:52 2008 CEST
-*************************************************************
-}}}
-
- * Quand le status de la collection de jobs est `Done`, récupérer l'output des différents jobs en utilisant la procédure habituelle. Comme dans toutes les collections de job, il y a un répertoire par sous-job et le fichier `ids_nodes.map` indique le nom du répertoire associé à chaque sous-job :
-{{{
-[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-output  -i jid
-
-Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
-================================================================================
-                        JOB GET OUTPUT OUTCOME
-
-Output sandbox files for the DAG/Collection :
-https://grid02.lal.in2p3.fr:9000/7X5T_8XEcxUjDeng1q92Wg
-have been successfully retrieved and stored in the directory:
-/home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg
-================================================================================
-}}}
-
- * Visualiser l'output du 3ème job et vérifier qu'il a bien reçu la valeur `3` en paramètre :
-{{{
-[diarra@ipngrid01 ParametricJobs]$ cat /home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/Node_3/std.out
-Debut execution du programme
-Parametre = 3
-}}}
-
-
-__ Exemple 2__ : un programme de simulation; `my_sim.exe` doit faire trois simulations `alpha`, `beta` et `gamma`. Dans ce cas on n'utilise que l'attribut `Parameters` et le JDL sera :
-{{{
-JobType = "Parametric";
-Executable = "my_sim.exe";
-Arguments = "_PARAM_";
-Parameters = {alpha, beta, gamma};
-InputSandbox = {"my_sim.exe", ...};
-...
-}}}
-
-''Note : il ne faut pas mettre de "" autour des éléments contenus dans `Parameters`.''
 
 === DAG jobs (chainage de jobs) ===