Changes between Version 53 and Version 54 of Tutorial/JobSubm

Timestamp:

Jun 9, 2008, 4:58:20 PM (17 years ago)

Author:

/C=FR/O=CNRS/OU=UMR8608/CN=Christophe Diarra/emailAddress=diarra@…

Comment:

--

Tutorial/JobSubm

@@ -343 +343 @@
 Enfin l'option `--unset` de `glite-wms-job-perusal` permet de désactiver le Job Perusal :
 
+=== Les jobs paramétriques ===
+
+Pour soumettre des jobs identiques à tous points sauf pour un seul paramètres
+d'exécution, on peut utiliser un job paramétrique. En d'autres termes, plutôt
+que de créer un .jdl par job, on crée un seul fichier .jdl dont la soumission
+va générer automatiquement la collection de jobs.
+
+On se sert des attribut JDL suivants :
+
+ * Parameters : un entier ou une liste d'éléments (ex: {a, b, c}, {2, 7, 20})
+ * ParameterStart : un entier
+ * ParameterStep : un entier
+
+Si Parameters est un entier, le nombre de jobs généré est :
+
+{{{
+ N = (Parameters - ParameterStart) / ParameterStep
+}}}
+Si on veut que tous les jobs tournent sur le même CE, on peut mettre la ligne
+suivante dans le .jdl :
+
+{{{
+NodesCollocation = true;
+}}}
+Prenoms un exemple. Nous avons un programme qui doit tourner avec 4 fichiers Input1.txt, Input3.txt, Input4.txt. Plutôt que de créer 4 .jdl, on peut créer le job paramétrique que voici :
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ cat ParametricNum.jdl
+JobType = "Parametric";
+Executable    = "ParametricNum.sh";
+Arguments     = "_PARAM_";
+StdOutput     = "std.out";
+StdError      = "std.err";
+InputSandbox = {"ParametricNum.sh", "Input_PARAM_.txt"};
+OutputSandbox = {"std.out", "std.err", "Output_PARAM.txt" };
+MyProxyServer = "myproxy.grif.fr";
+Parameters = 5;
+ParameterStart = 1;
+ParameterStep = 1;
+#NodesCollocation = true;
+#Requirements = RegExp("ipngrid12.*\.fr:2119/jobmanager.*ipno$", other.GlueCEUniqueID);
+}}}
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ cat ParametricNum.sh
+#!/bin/sh
+MyParam=$1
+echo "Debut execution du programme"
+echo "Parametre = ${MyParam}"
+# On peut travailler sur le fichier de Input et de Output
+# cat Input${MyParam}.txt  > Output${MyParam}.txt
+}}}
+
+Les explications :
+
+ * ParameterStart : c'est la valeur de départ du paramètre
+ * ParameterStep : c'est la valeur de l'incrément
+ * Parameters : c'est la valeur maximale
+
+Dans le .jdl le paramètre courant est contenu dans _PARAM_ . On peut ainsi le
+transmettre comme argument ou dans le nom des fichiers comme dans notre exemple.
+Dans notre exemple ci-dessus, _PARAM_ vaudra donc successivement 1, 2, 3 puis 4.
+
+Soumettons le job :
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-submit -a -o jid ParametricNum.jdl
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+====================== glite-wms-job-submit Success ======================
+The job has been successfully submitted to the WMProxy
+Your job identifier is:
+
+https://grid02.lal.in2p3.fr:9000/7X5T_8XEcxUjDeng1q92Wg
+The job identifier has been saved in the following file:
+/home/diarra/work/ParametricJobs/jid
+==========================================================================
+}}}
+
+Quattres jobs sont soumis en parrallèle comme le montre la commande glite-wms-job-status :
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-status -i jid
+
+*************************************************************
+BOOKKEEPING INFORMATION:
+Status info for the Job : https://grid02.lal.in2p3.fr:9000/7X5T_8XEcxUjDeng1q92Wg
+Current Status:     Running
+Submitted:          Fri Jun  6 16:31:52 2008 CEST
+*************************************************************
+- Nodes information for:
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/6zsSfE0nVOVyrWCQPga6fw
+    Current Status:     Running
+    Status Reason:      Job successfully submitted to Globus
+    Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Fri Jun  6 16:31:52 2008 CEST
+*************************************************************
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/DFqOECrwMEWmmpZs65oG3Q
+    Current Status:     Running
+    Status Reason:      Job successfully submitted to Globus
+    Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Fri Jun  6 16:31:52 2008 CEST
+*************************************************************
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/Ez2DyOUSDxCof9Sh0pQPog
+    Current Status:     Running
+    Status Reason:      Job successfully submitted to Globus
+    Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Fri Jun  6 16:31:52 2008 CEST
+*************************************************************
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/FxUda1Mz5DyB7SglhMDBEw
+    Current Status:     Scheduled
+    Status Reason:      Job successfully submitted to Globus
+   Destination:        ipngrid12.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Fri Jun  6 16:31:52 2008 CEST
+*************************************************************
+}}}
+
+A la fin de l'exécution des jobs, quand le status des jobs est "Done", on peut
+récupérer les résulat de la collection.
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-status -i jid
+
+*************************************************************
+BOOKKEEPING INFORMATION:
+Status info for the Job : https://grid02.lal.in2p3.fr:9000/7X5T_8XEcxUjDeng1q92Wg
+Current Status:     Done (Success)
+Exit code:          0
+Submitted:          Fri Jun  6 16:31:52 2008 CEST
+*************************************************************
+...
+}}}
+
+On récupère les résultats :
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ glite-wms-job-output  -i jid
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+================================================================================
+                        JOB GET OUTPUT OUTCOME
+
+Output sandbox files for the DAG/Collection :
+https://grid02.lal.in2p3.fr:9000/7X5T_8XEcxUjDeng1q92Wg
+have been successfully retrieved and stored in the directory:
+/home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg
+================================================================================
+}}}
+
+On voit que le paramètre _PARAM_ a bien été utilisé :
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ ls -l /home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/*
+-rw-r--r--  1 diarra sii  735 Jun  6 16:40 /home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/ids_nodes.map
+
+/home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/Node_1:
+total 0
+-rw-r--r--  1 diarra sii  0 Jun  6 16:40 std.err
+-rw-r--r--  1 diarra sii 43 Jun  6 16:40 std.out
+
+/home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/Node_2:
+total 0
+-rw-r--r--  1 diarra sii  0 Jun  6 16:40 std.err
+-rw-r--r--  1 diarra sii 43 Jun  6 16:40 std.out
+
+/home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/Node_3:
+total 0
+-rw-r--r--  1 diarra sii  0 Jun  6 16:40 std.err
+-rw-r--r--  1 diarra sii 43 Jun  6 16:40 std.out
+
+/home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/Node_4:
+total 0
+-rw-r--r--  1 diarra sii  0 Jun  6 16:40 std.err
+-rw-r--r--  1 diarra sii 43 Jun  6 16:40 std.out
+}}}
+
+Pour le 3ème job par exemple on a bien utilisé 3 comme valeur du paramètre
+conformement au paramétrage de notre .jdl :
+
+{{{
+[diarra@ipngrid01 ParametricJobs]$ cat /home/diarra/JobOutput/diarra_7X5T_8XEcxUjDeng1q92Wg/Node_3/std.out
+Debut execution du programme
+Parametre = 3
+}}}
+
+Si Parameters est une liste, les paramètres ParameterStart et ParameterStep ne sont pas nécessaires.
+
+N.B.: il ne faut pas mettre de "" autour des éléments contenus dans Parameters.
+
+Si nous avons un exécutable my_sim.exe qui doit faire trois simulations alpha, beta et gamma, le .jdl peut contenir les lignes :
+
+{{{
+JobType = "Parametric";
+Executable = "my_sim.exe";
+Arguments = "_PARAM_";
+Parameters = {alpha, beta, gamma};
+InputSandbox = {"my_sim.exe", ...};
+...
+}}}
+
+En soumettant ce job, une collection de 3 jobs sera générée et chaque job fera
+une simulation avec un des paramètres contenu dans Parameters.
+
+