Changes between Version 47 and Version 48 of Tutorial/JobSubm

Timestamp:

Jun 6, 2008, 11:03:10 AM (17 years ago)

Author:

/C=FR/O=CNRS/OU=UMR8608/CN=Christophe Diarra/emailAddress=diarra@…

Comment:

--

Tutorial/JobSubm

@@ -240 +240 @@
 }}}
 
+=== La delegation automatique de proxy au WMSProxy ===
+
+Il suffit d'utiliser l'option -a comme vu ci-dessous avec les commandes
+glite-wms-job-submit ou glite-wms-job-list-match.
+
 === La délégation explicite de proxy au WMSProxy ===
 
@@ -462 +467 @@
 Les commandes glite-wms-job-cancel et glite-wms-job-logging-info s'appliquent également sur les collections.
 
-
-=== Examen en temps réel des fichiers de sortie ===
-
+=== Examen en temps réel des fichiers de sortie : Job Perusal ===
+
+Avec le gLite WMS, on peut voir les fichiers produits par un job pendant qu'il est encore en exécution. 
+C'est la fonctionnalité Job Perusal. Avec le RB il fallait attendre que le job soit terminé.
+
+Pour activer le Job Perusal pour un job, il faut mettre les deux lignes suivantes dans le .jdl :
+
+{{{
+PerusalFileEnable = true;
+PerusalTimeInterval = 120;
+}}}
+
+La valeur fournie à PerusalTimeInterval est en secondes. C'est l'intervalle
+entre deux uploads des fichiers sur le WMS par le WN. Eviter de mettre des
+valeurs trop petites. Mettre plutôt plusieurs minutes. Pour des jobs courts, cen'est pas la peine d'utiliser cette fonctionnalité sauf pour debugger des problèmes de plantage de job. De facçon générale, ne pas abuser de cette
+fonctionnalité car elle est augmente la charge du WMS.
+
+Dans l'exemple ci-dessous nous allons lancer le job perusal.jdl et récupérer des fichiers pendant que le job tourne.
+
+{{{
+diarra@ipnlinux2 ~/work]$ cat perusal.jdl
+Executable    = "perusal.sh";
+Arguments     = "10";
+StdOutput     = "std.out";
+StdError      = "std.err";
+InputSandbox = {"perusal.sh"};
+OutputSandbox = {"std.out","std.err", "perusal.log"};
+PerusalFileEnable = true;
+PerusalTimeInterval = 120;
+#Requirements = RegExp("ipnls2001.*\.fr:2119/jobmanager.*ipno$", other.GlueCEUniqueID);
+}}}
+
+La soumission :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-submit -o pjid -a perusal.jdl
+https://grid02.lal.in2p3.fr:9000/1nX3gfh6Ba9NLtxy5FKe2g
+The job identifier has been saved in the following file:
+/home/diarra/work/pjid
+}}}
+ 
+On indique au WMS avec la commande 'glite-wms-job-perusal --set -f ... jodID', la liste des fichiers qu'on veut inspecter (ici std.err, std.out, perusal.log) :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-perusal --set -f std.err -f std.out -f perusal.log -i pjid
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+====================== glite-wms-job-perusal Success ======================
+Files perusal has been successfully enabled for the job:
+https://grid02.lal.in2p3.fr:9000/1nX3gfh6Ba9NLtxy5FKe2g
+==========================================================================
+}}}
+
+On récupère par exemple le fichier perusal.log :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-perusal --get --nodisplay -f perusal.log -i pjid
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+
+====================== glite-wms-job-perusal Success ======================
+
+The retrieved files have been successfully stored in:
+/home/diarra/JobOutput/diarra_1nX3gfh6Ba9NLtxy5FKe2g
+
+==========================================================================
+}}}
+
+Ici, le fichier se trouvera dans /home/diarra/JobOutput/diarra_1nX3gfh6Ba9NLtxy5FKe2g . Le nom du fichier contient en plus
+la fenêtre de temps couverte. A chaque récupération, un nouveau fichier est créé. Après plusieurs inspection des fichiers, on a par exemple :
+
+
+{{{
+[diarra@ipngrid01 ~/work]$ ls -l /home/diarra/JobOutput/diarra_1nX3gfh6Ba9NLtxy5FKe2g
+total 6900
+-rw-r--r--  1 diarra sii 1689998 Jun  5 11:34 perusal.log-20080605094053_1-20080605100318_12
+-rw-r--r--  1 diarra sii 5207599 Jun  5 11:34 perusal.log-20080605100520_13-20080605111856_49
+-rw-r--r--  1 diarra sii     213 Jun  5 09:41 std.err-20080605094051_1-20080605094051_1
+-rw-r--r--  1 diarra sii    6887 Jun  6 10:41 std.err-20080605094254_2-20080605111855_49
+-rw-r--r--  1 diarra sii   21097 Jun  5 09:56 std.out-20080605094052_1-20080605095508_8
+-rw-r--r--  1 diarra sii  103003 Jun  6 10:42 std.out-20080605095710_9-20080605111856_49
+}}}
+      
+Si l'option --nodisplay n'est pas utilisé, le fichier sera en plus affiché à l'écran (pas toujours
+commode). Par ailleurs à chaque récupération, seule le delta depuis le dernier upload est transmis.
+Pour récupérer à chaque fois l'intégralité du fichier, utiliser l'option --all de glite-wms-job-perusal.
+
+L'option --unset de glite-wms-job-perusal permet de desactiver le Job Perusal :
+
+{{{
+
+[diarra@ipngrid01 ~/work]$ glite-wms-job-perusal --unset -i pjid
+
+Reading the jobId from the input file: /home/diarra/work/pjid
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+====================== glite-wms-job-perusal Success ======================
+File(s) perusal has been successfully disabled for the job:
+https://grid02.lal.in2p3.fr:9000/1nX3gfh6Ba9NLtxy5FKe2g
+==========================================================================
+}}}
+                                                             
 === Le renouvellement automatique de proxy ===
 === Ressoumission automatique ===