Changes between Version 46 and Version 47 of Tutorial/JobSubm

Timestamp:

Jun 6, 2008, 9:50:32 AM (17 years ago)

Author:

/C=FR/O=CNRS/OU=UMR8608/CN=Christophe Diarra/emailAddress=diarra@…

Comment:

--

Tutorial/JobSubm

@@ -240 +240 @@
 }}}
 
-=== La delegation explicite de proxy au WMSProxy ===
+=== La délégation explicite de proxy au WMSProxy ===
 
 Nous avons déjà utilisé la délégation automatique (simple et pratique) plus haut avec l'option -a des commandes glite-wms-job-submit et glite-wms-job-list-match. Mais l'inconvenient de cette méthode est que la délégation est repétée pour chaque job. Avec la délégation explicite, la délégation est faite une seule fois, ce qui est plus performant car les
@@ -362 +362 @@
 
 === Obtenir des détails (logging information) sur un job ===
+Pour avoir des détails sur la vie d'un job, utiliser la commande glite-wms-job-logging-info <jobID> . Pour un mode plus verbeux, utiliser les option -v 1 ou -v 2 ou -v 3
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-logging-info -v 2 https://grid02.lal.in2p3.fr:9000/1TEI3X2ZtLJ5SEyqrZ4B8A 
+}}}
+
 === Collection de jobs (bulk submission) ===
+
+Vous pouvez utiliser le bulk submission pour soumettre une collections de jobs indépendants. Pour cela, il faut mettre tous les .jdl dans un même directory et utiliser l'option --collection avec glite-wms-job-submit. Ce mécanisme est
+très performant et préférable à la soumission individuel d'un grand nombre de jobs.
+
+Ici nous avons par exemple trois fichiers .jdl dans le directory jdl :
+
+{{{
+[diarra@ipnlinux2 ~/work]$ ls -l jdl/*
+-rw-r--r--  1 diarra sii 247 Jun  3 17:25 jdl/job1.jdl
+-rw-r--r--  1 diarra sii 247 Jun  3 17:25 jdl/job2.jdl
+-rw-r--r--  1 diarra sii 247 Jun  3 17:25 jdl/job3.jdl
+}}}
+
+Pour soumettre la collection des 3 jobs, faire :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-submit -a --collection jdl
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+====================== glite-wms-job-submit Success ======================
+The job has been successfully submitted to the WMProxy
+Your job identifier is:
+https://grid02.lal.in2p3.fr:9000/6zqZkrgnQ2vYkPaeNabbiQ
+==========================================================================
+}}}
+
+Je jobId affiché est l'identifiant de la collection (<collID>). Il faut utiliser <collID> pour pouvoir
+connaitre l'état individuel des jobs ainsi que les vrais jobIDs.
+
+{{{
+diarra@ipngrid01 ~/work]$ glite-wms-job-status https://grid02.lal.in2p3.fr:9000/6zqZkrgnQ2vYkPaeNabbiQ
+
+
+*************************************************************
+BOOKKEEPING INFORMATION:
+
+Status info for the Job : https://grid02.lal.in2p3.fr:9000/6zqZkrgnQ2vYkPaeNabbiQ
+Current Status:     Running
+Submitted:          Tue Jun  3 17:25:54 2008 CEST
+*************************************************************
+
+- Nodes information for:
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/-nUgO-prNqqBNn1JL5i-uA
+    Current Status:     Running
+    Status Reason:      Job successfully submitted to Globus
+    Destination:        ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Tue Jun  3 17:25:54 2008 CEST
+*************************************************************
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/0Zits9wf2vkNLmk2eVUaMg
+    Current Status:     Running
+    Status Reason:      Job successfully submitted to Globus
+    Destination:        ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Tue Jun  3 17:25:54 2008 CEST
+*************************************************************
+    Status info for the Job : https://grid02.lal.in2p3.fr:9000/74kheBpT3e3qV-vq7dkG1A
+    Current Status:     Running
+    Status Reason:      Job successfully submitted to Globus
+    Destination:        ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno
+    Submitted:          Tue Jun  3 17:25:54 2008 CEST
+*************************************************************
+}}}
+
+La commande glite-wms-job-output sur la <collID>, permet d'obtenir les sorties
+des jobs qui se sont terminés sans erreur. Les sorties sont rangées dans un sous-directory par job.
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-output  https://grid02.lal.in2p3.fr:9000/6zqZkrgnQ2vYkPaeNabbiQ
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+================================================================================
+                        JOB GET OUTPUT OUTCOME
+Output sandbox files for the DAG/Collection :
+https://grid02.lal.in2p3.fr:9000/6zqZkrgnQ2vYkPaeNabbiQ
+have been successfully retrieved and stored in the directory:
+/home/diarra/JobOutput/diarra_6zqZkrgnQ2vYkPaeNabbiQ
+================================================================================
+}}}
+
+Les résultats ont été enregistrés dans /home/diarra/JobOutput/diarra_6zqZkrgnQ2vYkPaeNabbiQ. Nous y retrouvons 
+les sorties de chaque job dans un directory différent :
+
+{{{
+[diarra@ipngrid01 ~/work]$ ls /home/diarra/JobOutput/diarra_6zqZkrgnQ2vYkPaeNabbiQ
+ids_nodes.map  Node_job1_jdl  Node_job2_jdl  Node_job3_jdl
+
+[diarra@ipngrid01 ~/work]$ ls /home/diarra/JobOutput/diarra_6zqZkrgnQ2vYkPaeNabbiQ/Node_job1_jdl/
+std.err  std.out
+}}}
+
+Le fichier ids_nodes.map indique quel sous-directory est utilisé pour chaque jobId.
+
+Les commandes glite-wms-job-cancel et glite-wms-job-logging-info s'appliquent également sur les collections.
+
+
 === Examen en temps réel des fichiers de sortie ===
+
 === Le renouvellement automatique de proxy ===
 === Ressoumission automatique ===