Changes between Version 45 and Version 46 of Tutorial/JobSubm

Timestamp:

Jun 6, 2008, 9:30:35 AM (16 years ago)

Author:

/C=FR/O=CNRS/OU=UMR8608/CN=Christophe Diarra/emailAddress=diarra@…

Comment:

--

Tutorial/JobSubm

@@ -182 +182 @@
 
 Les informations officielles à jour pour l'utilisation de MPI sur la grille EGEE sont disponibles sur le site [http://egee-uig.web.cern.ch/egee-uig/production_pages/MPIJobs.html EGEE UIG]. Plus de détails sont disponibles sur le site du [http://www.grid.ie/mpi/wiki MPI Working Group].
+
+== Soumission de jobs via le WMS ==
+
+=== Introduction ===
+
+En gLite 3.1 le WMS (Workload Management System) remplace le RB. Il comprend deux services :
+le WMS lui-même et le Logging and Bookkeeping service (LB). Ces deux services peuvent
+être sur des machines séparés. C'est pourquoi votre jobId contient le nom du LB quit être différent de celui du WMS utilisé.
+
+Le WMS permet une meilleure gestion des jobs : meilleure temps de réponse, meilleure tenue de la charge.
+
+Les commandes edg-job-* qui utilisaient le RB peuvent donc être avantageusement remplacées par leurs équivalents glite-wms-job-* . Pour avoir de l'aide sur une commande, utiliser man ou l'option --help de la commande (Exemple: man glite-wms-job-submit ou glite-wms-job-submit --help). Par ailleurs, il est recommandé d'utiliser l'option -o avec
+la commande glite-wms-job-submit pour mémoriser les jobIds dans un seul ou plusieurs fichiers. L'option -i des autres commandes glite-wms-job-* permet de relire les jobIds dans un de ces fichiers.
+
+Chaque job soumis au WMS doit être associé à un proxy délégué au WMSProxy server
+par l'utilisateur. Le WMProxy (un composant du WMS) s'en sert pour toute interaction avec les autres services grille en rapport le job.
+
+Le proxy de l'utilisateur peut être délégué au WMS (WMSProxy), soit automatiquement (option -a) soit explicitement (option -d).
+Si vous soumettez des centaines de jobs, il est préférable d'utiliser la délégation explicite car l'auto-délégation est plus consommatrice de ressources.
+
+
+Dans les différents exemples, nous utiliserons la délégation automatique. Un paragraphe sera consacré à la délégation explicite.
+
+Le WMS utilisé est celui de GRIF (wms.grif.fr i.e grid09.lal.in2p3.fr). Le LB associé est grid02.lal.in2p3.fr
+
+=== Soumission d'un job ===
+
+On peut vérifier d'abord (facultatif) qu'il n'y a pas d'erreur dans le jdl et afficher la liste des CE candidats pour le job.
+
+{{{
+diarra@ipngrid01 ~/work]$ glite-wms-job-list-match -a HelloWorld.jdl
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+==========================================================================
+                     COMPUTING ELEMENT IDs LIST
+ The following CE(s) matching your job requirements have been found:
+        *CEId*
+ - ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno
+==========================================================================
+}}}
+
+Pour soumettre un job, utiliser glite-wms-job-submit :
+
+{{{
+diarra@ipngrid01 ~/work]$ glite-wms-job-submit -o jobId -a HelloWorld.jdl
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+====================== glite-wms-job-submit Success ======================
+The job has been successfully submitted to the WMProxy
+Your job identifier is:
+https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+The job identifier has been saved in the following file:
+/home/diarra/work/jobId
+==========================================================================
+
+[diarra@ipngrid01 ~/work]$ cat jobId
+###Submitted Job Ids###
+https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+}}}
+
+=== La delegation explicite de proxy au WMSProxy ===
+
+Nous avons déjà utilisé la délégation automatique (simple et pratique) plus haut avec l'option -a des commandes glite-wms-job-submit et glite-wms-job-list-match. Mais l'inconvenient de cette méthode est que la délégation est repétée pour chaque job. Avec la délégation explicite, la délégation est faite une seule fois, ce qui est plus performant car les
+jobs suivants seront soumis plus rapidement.
+
+Pour déléguer explicitement un proxy au WMProxy, la commande à utiliser est :
+glite-wms-job-delegate-proxy -d <delegID>
+
+<delegID> est un nom (une chaine) choisi par l'utilisateur. Les futures invocations de glite-wms-job-submit et glite-wms-job-list-match peuvent bypasser la délégation du proxy avec l'option -d <delegID> .
+
+Par exemple, pour déléguer un proxy (qu'on nomme ici mydelegID):
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-delegate-proxy -d mydelegID
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+================== glite-wms-job-delegate-proxy Success ==================
+Your proxy has been successfully delegated to the WMProxy:
+https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+with the delegation identifier: mydelegID
+==========================================================================
+}}}
+
+On peut alors soumettre un job en utilisant le <delegID> mydelegID :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-submit -d mydelegID HelloWorld.jdl
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+====================== glite-wms-job-submit Success ======================
+The job has been successfully submitted to the WMProxy
+Your job identifier is:
+https://grid02.lal.in2p3.fr:9000/ro9Lu7b0CtgKAYhua0HZ2A
+==========================================================================
+}}}
+
+L'option -a de glite-wms-job-delegate-proxy permet de demander au système de choisir pour nous un <delegID> :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-delegate-proxy -a
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+================== glite-wms-job-delegate-proxy Success ==================
+Your proxy has been successfully delegated to the WMProxy:
+https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+
+with the delegation identifier: cFdr8WvkFirUHQs2sUpyGQ
+==========================================================================
+}}}
+
+Note: A cause d'un bug, si le UI est configuré avec une liste de WMS, glite-wms-job-delegate-proxy ne delegera le proxy qu'a un seul de la liste. Ceci est une limitation de la delegation explicite.
+
+
+=== Status des jobs / Récupération des outputs (OutpuSandbox) ===
+
+Pour connaître le status d'un job :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-status -i jobId
+ou
+[diarra@ipngrid01 ~/work]$ glite-wms-job-status https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+
+*************************************************************
+BOOKKEEPING INFORMATION:
+Status info for the Job : https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+Current Status:     Scheduled
+Status Reason:      Job successfully submitted to Globus
+Destination:        ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno
+Submitted:          Tue Jun  3 16:27:26 2008 CEST
+*************************************************************
+}}}
+
+Attendre que le job soit Running puis Done (Success) pour pouvour récupérer les résultats avec glite-wms-job-status :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-status -i jobId
+(ou glite-wms-job-status https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw)
+
+*************************************************************
+BOOKKEEPING INFORMATION:
+Status info for the Job : https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+Current Status:     Done (Success)
+Exit code:          0
+Status Reason:      Job terminated successfully
+Destination:        ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno
+Submitted:          Tue Jun  3 16:27:26 2008 CEST
+*************************************************************
+}}}
+
+Le job est terminé, on peut récupérer les résultats (OutputSandbox)avec glite-wms-job-output :
+
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-output -i jobId
+(ou glite-wms-job-output https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw)
+
+Connecting to the service https://grid09.lal.in2p3.fr:7443/glite_wms_wmproxy_server
+================================================================================
+                        JOB GET OUTPUT OUTCOME
+Output sandbox files for the job:
+https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+have been successfully retrieved and stored in the directory:
+/home/diarra/JobOutput/diarra_Rw0lve7pSId8-DBP2jiatw
+================================================================================
+
+[diarra@ipngrid01 ~/work]$ ls -l /home/diarra/JobOutput/diarra_Rw0lve7pSId8-DBP2jiatw
+total 0
+-rw-r--r--  1 diarra sii  0 Jun  3 16:51 std.err
+-rw-r--r--  1 diarra sii 12 Jun  3 16:51 std.out
+}}}
+
+=== Tuer un job ===
+
+[diarra@ipngrid01 ~/work]$ glite-wms-job-cancel <jobID>
+ou
+glite-wms-job-cancel -i <jobIdFile>
+
+Exemple:
+{{{
+[diarra@ipngrid01 ~/work]$ glite-wms-job-cancel https://grid02.lal.in2p3.fr:9000/Rw0lve7pSId8-DBP2jiatw
+}}}
+
+=== Obtenir des détails (logging information) sur un job ===
+=== Collection de jobs (bulk submission) ===
+=== Examen en temps réel des fichiers de sortie ===
+=== Le renouvellement automatique de proxy ===
+=== Ressoumission automatique ===
+
+=== Références utiles ===
+
+
+