Changes between Version 48 and Version 49 of Tutorial/JobSubm

Timestamp:

Jun 6, 2008, 11:32:57 AM (17 years ago)

Author:

/C=FR/O=CNRS/OU=UMR8608/CN=Christophe Diarra/emailAddress=diarra@…

Comment:

--

Tutorial/JobSubm

@@ -484 +484 @@
 fonctionnalité car elle est augmente la charge du WMS.
 
-Dans l'exemple ci-dessous nous allons lancer le job perusal.jdl et récupérer des fichiers pendant que le job tourne.
+Dans l'exemple ci-dessous nous allons lancer le job perusal.jdl et récupérer des fichiers pendant que le job tourne. Il y a un upload toutes les 2 minutes (120 secondes) du WN vers le WMS.
 
 {{{
@@ -499 +499 @@
 }}}
 
+N.B.: on peut utiliser l'attribut PerusalFilesDestURI dans le .jdl pour demander l'upload vers un serveur GridFTP plus que
+que vers le WMS.
+
 La soumission :
 
@@ -535 +538 @@
 
 Ici, le fichier se trouvera dans /home/diarra/JobOutput/diarra_1nX3gfh6Ba9NLtxy5FKe2g . Le nom du fichier contient en plus
-la fenêtre de temps couverte. A chaque récupération, un nouveau fichier est créé. Après plusieurs inspection des fichiers, on a par exemple :
+la fenêtre de temps couverte. A chaque récupération, un nouveau fichier est créé. Après plusieurs inspections des fichiers, on a par exemple :
 
 
@@ -568 +571 @@
                                                              
 === Le renouvellement automatique de proxy ===
+
+Pour des raisons de sécurité, il est recommandé de ne pas crée des proxies de plusieurs jours. Par ailleurs la durée de l'extension VOMS du proxy est limitée par les VOs, en général à 24h. Si un job dure plus longtemps que la
+validitée du proxy associé, il peut échouer ('Aborted' avec la raison 'the userproxy expired' ).
+
+Le serveur proxy permet d'enregistrer son proxy pour une longue durée. Le proxy enregistré peut ensuite servir au WMS pour renouveler automatiquement le proxy des jobs.
+
+Pour utiliser un service myproxy il faut :
+ * Créer un proxy VOMS et l'enregistrer pour plusieurs jours ou semaines dans le serveur myproxy (myproxy.grif.fr pour GRIF)
+ * Déclarer le serveur myproxy dans le .jdl. Par exemple mettre la ligne suivante dans le .jdl
+
+{{{
+MyProxyServer = "myproxy.grif.fr";
+}}}
+
+Avant d'enregistrer son proxy, en crér un valide :
+
+{{{
+[diarra@ipngrid01 work]$ voms-proxy-init --voms vo.ipno.in2p3.fr --valid 24:00
+}}}
+
+Pour supprimer un ancien proxy déjà enregistré dans le serveur myproxy :
+
+{{{
+[diarra@ipngrid01 work]$ myproxy-destroy -s myproxy.grif.fr -d
+}}}
+
+Pour enregistrer son proxy dans le serveir myprosy :
+
+{{{
+[diarra@ipngrid01 work]$ myproxy-init -s myproxy.grif.fr -d -n -t 24 -c 800
+}}}
+
+Les options :
+
+ * -d : Le DN sera utilisé par défaut comme le username
+ * -n : On peut récupérer le proxy sans donner de mot de passe
+ * -t : Validité (lifetime) en heures du proxy récupéré (délégué). La valeur par défaut est 12h.
+ * -c : Validité (lifetime) en heures du proxy sur le serveur myproxy. La valeur par defaut est 1 semaine.
+ 
+On vérifie avec myproxy-info :
+
+{{{
+[diarra@ipngrid01 work]$ myproxy-info -s myproxy.grif.fr -d
+username: /O=GRID-FR/C=FR/O=CNRS/OU=IPNO/CN=Christophe Diarra
+owner: /O=GRID-FR/C=FR/O=CNRS/OU=IPNO/CN=Christophe Diarra
+  timeleft: 799:58:55  (33.3 days)
+}}}
+
+Ensuite il suffit de soumettre un job avec un proxy VOMS valide. Même si le job dure plusieurs jours, son proxy
+n'expirera pas. Bien sûr il faut que le temps d'exécution job n'excède la durée de vie totale du proxy enregistré sur le serveur myproxy.
+
 === Ressoumission automatique ===
 
+Le WMS peut resoumettre automatiquement les jobs s'ils sont 'aborted' par la grille. Deux types de ressoumission sont disponibles en gLite 3.1 WMS:
+ * deep resubmission : pour les jobs échouent qui après démarrage sur un WN
+ * shallow resubmission : dans les autres cas
+
+Les attributes RetryCount et ShallowRetryCount permettent de limiter le nombre
+de tentatives de ressoumission des jobs, respectivement pour les modes deep et shallow. Une valeur à zéro (0) dévalide la resoumission.
+
+Il est recommandé dévalider le deep resubmission car le WMS peut resoumettre unjob qu'il croit (à tort) aborted ou bien un job qui a échoué peut déjà avoir
+effectué un certains nombre d'opérations incompatibles avec un deuxième lancement. Par contre il est recommandé d'utiliser shallow resubmission pour donner plus
+de chance à votre job d'être soumis.
+
+Dans l'exemple ci-dessous, on devalide le deep resubmission et on limite les
+tentatives de shallow resubmission à 3:
+
+RetryCount = 0;
+ShallowRetryCount = 3;
+
 === Références utiles ===
 
-
-
+Consulter les documents ci-dessous pour plus d'informations. Vous pourrez apprendre par exemple dans le 1er document
+(comment gLite 3.1 User Guide) :
+
+- utiliser GridFTP pour le transfert des SandBox
+- utiliser les DAG (direct acyclic graphs) : jobs dépendants
+- utiliser les Parametric jobs : collection de josb identiques sauf pour un parametre d'exécution.
+
+gLite 3.1 User Guide:
+https://edms.cern.ch/file/722398/1.2/gLite-3-UserGuide.html
+
+Submission and monitoring of jobs via WMProxy using the command line interface:
+http://wiki.egee-see.org/index.php/SG_Running_Jobs_WMProxy_CLI
+
+Tutorial: Submitting jobs :
+http://www-numi.fnal.gov/offline_software/srt_public_context/GridTools/docs/jobs_tutorial.html#submitting_jobs
+                                
+
+