Gestion des Données

Table of Contents

1. Gestion des Données
   1. Utilisation du Replica Manager
   2. Regarder les informations dans le LFC
   3. Accéder depuis un job à des données stockées
   4. Stockez des données depuis un job

Gestion des Données

Les services qui permettent la gestion des fichiers sont le “replicacatalog” (ou “file catalog”) et le “storage element” (SE). Le “replica catalog” est une base de données qui contientl'association entre un identifiant et les locations des fichiers dans lagrille. Le SE fourni l'espace pour stocker les fichiers.

Utilisation du Replica Manager

Il existe au moins trois versions différentes du “replica catalog” : le “EDGReplica Catalog”, le “FireMan Catalog”, et le “LHC File Catalog” (LFC). La version du “replica catalog” peut être différente pour chaque VO”. Le “EDGReplication Catalog” et le “FireMan Catalog” sont périmés; la plupart des VOs utilise le LFC. Les commandes lcg-* marchent pour le EDG Replica Catalog et LFC. Le FireMan Catalog utilise d'autres commandes mais fonctionnent comme les commandes lcg-*.

1. Si votre VO utilise le LFC (comme vo.u-psud.fr), il est nécessaire de définirla variable d'environnement LCG\_CATALOG\_TYPE”. La VO vo.u-psud.fr\ utilise le LFC”.
   • setenv LCG_CATALOG_TYPE lfc pour le shell csh
   • export LCG_CATALOG_TYPE=lfc pour le shell sh.
2. Visualisez les informations concernant les ressources disponibles pour la VO vo.u-psud.fr.
   • lcg-infosites --vo vo.u-psud.fr all Combien de “storage elements” sont disponibles pour la VOvo.u-psud.fr? On peut voir plus de ressources pour la VO dteam. Combien de SEs sont disponibles pour la VO dteam?
3. Créez un fichier texte, et copiez-le sur un SE à l'aide de la commande lcg-cr.
   • lcg-cr -d grid05.lal.in2p3.fr --vo vo.u-psud.fr \ file:`pwd`/toto.txt \ -l lfn:/grid/vo.u-psud.fr/myname-toto.txt Remplacez “myname” par votre nom. L'option “-l” (la lettre) donne un nom logique à ce fichier. Pour la VO vo.u-psud.fr, ce nom doit être dans le format: “lfn:/grid/vo.u-psud.fr/...”.De ce fait, les commandes lcg-* ne comprendront pas encore les proxies VOMS et la VO doit aussi être spécifiée. Si l'option “-d” n'est pas specifiée, la commande va utiliser le SE définidans l'environnement. Utilisez printenv pour rechercher une variable contenant “PSUD”. Lorsque la commande se passe bien, un GUID est retourné (Globally UniqueIDentifier) pour le fichier. Ce GUID peut être utilisé pour manipuler le fichier.
4. Vérifiez que le fichier copié est bien présent à l'aide de la commande lcg-lr.
   • lcg-lr --vo vo.u-psud.fr <GUID> Si cela se passe bien, la commande affiche un URL avec un protocole “sfn”. On peut également remplacer le GUID par le nom logique (ou SURL).
   • lcg-lr --vo vo.u-psud.fr lfn:/grid/vo.u-psud.fr/myname-toto.txt Le même URL qu'avant doit s'afficher.
5. On peut utiliser la commande lcg-lg pour trouver le GUID pour un nom logique ou SURL. Regardez l'usage de cette commande et vérifiez que le GUID est correct pour votre nom logique.
6. Choisissez un SE dans la liste des SE disponibles, et faites une copie de votre fichier sur ce SE à l'aide de la commande lcg-rep. Vérifiez que le fichier a bien été dupliqué avec la commande lcg-lr.
   • lcg-lr --vo vo.u-psud.fr <GUID>|<LFN>|<SURL>
7. Récupérez localement le fichier ou son replica à l'aide de la commande lcg-cp.
   • {{{lcg-cp --vo vo.u-psud.fr <GUID>|<LFN>|<SURL> file:pwd/copie.txt

}}} Vérifiez que la copie.txt et le fichier original sont identiques.

1. Supprimez ensuite le replica de ce fichier à l'aide de lacommande lcg-del.
   • lcg-del --vo vo.u-psud.fr <SURL> Vérifiez avec la commande lcg-lr que ce replica n'existe plus. Ajoutez l'option “-a” pour supprimer le fichier de tous les SE. L'entrée correspondante au GUID alors dans le RC (Replica Catalog)est détruite. Cette fonctionnalité n'existera plus dans les sorties futures. Ne le faites pas maintenant.

Regarder les informations dans le LFC

Les commandes client ne trouvent pas automatiquement le serveur LFC pour votre VO. Pour la VO vo.u-psud.fr, il est nécessaire de définir lavariable d'environnement LFC\_HOST”.

• setenv LFC_HOST grid14.lal.in2p3.fr pour le shell csh ou
• export LFC_HOST=grid14.lal.in2p3.fr pour le shell sh.

Normalement on ne change pas le contenu de ce catalogue manuellement. Si on supprime une entrée dans le catalogue, on peut laisser des fichiers qui seront introuvables dans la grille. Cependant, il peut être intéressant d'y regarder de temps en temps directement les informations et de créer des nouveaux répertoires.

1. Pour trouver les fichiers dans /grid/vo.u-psud.fr, faites :
   • lfc-ls -l /grid/vo.u-psud.fr On peut voir les permissions, la taille, la date de modification, et le nom avec l'option “-l”. Vous allez trouver votre fichier dans laliste.
2. Le LFC supporte les “Access Control Lists” (ACL). Pour regarder l'ACL pour un fichier ou un répertoire :
   • lfc-getacl /grid/vo.u-psud.fr A chaque répertoire correspond deux ACLs : l'ACL pour le répertoire et une ACL par défaut. L'ACL par défaut est appliqué aux nouveaux fichiers du répertoire. Normalement les commandes lcg-* mettent les bonnes permissions dans les fichiers et répertoires. Le LFC utilise les ACLs mais malheureusement cette fonctionnalité n'est pas très utilisable car l'accès est toujours lié au compte unix. On ne peut donc pas encore utiliser les ACLs pour contrôler finement l'accès aux fichiers.
3. On peut créer un nouvelle arborescence avec lfc-mkdir. On doit alors vérifier que le nouveau répertoire possède les bons droits. Créez un nouveau répertoire et copiez-y un fichier. Ensuite utilisez lcg-del avec l'option “-a” et lfc-rm pour nettoyer le LFC.

Accéder depuis un job à des données stockées

1. Regardez les fichiers InputData.jdl et InputData.sh. Dans InputData.jdl il y a deux nouvelles lignes qui permettent d'ordonnancer les jobs près des fichiers de données :
   • DataAccessProtocol = "file","gridftp","rfio";InputData = "lfn:<LFN>"; Les protocoles sont les moyens par lesquels votre exécutable peut lire ce fichier. Tous les SEs supportent le protocole gridftp. Les autres ne sont pas obligatoires.
2. Modifiez le fichier InputData.jdl. Mettez le nom logique de votre fichier.
3. Affichez la liste des sites sur lesquels le job peut être soumis. Pourquoi est-elle si réduite?
4. Lancez ce job et vérifiez que le fichier est bien lu.

Stockez des données depuis un job

1. Regardez le script OutputData.sh et le fichier OutputData.jdl. Ce job crée un fichier toto.txt et la grille transfère ce fichier dans un SE.
2. Changez le LFN dans le fichier JDL et lancez le job.
3. Regardez les fichiers de sortie. En particulier, le fichier DSUpload*.out. Pouvez-vous récupérer ce fichier dans grid11.lal.in2p3.fr ?