Changes between Version 20 and Version 21 of Tutorial/DataMgt


Ignore:
Timestamp:
May 16, 2008, 3:58:13 PM (16 years ago)
Author:
jouvin
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • Tutorial/DataMgt

    v20 v21  
    66Les services qui permettent la gestion des fichiers sont ''file catalog'' (LFC) et le ''storage element'' (SE). Le ''file catalog'' est une base de données qui contient l'association entre un identifiant et les locations des fichiers dans lagrille.  Le SE fourni l'espace pour stocker les fichiers.
    77
    8 == Utilisation du Replica Manager ==
     8== Utilisation du File Catalog ==
    99
    1010Le service ''file catalog'' (ou ''replica catalog'') dans EGEE utilise le LFC. Il existe quelques commandes spécifiques au LFC qui commencent par `lfc-`. Elles ne sont généralement pas utilisées directement mais via les commandes qui permettent de manipuler et gérer les fichiers sur la grille, notamment les commandes appelées ''lcg_utils'' qui commencent par `lcg-`. Comme les commandes de soumissions de job, les commandes `lcg-` utilisent la VO du proxy de l'utilisateur par défaut.
    … …  
    1212''Note : lorsqu'on souhaite utiliser les commandes `lfc-`, il est nécessaire de définir la variable d'environnement `LFC_HOST` avec le nom du serveur LFC à utiliser. Les commandes `lcg-` au contraire localisent directement le serveur approprié pour la VO de l'utilisateur. Dans ce cas, la variable `LFC_HOST` permet de forcer l'utilisation d'un autre serveur LFC que le serveur par défaut de la VO.''
    1313
     14Sur la grille, un fichier peut avoir plusieurs replica. Dans ce cas, il n'y a qu'une seule entrée dans le catalogue à laquelle est associé l'ensemble des replica.
     15
    1416Les principales commandes `lcg_utils` sont :
    15  * `lcg-cr` (copy and register) : cette commande permet de copier un fichier local ou résidant sur un SE sur un autre SE. '''La destination est nécessairement un SE'''. Par défaut, il enregistre le nom du fichier dans le LFC. Le ''nom logique'' enregistré est généré par défaut. Pour imposer un autre ''nom logique'' que celui par défaut, il faut utiliser l'option `-l`. Le nom du fichier sur le SE est lui aussi généré s'il n'est pas spécifié explicitement, c'est-à-dire lorsque l'option `-d` ne spécifie que le nom du serveur.
     17 * `lcg-cr` (copy and register) : cette commande permet de copier un fichier local ou résidant sur un SE sur un autre SE. '''La destination est nécessairement un SE'''. Par défaut, il enregistre le nom du fichier dans le LFC. Le ''nom logique'' enregistré est généré par défaut. Pour imposer un autre ''nom logique'' que celui par défaut, il faut utiliser l'option `-l`. Le nom du fichier sur le SE est lui aussi généré s'il n'est pas spécifié explicitement, c'est-à-dire lorsque l'option `-d` ne spécifie que le nom du serveur. On utilise généralement l'option `-v` (verbose) qui permet d'avoir un détail du déroulement de la copie et facilite l'analyse des éventuelles erreurs.
    1618 
    1719 * `lcg-cp` (copy) : proche d'une commande `cp` standard, il permet de copier un fichier entre une source et une destination. Source et destination peuvent être soit un fichier local, soit un fichier sur un SE avec toutes les combinaisons possibles.
     20 
     21 * `lcg-rep` : création d'un réplica supplémentaire d'un fichier déjà existant et enregistrement de ce nouveau replica dans le catalogue. A la différence de `lcg-cr`, cela ne crée pas de nouvelle entrée dans le catalogue.
     22 
     23 * `lcg-lr` (list replica) : donne la liste des différents replica associés à un ''nom logique''.
     24 
     25 * `lcg-ls` : équivalent de la commande Unix `ls`.
     26 
     27 * `lcg-del` : suppression d'un fichier d'un SE et éventuellement du catalogue LFC.
     28
     29 * `lcg-lg` : retourne le GUID associé à un fichier.
     30
     31Les noms de fichier doivent adhérer à la syntaxe `protocole:/path/to/file`. `protocole` est soit `file` pour un fichier local, soit `srm` pour un fichier sur un SE (appelé `SURL`), soit `lfn` pour un nom logique enregistré dans le catalogue LFC. Pour les fichiers locaux, le nom du fichier doit être une spécification absolue : les chemins relatifs ne sont pas acceptés. Pour spécifier un fichier du directory courant, il est possibilité d'utiliser la valeur `$PWD/filename`.
    1832 
    1933Les commandes `lcg_utils` ont par défaut besoin d'accéder au BDII et ne peuvent utiliser que des ressources enregistrées dans le BDII. On peut aussi les utiliser sans BDII avec l'option `--nobdii` mais dans ce cas il faut fournir plus de paramètre sur les SE utilisés.
    … …  
    2539   * Combien de 'storage elements' sont disponibles pour la VO vo.lal.in2p3.fr ?
    2640   * Trouver la même information pour la VO `dteam`. Combien de SEs sont disponibles pour la VO dteam ?
    27 
    2841 1. Créez un fichier texte et copiez-le sur un SE à l'aide de  la commande `lcg-cr` en définissant le nom logique à utiliser pour le fichier. Le format du nom logique doit être `lfn:/grid/voname/filename`, par exemple `lfn:/grid/vo.lal.in2p3.fr/myname-tot.txt`.
    29  1. Vérifiez que le fichier copié est bien présent à l'aide  de la commande `lcg-lr`.
    30   * `lcg-lr  <GUID>`   Si cela se passe bien, la commande affiche un URL avec un protocole “sfn”. On peut également remplacer le GUID par le nom logique (ou SURL).
    31   * `lcg-lr  lfn:/grid/vo.lal.in2p3.fr/myname-toto.txt` Le même URL qu'avant doit s'afficher.
    32 
    33  * On peut utiliser la commande `lcg-lg` pour trouver le GUID  pour un nom logique ou SURL. Regardez l'usage de cette commande  et vérifiez que le GUID est correct pour votre nom logique.
    34  * Choisissez un SE dans la liste des SE disponibles, et faites  une copie de votre fichier sur ce SE à l'aide de la commande  `lcg-rep`. Vérifiez que le fichier a bien été  dupliqué avec la commande `lcg-lr`.
    35   * `lcg-lr <GUID>|<LFN>|<SURL>`
    36 
    37  * Récupérez localement le fichier ou son replica à l'aide de  la commande `lcg-cp`.
    38   * ` lcg-cp  <GUID>|<LFN>|<SURL> file:`pwd`/copie.txt`    Vérifiez que la copie.txt et le fichier original sont identiques.
    39 
    40  * Supprimez ensuite le replica de ce fichier à l'aide de la commande `lcg-del`.
    41   * `lcg-del  <SURL>`    Vérifiez avec la commande `lcg-lr` que ce replica n'existe plus. Ajoutez l'option “-a” pour supprimer le fichier de tous les SE. L'entrée correspondante au GUID alors dans le RC (Replica Catalog)est détruite.  Cette fonctionnalité n'existera plus dans les sorties futures. ''Ne le faites pas maintenant.''
     42 1. Vérifiez que le fichier copié est bien présent dans le catalogue à l'aide  de la commande `lcg-lr`. Si cela se passe bien, la commande affiche un URL avec un protocole `srm`.
     43 1. Afficher les informations sur le fichier avec la commande `lcg-ls`.
     44 1. Retrouver le GUID associé au fichier précédent.
     45 1. Répliquer le fichier précédemment créer avec la commande `lcg-rep` sur un autre SE ouvert à la VO, identifié à la première étape.
     46 1. Vérifier que le nouveau replica a bien été ajouté dans le catalogue, en utilisant la commande `lgc-lr`.
     47 1. On peutiliser la commande `lcg-lg` pour trouver le GUID  pour un nom logique ou SURL. Regardez l'usage de cette commande  et vérifiez que le GUID est correct pour votre nom logique.
     48 1. Récupérez localement le fichier à l'aide de  la commande `lcg-cp`. Utiliser d'abord le nom logique puis le nom d'un des replica (SURL).
     49 1. Supprimez l'un des replica de ce fichier à l'aide de la commande `lcg-del` et verifier le résultat avec la commande `lcg-lr`.
    4250
    4351== Regarder les informations dans le LFC ==