1 / 16

SRB (Storage Resource Broker)

SRB (Storage Resource Broker). Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3. SRB en quelques mots. Fournit une interface uniforme pour se connecter à des données hétérogènes (stockés sur bande, disque, base de données) distribuées dans de multiples sites.

keena
Download Presentation

SRB (Storage Resource Broker)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SRB(Storage Resource Broker) Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3

  2. SRB en quelques mots. • Fournit une interface uniforme pour se connecter à des données hétérogènes (stockés sur bande, disque, base de données) distribuées dans de multiples sites. • Développé par le SDSC (UC San Diego). • Qui utilise SRB ? • Biologie: BIRN (Biomedical Informatic Research Network). • NASA: sciences de l’environnement. • Sciences de la Terre. • HEP: CMS, BaBar, Belle, JLab etc… • Secteur privé: General Atomics. • Serveurs déployés aux USA, UK, France, Allemagne, Japon, Corée etc.. SRB - 01/12/03 - CC-IN2P3

  3. (3) MCAT SRB SRB SRB Site 2 Site 3 (4) (1) (2) Architecture. Nécessite: • 1 serveur SRB + MetaCatalog (MCAT): contient la liste de tous les fichiers enregistrés dans SRB, ressources physiques, utilisateurs (droits etc…). • Un ensemble de serveurs SRB (accés à l’emplacement physique des fichiers). Site 1 test1.txt Appli. (demande test1.txt) SRB - 01/12/03 - CC-IN2P3

  4. Architecture (suite). • SRB porté sur de multiples plateformes: • Linux. • Solaris. • AIX. • etc.. • MCAT, base de données: • Oracle. • DB2. • Sybase. • PostGreSQL. SRB - 01/12/03 - CC-IN2P3

  5. Quelques fonctionnalités. • Permet l’accés, via des commandes à la sauce Unix, aux données à partir de leurs attributs au lieu de leur nom et emplacement physique (site, type de stockage). • Ex: > Sinit # connection au serveur SRB > Sls /home/nief.ccin2p3 # liste des fichiers du # répertoire /home/nief.ccin2p3 evs_g_isPhysicsEvents_aod004051 test1.txt • Scd, Spwd… pour naviguer dans l’espace des noms logiques. SRB - 01/12/03 - CC-IN2P3

  6. Quelques fonctionnalités (suite). • Pour copier chez soi evs_g_isPhysicsEvents_aod004051: > Sget evs_g_isPhysicsEvents_aod004051 <filename> • Métadonnées associées aux fichiers. Ex: > SgetD evs_g_isPhysicsEvents_aod004051 data-name : evs_g_isPhysicsEvents_aod004051 path_name: /objydatabases/theData/resident/…. data_grp_name: /home/srbbbr.frslac/import/fdb/0103/aod data_size: 24461312 phys_rsrc_name: hpss-ccbbsn04 # accés transparent aux fichiers dans HPSS • Possibilités d’ajouter ses propres meta-données. SRB - 01/12/03 - CC-IN2P3

  7. Quelques fonctionnalités (suite). • Interface avec MSS (HPSS, Castor etc…). • Ressources logiques: ensembles de ressources physiques. Ex: ressources physiques: • ccasn01-unix: file system Unix @ Lyon • ccbbsn04-hpss: hpss file system @ Lyon • hostCern-castor: Castor file system @ CERN • Mettre un fichier dans ces 3 ressources en même temps: > Sput –S logical-res test1.txt <SRB filename> logical-res SRB - 01/12/03 - CC-IN2P3

  8. MCAT SRB SRB MCAT site 1 site 1’ MCATs fédérés(« peer to peer »). • SRB V3: 2 serveurs SRB-MCAT (ou +) peuvent maintenant se connecter l’un à l’autre. • Nouvelle notion de zones.  Redondance, système plus robuste en cas d’absence de l’un des serveurs MCAT. Zone A Zone B SRB SRB site 2’ site 2 SRB - 01/12/03 - CC-IN2P3

  9. Administration du MCAT. • Commandes lignes pour: • Déclaration des ressources physiques et logiques. • Création de nouveaux utilisateurs, gestion des droits, tickets (droit temporaire). • Nouvelles meta-données. • Ou interface graphique: SRB - 01/12/03 - CC-IN2P3

  10. SRB au CC-IN2P3. • Utilitaires clients (Sinit, …) installés sous AFS (Linux + Solaris).  Accés par une commande qui positionne les variables d’environnement nécessaires (équivalente à root_env): > srb_env • Hébergement du Métacatalogue sur une base Oracle. • Hébergement des serveurs SRB sur des machines SUN. SRB - 01/12/03 - CC-IN2P3

  11. disque disque SRB SRB SRB SRB ccsrb01 ccsrb02 SRB au CC-IN2P3 (suite). HPSS etc ccsrb (Portail: nom générique) SRB - 01/12/03 - CC-IN2P3

  12. SRB au CC-IN2P3 (suite). • Utilisé pour l’instant par: • CMS: • DC03 + DC04. • Collaboration SCS-Slac / CC-IN2P3: • BaBar: ~160 To à transférer en 2004. • Glast ? SRB - 01/12/03 - CC-IN2P3

  13. Performances de SRB. • Performances en lecture / écriture dans HPSS comparable à RFIO. • MCAT: • exemple de CMS: • 20 To de données enregistrées. • 600000 fichiers enregistrés. • Quelques secondes pour lister l’ensemble des fichiers. • uniquement limité par les performances du (ou des) serveur(s) Oracle. SRB - 01/12/03 - CC-IN2P3

  14. Performances de SRB. • Performances sur transferts longue distance inférieures à bbftp, mais tout à fait raisonnable (obtenues avec des serveurs SUN): ~ 50 Mbits/s • Fiabilité des serveurs SRB pour des transferts en continu (24h/24h, démo au SC2003 – Phoenix): SRB - 01/12/03 - CC-IN2P3

  15. SRB et les projets Grid. • Soutenu financièrement par PPDG. • Projet d’interface de SRB avec EDG (Bristol/RAL): • Fichiers enregistrés dans SRB accessibles par les outils de grille: interface de SRB/MCAT avec RLS (Replica Location Service). • Localiser les fichiers enregistrés dans SRB avec RLS. • Interface de SRB avec SRM (Storage Resource Manager). SRB - 01/12/03 - CC-IN2P3

  16. Conclusion. • SRB est un outil très simple d’emploi: permet l’accés aux données, fichiers de façon totalement transparente. • Vaste palette de besoins couverts par SRB. • Performance, « scalabilité » (peer to peer MCAT). • Possibilité de créer des Web services. • Equipe de développeurs au SDSC à l’écoute des besoins, très réactifs. SRB - 01/12/03 - CC-IN2P3

More Related