1 / 15

Grid Computing AliEn og Condor

Grid Computing AliEn og Condor. Hvem, hva, hvor. Jeg heter André Waage Sørensen Er tilknyttet Alice prosjektet på CERN Jobber med Grid teknologier som skal brukes for å distribuere eksperiment resultater for videre analyse. Hva er Grid?.

zorana
Download Presentation

Grid Computing AliEn og Condor

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Grid Computing AliEn og Condor

  2. Hvem, hva, hvor • Jeg heter André Waage Sørensen • Er tilknyttet Alice prosjektet på CERN • Jobber med Grid teknologier som skal brukes for å distribuere eksperiment resultater for videre analyse

  3. Hva er Grid? • ”Grid computing is an emerging computing model that provides the ability to perform higher throughput computing by taking advantage of many networked computers to model a virtual computer architecture that is able to distribute process execution across a parallel infrastructure.” -- wikipedia.org

  4. Eksempel på Grid AliEn Grid rammeverk LCG LHC Computing Grid ARC Advanced Resource Connector PBS Batch system Condor Batch system

  5. Hvorfor Grid? • Et av prosjektene på CERN er ”The LHC Computing Grid project” (LCG). Dette prosjektet går ut på å håndtere alle dataene som blir generert i sammenheng med LHC (Large Hadron Collider) eksperimentene. • Når dette prosjektet starter i 2007, så vil det generere ca. 15 Petabytes (15 millioner Gigabytes) med data årlig. • Disse datamengdene ville vært uhåndterlige med ”tradisjonelle” metoder. • Grid er løsningen!

  6. AliEn • AliEn: ALIce ENvironment • Grid-prototype utviklet for ALICE-eksperimentet • I utgangspunktet komplett Grid-prototype  videreutviklet som grensesnitt mot bl.a. LCG • Ble laget før andre gode alternativer var tilgjengelige

  7. ARC • ARC: Advanced Resource Connector • GRID prototype utviklet av NorduGrid (nordisk gruppe tilknyttet ATLAS-eksperimentet på CERN) • Brukes som ”middleware” primært i Skandinavia • ARC bruker Condor til lokal jobbhåndtering • Trenger AliEn  ARC grensesnitt for å kjøre ALICE-jobber på nordiske maskiner

  8. CERN Grid-organisering • CERN • Eksperiment data • 24/7 – operasjon • Permanent datalagring (tape) • Sentrale sentre (5 – 10 pr. eksperiment) • Regneressurser • Tilknyttet institutt / laboratorium etc.

  9. NDGF – Nordic Data Grid Facility • NorduGrid/ARC

  10. Hva er Condor • ”Condor is a specialized workload management system for compute-intensive jobs. Like other full-featured batch systems, Condor provides a job queueing mechanism, scheduling policy, priority scheme, resource monitoring, and resource management.” * Fra Condor sin hjemmeside

  11. Hva er Condor (2) • Condor er et batch-system for distribuering av parallelle jobber over et (lokalt) nettverk • Er tilgjengelig for mange platformer (Linux, Windows, MacOS, etc) • Kan kjøre alle typer programmer (kompilert med C/C++, Java, Fortran, Pascal, etc) • Lett tilgjengelig administrasjon av jobber

  12. Hva er Condor (3) • Mulighet for å sette minstekrav for utføring av jobber (f.eks. operativsystem, prosessorhastighet, ledig minne, etc) • Maskinene jobber bare når bruker er inaktiv / ikke logget inn • God skaleringsevne • Støtte for prioritering av jobber

  13. Condor arkitektur 2. Jobb annonseres 1. Jobb sendes 3. Ledig maskin svarer 4. Jobb og filer overføres 5. Jobb utføres 6. Resultat og evt endrede filer returneres

  14. Hva jeg har jobbet med til nå • Studert og satt meg inn i grid-teknologi og alle konseptene som dette innebærer (grid-miljø, grid-verktøy, sertifikater, etc.) • Denne kunnskapen har så blitt brukt i praksis ved å gjøre følgende: • Sette opp Condor i et Windows/Linux miljø for å kunne tilby Høgskolen et batchsystem på datalabene • Har begynt å sette opp et AliEn og Condor miljø på ”Hansaklyngen” på Fysisk inst.

  15. Hva jeg skal gjøre videre • Jobbe videre med Alien  ARC  Condor oppsettet på Fysisk inst. slik at det kan brukes i sammenheng med ALICE • Utvikle produksjonsmiljø for et heterogent Grid-system (ARC+AliEn) på Fysisk inst. • Utvikle diverse programvaremoduler tilknyttet disse teknologiene

More Related