Преглед на EGEE проекта и неговия мидълуер

1. Преглед на EGEE проекта и неговия мидълуер Mike Mineter mjm@nesc.ac.uk

2. Съдържание • Какво е EGEE? • Цели • Състояние • Дейности • Грид услуги: gLite 3.0 • GILDA – гридът, който ще използваме при практическите упражнения • Източници на допълнителна информация Overview of EGEE

3. сътрудничество Пан европейски Грид Дейности, подръжка и обучение Мрежова инфраструктура & Ресурсни центрове centres EGEE – международна е-инфраструктура Четири годишна програма: • Да се изгради, утвърди и пусне в действие единна, устойчива и голяма промишлена грид система, която • Се свързва и доизгражда върху национални, регионални и международни инициативи • Подобрява и поддържа мидълуера за наличие на устойчиви услуги за потребителите • Привлича нови потребители и промишлеността с осигурени за тях обучение и поддръжка Overview of EGEE

4. пилотни нови За първите 2 години на EGEE • Създадени са качествени, устойчиви грид услуги за промишлени гридове • 3000 потребителя от поне 5 дисциплини • Целта бе да се интегрират 50 сайта в една обща инфраструктура  понастоящем са 180 • Предлага 5 петабайта (1015) памет • Демонстрира работещ процес на привличане на други общности с техни приложения • Осигурява втора фаза от април 2006 Overview of EGEE

5. EGEE-II • Естествено продължение на EGEE • Разширен консорциум • Набляга се на осигуряване на инфраструктура  повече поддръжка за приложения  взаимодействие с други инфраструктури  по-голямо участие на промишлеността SA: дейности по услугите (service activities) - създаване на процеси NA: мрежови дейности (network activities) - подръжка на ВО JRA: съвместни изследователски дейности (“joint research activities”) - напр. утвърждаване на мидълуера Overview of EGEE

6. Overview of EGEE

7. EGEE-II: експертиза & ресурси • Повече от 90 партньора • 32 страни • 12 федерации Важни и националниГрид Проекти вЕвропа, САЩ, Азия + 27 странипосредством свързани проекти: • BalticGrid • SEE-GRID • EUMedGrid • EUChinaGrid • EELA Overview of EGEE

8. Свързани проекти: инфраструктурни, инженерни, образователни Overview of EGEE

9. Добродетелния EGEE цикъл NA2, NA3, NA4 JRA1 NA3, NA4 SA1 Изграждане на ефективни потребителски общества Overview of EGEE

10. Курсове за обучение • http://www.egee.nesc.ac.uk/schedreg Overview of EGEE

11. Грид услуги Как може мидълуера на EGEE да подържа сътрудничество и работа по общи ресурси в рамките на и между множество разнообразни ВО? Overview of EGEE

12. Грид мидълуер • Когато ползвате ПК или работна станция: • Влизате с потребителско име и парола (“Authentication”) • Ползвате предоставените ви права (“Authorisation”) • Изпълнявате задания • Работите с файлове: създавате ги, четене/писане, списъци директории • Компонентите са свързани с шина • Операционна система • Един администр. домейн • При използване наГрид • Влизате с цифрови акредитиви (“Authentication”) • Ползвате предоставените ви права (“Authorisation”) • Изпълнявате задания • Работите с файлове: създавате ги, четене/писане, списъци директории • Услугите са свързани с Интернет • Мидълуер • Много администр. домейни Overview of EGEE

13. Интернет Типичен съвременен грид За всеки сайт с изчислителни възможности: • Локална система за управление на ресурсите • (= опашка от batch) • Condor • PBS • Torque • … • EGEE термин: опашка е “изчисляващ елемент” • Грид мидълуер се изпълнява на всеки обще ресурс • Съхранение на данни • (типично) опашки от задания (batch) за множество процесори • Потребителите се присъединяват към ВО • Виртуалните организации преговарят със сайтове за съгласие за достъп до ресурси • Разпределени услуги (потребители и мидълуер) позволяват работата на грида с единичен вход Overview of EGEE

14. Грид услуги Упълномощаване, проверка за достоверност (AA) Потребители на различни места и организации Услуги за достпъ (“потребителски интерфейс”) : вход, зареждане на права, изпълнение на m/w команди Изградени на Сигурна Грид Инфраструктура “запазване на портала”: съответствие на правата на потребителя с локалния идентификатор на потребителя Resources in many locations and organisations PBS, Condor, LSF,… System software NFS, … Операционна система Файлова система Разпределител на място HPSS, CASTOR… хардуер Изчислителни клъстъри,… Мрежови ресурси Съхранение на данни Overview of EGEE

15. Подаване на задача Потребители Средства, които: • Копират файлове на и между CE и паметта за данни • Предава задание на CE • Следи заданието • Получава резултат Как да изпълня задание на изчислителен елемент (CE) ? (CE =опашка от задания) Ресурси Изчислителни елементи Съхранение на данни Мрежови ресурси Overview of EGEE

16. Информационна услуга (Information service - IS) потребители Информационна услуга (IS): • Ресурсите изпращат актуално състояние на IS • Грид услугите подават запитване към IS преди изпълнение на задание Как да знам кой CE изпълнява заданието ми? Кои са свободни? Ресурси Изчислителни елементи Съхранение на данни Мрежови ресурси Overview of EGEE

17. Управление на файлове Потребители Памет Обмен Управление на копия Имаме терабайти данни във файлове My data are in files, and I’ve terabytes Our data are in files, and I’ve terabytes EGEE данни: основно във файлове услуги за БД, използвани от ВО не са още пуснати Ресурси Изчислителни елементи Съхранение на данни Мрежови ресурси Overview of EGEE

18. Основни компоненти Потребителски интерфейс (UI): Потребителят влиза в Грида Ресурсен брокер (RB): Съчетава изискванията на потребителя с ресурсите на Грида Информационна Система:характеристики и състоянието на CE и SE (използва “GLUE схема”) Изчислителен Елемент (CE): Опашка от задания при компютрите на сайта, където ще се изпълнява заданието на потребителя Елементи памет (SE): осигурява (голяма) памет за файлове Overview of EGEE

19. Вход “пясъчна кутия” Инфо DataSets Изход “пясъчна кутия” SE & CE инфо Запитване за работа Подаване на работа публикуване Състояние на заданието Елементи памет Съвременен промишлен мидълуер Каталог копия “потребителскиинтерфейс” Инфо услуга Ресурсен брокер Автор &права. Вход “пясъчна кутия” + инфо Брокер Изход “пясъчна кутия” Вход & статистика Изчислителен елемент Състояние на заданието Overview of EGEE

20. Работа върху основните инструменти и информационната услуга Заданието се представя на Грид чрез “Ресурсния брокер (RB)”, glite_job_submit my.jdlВръща “job-id”, което се използва да следи заданието и да извлече изход Пример за JDL файл Executable = “gridTest”; StdError = “stderr.log”; StdOutput = “stdout.log”; InputSandbox = {“/home/joda/test/gridTest”}; OutputSandbox = {“stderr.log”, “stdout.log”}; InputData = “lfn:testbed0-00019”; DataAccessProtocol = “gridftp”; Requirements = other.Architecture==“INTEL” && \ other.OpSys==“LINUX”; Rank = “other.GlueHostBenchmarkSF00”; Overview of EGEE

21. Кой осигурява ресурсите?! “VO”: виртуална организация “Грид дейности”: заплащани дейности Overview of EGEE

22. Condor Globus MyProxy ... EDG . . . VDT LCG Съставни части на Грид “екосистемата” 2001 OSG, … DataTAG CrossGrid ... SRM 2004 GridCC NextGrid EGEE DEISA … interactive USA EU Used in Бъдещи гридове Overview of EGEE

23. “gLite 3.0” настоящият мидълуер • Изпълнява се на различни Linux версии • Най-често на “Scientific Linux” • Потготвя се пренасянето му на други операционни системи • Използва се в момента на EGEE промишлен Грид • История • През последните 2 години бяха създадени нови услуги при създаването на нов мидълуеър, като “пред-промишлен” вид до версия gLite 1.5 • Тяхно подмножество се използва с предишен мидълуеър (LCG 2.7) • Всички компоненти, които са вече в LCG 2.7.0 плюс обновяванията • Това включва нови версии на VOMS, R-GMA и FTS • Системата за управление на заетостта (със LB, CE, UI) за gLite 1.5.0 Overview of EGEE

24. След gLite 1.5.0 • Преминаване от LCG и gLite към единен мидъуеър стек, наречен gLite. Първата версия е gLite 3.0.0 • Процесът се контролира от Групата за техническа координация • gLite 1.5.0 и LCG 2.7.0 са последните независими издания • Компоненти в gLite 3.0.0 • Сертифицирани: • Всички компоненти, които са в LCG 2.7.0 заедно с обновените версии • Това включва новите версии наVOMS, R-GMA и FTS • Системата за управление на заетостта(със LB, CE, UI) на gLite 1.5.0 • Изпробвани непълно и с ограничена поддръжка: • Системата DGAS за отчетност • Средства за управление на данните, според нуждите на Biomed обществото • Hydra, AMGA, сигурен достъп до данни Overview of EGEE

25. gLite грид мидълуер услуги Достъп API CLI Услуги по сигурността разрешение Информационни&мониторингови услуги Следене на приложенията информация &мониторинг Одитиране идентифициране Управление на данни Услуги по управление на натоварването Произход на заданието Управление пакети Метаданни каталог Файл & копияКаталог отчетност Елементи Съхранение Обмен на данни Управление натовареност Изчислителен елемент свързаност Overview of EGEE

26. http://gridportal.hep.ph.ic.ac.uk/rtm 18:00 on 8 March 2006 Overview of EGEE

27. t-инфраструктура • защо t-инфраструктура? • Необходимост от обучение! • e-инфраструктура за промишлеността • t-инфраструктура за обучение • Нужда от гарантиран отзвук от обучението; ограничаване на уязвимостта на промишлените системи • Използване на обучителен грид • тренирани CA • Да може да се променя мидълуера за подготовка на участниците в бъдещи версии на промишлени системи • Нужда от сигурни ресурси за обучение по инсталиране • Лесен вход за нови общности Overview of EGEE

28. t-инфраструктурата GILDA (https://gilda.ct.infn.it) 19 сайта на 3 континента > 3000 издадени сертификата, >15% подновени поне веднъж > 100 обучения и демонстрации за 23 месеца > 1,000,000 попадения (> 50,000 уникални посещения) на уеб сайта от десетки различни страни > 0.6 TB материали за обучение, свалени от уеб сайта Overview of EGEE

29. Обобщение • EGEE изпълнява най-големия грид с множество ВО в света! • gLite 3.0 промишлен мидълуеър • На негова база може да се изграждат средства и услуги за нови потребителски общности • Ефективна поддръжка на нови потребителски общности • t-инфраструктура за обучение • GILDA • следващите 2 години: напредък към • Федериран грид • Устойчива организация Overview of EGEE

30. NEW!!! Further information • EGEE конференция: 25-29 September 2006http://www.eu-egee.org/news/registration-open-for-egee201906-conference-September-2006-geneva/ • EGEE цифрова библиотека: http://egee.lib.ed.ac.uk/ • Нужда от сертификат (GILDA или национална CA в браузър) • EGEE www.eu-egee.org • EGEE: 1stпотребителски форумhttp://egee-intranet.web.cern.ch/egee-intranet/User-Forum • gLite http://www.glite.org/ • LCG http://lcg.web.cern.ch/LCG/ • Open Grid Forum http://www.gridforum.org/ • Globus Alliance http://www.globus.org/ • VDT http://www.cs.wisc.edu/vdt/ Overview of EGEE