introduction to lcg 2 lcg 2 e tikhonenko jinr n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR ) PowerPoint Presentation
Download Presentation
Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR )

Loading in 2 Seconds...

play fullscreen
1 / 49

Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR ) - PowerPoint PPT Presentation


  • 96 Views
  • Uploaded on

Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR ). NA3 Induction Courses for school on Modern Cosmology and Astrophysics JINR, Dubna, October 7, 2005. www.eu-egee.org. EGEE is a project funded by the European Union under contract IST-2003-508833. Talk Outline.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR )' - tekla


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
introduction to lcg 2 lcg 2 e tikhonenko jinr

Introduction to LCG-2Введение в LCG-2 E.Tikhonenko (JINR)

NA3 Induction Courses for school on

Modern Cosmology and Astrophysics

JINR, Dubna, October 7, 2005

www.eu-egee.org

EGEE is a project funded by the European Union under contract IST-2003-508833

talk outline
Talk Outline

The preliminaries on the LCG-2 ;

examples of various application areas;

RDIG EGEE participation in NA4;

the sequence of actions

how to start a work in the LCG-2 environment

slide3
Рекомендуемые ccылки

Job Submission

Astrophysics in GRID (EGEE) &Application Websites :

  • PLANCK Status Report at the 4th EGEE conference

http://indico.cern.ch/contributionDisplay.py?contribId=109&sessionId=35&confId=0513

  • MAGIC Status Report at the 4th EGEE conference

http://indico.cern.ch/materialDisplay.py?contribId=107&sessionId=35&materialId=slides&confId=0513

  • The MAGIC telescope

http://wwwmagic.mppmu.mpg.de/introduction/

  • ESA Science & Technology: Planck

http://sci.esa.int/science-e/www/area/index.cfm?fareaid=17

slide8

PLANCK Satellite

Planck is an ESA satellite aimed at providing a final mapping of the cosmological anisotropies of temperature and to foray deeply into their polarisation properties. Launch is planned for 2007. Two instruments are onboard, the LFI and HFI.

The HFI (High Frequency Instrument) is built by a French-led international consortium which will provide maps of the sky at 100, 143, 217, 353, 545 and 857 GHz. The first 3 channels will be the most sensitive to cosmological information (the peak of emission of a black body at 2.728K is around 100Ghz, i.e. 3mm), while the higher frequency channels will be very precious to trace the emission of some contaminating foregrounds (like the emissions from dust in galaxies, including our own, or the effect from clusters).

The LFI (Low Frequency Instrument) is built by an Italian-led international consortium. It will provide maps of the sky at 33, 44 and 70 GHz, which will be very precious to trace the emission of some other contaminating foregrounds (like the synchrotron emission of our Galaxie, or that of radio sources).

The HFI is a very powerful instrument by itself. But Planck has been conceived as a whole, such that the combination of the data from the two instruments should allow mining essentially all the cosmological information contained in the CMB (Cosmic Microwave Background), by minimizing astrophysical limitations. Parenthetically, it shows that spin-off science from Planck (concerning the CMB "contaminants") will be extremely interesting per se. Global information on Planck may be found in the Planck web site at ESA (see also the science team pages).

lcg lcg 2
Проект LCG и среда LCG-2
  • Проект LCG – the LHC Computing Grid Project (http://lcg.web.cern.ch/LCG/ ) – был организован для создания компьютерной инфраструктуры, необходимой для моделирования, обработки и анализа данных cтроящихся на LHC экспериментов.
  • Cреда LCG-2 – инфраструктура, промежуточное математическое обеспечение (middleware) которой может рассматриваться как логическое продолжение и развитие достижений таких grid – проектов, как Сondor, Globus, DataGrid, DataTag, GriPhyn, iVDGL и EGEE (Enabling Grids for E-sciencE).

Подmiddleware понимается совокупность Grid-сервисов, независимых от ресурсов и приложений и обеспечивающих аутентификацию, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей.

slide14
Эксперименты на LHC

ATLAS

CMS

При ожидаемой скорости записи сырых данных

потребуются ресурсы для хранения данных

порядка десятков и сотен ПБ.

Для обработки данных потребуются

сотни тысячперсональных компьютеров

(максимальной на текущий момент производительности)

ALICE

LHCb

LHCb

slide15
Обработка данных и вычисления в физике высоких энергий

Отбор событий

и первичная

реконструкция

детектор

Триггер 1-го уровня

обработанные

данные

суммарные

данные по событиям

«сырые»

данные

Пакетная

обработка

данных

Реконструкция

событий

объекты для физического анализа

(выделенные по физическим каналам)

моделирование

физических

событий

интерактивный

физический

анализ

slide16
Иерархия данных

На 2 порядка уменьшается объем данных по сравнению с исходным потоком

“RAW, ESD, AOD, TAG”

События, удовлетворяющие условиям триггера; записываются системами сбора данных (DAQ)

RAW

Съем цифровых отсчетов с детекторов

~2 MB/event

L1

Первичная стадия реконструкции на уровне создания базовых кластеров и трек-сегментов

Геометрическая реконструкция событий: траектории частиц, импульсы и энергии

ESD(/DST)

Реконструированная

информация

~100 kB/event

L2+L3

Event Summary Data

AOD

Физическая реконструкция: установление соответствия частиц и треков, уточнение характеристик струй, поиск распадных вершин

Информация для анализа

~10 kB/event

Analysis Object Data

Указатель события (классификационная информация для быстрого выбора нужного события)

TAG

~1 kB/event

slide17
Специфика приложений ФВЭ
  • Требования по данным
    • Колоссальные объемы данных (десятки и сотни Петабайт)
    • Данные типа WORM (писать единожды, читать многократно)
    • Структуризация данных с последующим извлечением информации из данных (data mining)
    • Продолжительное время хранения данных, а также необходимость создания копий данныхв разных странах мира
  • Требования к обработке данных
    • Обработка данных подразделяется на 2 типа – регулярное производство данных и «нерегулярный» анализ данных
      • Производство (моделирование ) данных происходит систематически; при этом производятся наборы данных порядка ~ 10**9 физических событий.
      • Анализ физических данных (на наборах данных порядка 10**7 событий) проводится произвольным образом и в индивидуальном порядке многими сотнями отдельных пользователей
    • Высокий уровень параллелизма обработки на уровне событий, который может быть описан ориентированным графом с указанием последовательности обработки
    • Поскольку интерактивная работа очень важна при анализе данных, необходимо предусмотреть возможность спасения сессий с сохранением информации об источнике данных («проверяемость», provenance)
    • Необходимость глобального доступа к базам данных экспериментов для получения значений констант, условий работы и т.д.
slide18
специфика биомедицинских приложений
  • Сложные требования по данным
    • Гетерогенные форматы данных
    • Частая обновляемость данных
    • Сложные наборы данных (медицинские записи)
    • Ограничения на безопасность и конфиденциальность
    • Необходимость длительного хранения данных
  • Cложные требования по обработке данных
    • Биоинформатика (геномика, протеомика, …): распределенные базы данных
    • Медицинские(просмотр снимков, эпидемиология...): распределенные базы графических данных
    • Использование параллельных алгоритмов для обработки медицинских графических данных и для моделирования
    • Интерактивные приложения
    • Ограничения на безопасность и конфиденциальность
na4 egee
Группа NA4: Идентификация и поддержка приложений в среде проекта EGEE

Основные составляющие работы:

  • Результатом работы группы NA4 будут являться программные приложения – прикладные пакеты, развернутые в инфраструктуре EGEE и доступные для работы в grid-среде соответствующим сообществам пользователей
  • Для развертывания этих приложений может понадобиться специальное ПО для обеспечения интерфейса к grid. Необходимо собрать существующую документацию из проекта EDG и других проектов (LCG, ARDA, GridLab, Healthgrid, …) для выработки общего решения
  • Процесс развертывания приложений в инфрастуктуру EGEE будетпроисходить в рамках виртуальных организаций, объединяющих соответствующих пользователей
  • Инфраструктура EGEE будет расширяться; с появлением новых пользователей им будет оказываться поддержка и будет организовываться обучение; также будут создаваться новые виртуальные организации
rdig egee na4
Участие RDIG-EGEE в NA4
  • Приложения ФВЭ:
    • Институт теоретической и экспериментальной физики (Москва) (отв.по LHCb)
    • Институт физики высоких энергий (Протвино) (отв.по ATLAS)
    • Курчатовский институт (Москва)
    • Научно-исследовательский институт ядерной физики (Москва) (отв. по CMS)
    • С.-Петербургский институт ядерной физики (Гатчина)
    • Объединенный институт ядерных исследований (Дубна) (отв. по ALICE и CMS)
  • Биологические приложения
    • Институт математических проблем биологии (Пущино)
  • Приложения Fusion&Plasma Science
    • Курчатовский институт (Москва)
rdig egee membership in vos
RDIG EGEE membership in VOs

January, 2005

43 members from 11 institutes - 5.7 %from a total number ( 749 ) of EGEE VOs members

March, 2005

56 members from 12 institutes - 5.8 %from a total number ( 967 ) of EGEE VOs members

June, 2005

70 members from 13 institutes - 6.4 %from a total number ( 1097 ) of EGEE VOs members

September, 2005

81 members from 13 institutes - 6.1 %from a total number ( 1324 ) of EGEE VOs members

The target fixed in the EGEE Technical Annex for the EGEE project by the End Year 2: >3000 VOs users !

rdig egee membership in vos september 2005
RDIG EGEE membership in VOs (September, 2005)

ALICE VO – 6 (of 43 alice VO members)

ATLAS VO – 13 (of 391 atlas VO members)

8 – IHEP, 1 – SINP MSU, 1 – MEPHI, 1 – ITEP, PNPI –1, INP -1

CMS VO – 21 (of 343 cms VO members)

8 - SINP MSU, 6 – JINR , 3 – Kharkov, 2 – ITEP, 2 – INR

LHCb VO – 5 (of 58 lhcb VO members)

3 – ITEP, 2 - PNPI

dteam VO – 29 (of 421 dteam VO members)

11–JINR, 4 – SINP , 4 –ITEP, 3 – IHEP, 2 – RRC KI, 1 – INR, 1 – IPM,

1 –IMPB, 1 – PNPI, 1- NOVSU

Biomed VO – 7 (of 68 biomed VO members)

all IMPB

in total: 81 - 6.1 %from a total number ( 1324 ) of EGEE VOs members

13 institutes:

JINR – 18,

ITEP – 14, IHEP-9,

SINP MSU – 9,

IMPB – 5, Kharkov – 3,

INR – 3, PNPI – 2,

IPM – 1, INP –1,

MEPHI –1, RRC KI – 1, NOVSU - 1

+1 institute - CGDS (eEarth)

RGStest VO -11

PHOTON VO –12 (PHOTON & SELEX experiments)

RDTEAM VO - 3

eEarth VO - 11 all CGDS

AMS VO - 3

in total: 29

The target fixed in the EGEE Technical Annex for the EGEE project by the End Year 2: >3000 VOs users !

RDIG VOs

new vos inside the rdig egee infrastructure aims current status
New VOs inside the RDIG-EGEE infrastructure: aims & current status

aims:

  • to serve the national scientific projects
  • to test new application areas before including them into the global EGEE infrastructure

current status:

creation of the formal procedures and the proper administrative structures in RDIG-EGEE for VOs creation & registration:

http://rdig-registrar.sinp.msu.ru/newVO.html – documents and rules;

the Council on RDIG-EGEE extension has been formed

5 internal VOs now;

near plan:

Fusion science;

chemical physics institutes

slide24

Photon, eEarth, RGStest RDIG Virtual Organizations

PHOTON VO: PHOTON & SELEX Projects (12 members;

leading organization - ITEP)

http://egee.itep.ru/PHOTON/index29d5en.html

eEarth VO: geophysics sciences - 11 members;

leading organization: Geophysics Center RAS

http://www.e-earth.ru/

RGStest & RDTEAM VOs - Russian Data Intensive Grid

(13 members)

slide25

eEarth VO in the RDIG-EGEE

  • eEarth VOhttp://www.e-earth.ru/(in Russian)
  • –for geophysics and cosmic research tasks;
  • participating institutes: Scmidt Institute of Physics of the Earth of Russian Academy of Sciences (IPE RAS) ( http://uipe.ru/)and Centre of Geophysical Data Studies and Telematics Applications (CGDS) (http://www.ednes.org/CGDS/)
  • CGDS operates a powerful local area network (LAN) (8 servers and 32 workstations operating under Windows NT 4.0, Windows XP/2000/98, Linux Red Hat 5.2 and Solaris 2.5-7) with high speed (1 GBps) fiber optic Internet connection to Moscow Internet backbone through campus network of Moscow Lomonosov State University
  • eEarth VO will provide: an access to world-wide distributed data; computing resources for remote distributed computations; monitoring of common computing resources loading to optimize the resources usage.
  • Grid-technologies will be useful for a number of geophysical tasks, especially for interactive cartography and data vizualisation.
  • Data Resources:
      • SPIDR Mirror site in Moscow
      • Integrated Distributed Environmental Archive System (IDEAS)
      • Satellite Archive Browse and Retrievalhttp://sabr.ngdc.noaa.gov/
      • Rapid Earthquake Determination ServiceGeophysical Survey RAS, Obninsk

11 members

slide26
Процесс регистрации для работы в среде LCG

http://lcg-registrar.cern.ch/

lcg 2
Последовательность действий для осуществления возможности работать в среде LCG-2
  • Ознакомиться с Правилами использования ресурсовLCG
  • Получить персональный цифровой сертификат
  • Загрузить персональный сертификат в браузер
  • Зарегистрироваться в соответствующей виртуальной организации

Вся нижеследующая последовательность действий описана на странице

http://lcg-registrar.cern.ch/

lcg 2 2
Последовательность действий для осуществления возможности работать в среде LCG-2 (2)

Для получения персонального цифрового сертификата необходимо в среде операционной системы с работающим ПО Globus запустить команду grid-cert-requestили специальный скрипт, предоставлямый национальным Сертификацинным Центром, а затем в возникшем при исполнении этой команды (или скрипта) режиме диалога ввести требуемую информацию - в том числе, задать свой пароль, который в дальнейшем будет необходим для работы в grid-среде. После выполнения этой команды в домашнем каталоге создается новый каталог .globusc тремя файлами: usercert.pem – цифровой сертификат пользователя (первоначальныйразмер этого файла равен 0);usercert_request.pem – запрос на цифровой сертификат; userkey.pem - цифровой ключ пользователя.

Запрос на получение сертификата следует направить по адресу требования Сертификационного центра (как правило - ответственному по сертификации в Вашей организации). Далее произойдет регистрация Вашего сертификата в Сертификационном центре (на данный момент в России – это Курчатовский институт (http://ca.grid.kiae.ru/RDIG/ ).

По завершению процесса регистрации Вы получите по электронной почте свой цифровой сертификат, который следует сохранить в файле usercert.pem

lcg 2 3
Последовательность действий для осуществления возможности работать в среде LCG-2 (3)

Загрузить персональный сертификат в браузер

https://lcg-registrar.cern.ch/load_certificates.html

Поскольку в браузерах используется другой формат представления сертификата, прежде всего необходимо конвертировать цифровой сертификат из формата pem в формат PKCS12. Для этого в среде с работающим пакетом openssl следует выполнить команду вида:

openssl pkcs12 -export -inkey userkey.pem -in usercert.pem -out my_cert.p12 –name "My \ certificate"

где

userkey.pem – путь к файлу, содержащему цифровой ключ (этот файл должен иметь разрешение на чтение только для владельца файла, т.е. только для Вас!); usercert.pem - путь к файлу, содержащему сертификат; my_cert.p12- путь к создаваемому файлу в формате PKCS12 ; «My certificate» - необязательное имя (оно может в дальнейшем быть использовно при выборе сертификата в браузере, если в браузер загружено несколько сертификатов)

Подробные инструкции по загрузкесертификата, конвертированного в формат PKCS12в различные типы браузеров (Mozilla, Netscape, Internet Explorer, Opera и Konqueror) содержатся на странице https://lcg-registrar.cern.ch/load_certificates.html

lcg 2 4
Последовательность действий для осуществления возможности работать в среде LCG-2 (4)

Зарегистрироваться в соответствующей виртуальной организации https://lcg-registrar.cern.ch/cgi-bin/register/account.pl

virtual organization (VO)– виртуальная организация - объединение пользователей, организаций и ресурсов (компьютеров, ПО и данных) в новый административный домен в рамках grid-инфраструктуры

Пользователь для вступления в соответствующую направлению его деятельности виртуальную организацию должен заполнить и отправить регистрационную форму, после чего получает письмо по электронной почте,подтверждающее факт получения регистрационной формы пользователя; затем, следуя указаниям в этом письме, подтверждает факт его получения; и, наконец, администратор виртуальной организации информирует собственно о факте регистрации в виртуальной организации.

Теперь, став членом виртуальной организации, Вы можете войти в сеанс на любую доступную Вам User Interface - машину - и начать работу в среде своей виртуальной организации!!!

О внутренних

виртуальных

организациях

RDIG-EGEE

см.

http://rdig-registrar.sinp.msu.ru/newVO.html –

documents and rules on RDIG-EGEE internal VOs

ui ce wn se
Что такое UI, CE, WN, SE?

Job Submission

  • UI (User Interface) – cервис, обеспечивающий доступ к ресурсам Grid; c UI-компьютера пользователь может запускать или прерывать свои задачи, получать информацию о статусе выполняемых задач, находить ресурсы, необходимые для исполнения конкретной задачи, получать учетную информацию о своей задаче: а также копировать, реплицировать или уничтожать файлы в инфрастуктуре Grid.
  • CE (Computing Element) – очередь в системе пакетной обработки инфраструктуры Grid
  • WN (Working Node) – вычислительный узел фермы в инфраструктуре Grid
  • SE (Storage Element) –cервис, обеспечивающий унифицированный доступ к ресурсам памяти инфраструктуры Grid (ресурсами памяти при этом могут быть как простые дисковые серверы, так и дисковые массивы или системы массовой памяти (MSS)).
wms lcg 2
Система управления загрузкой(WMS) в LCG-2
  • Запуск задачи пользователя осуществляется через систему управления загрузкой (WMS, Workload Management System)
  • Задачей WMS является планирование и управление ресурсами в распределенной среде Grid.
  • При этом пользователю предоставляются следующие возможности :

- запускать и исполнять свои задачи

- получать информацию о статусе состояния своей задачи

- получать результат выполнения задачи

  • Назначение WMS - как оптимизировать использование ресурсов, так и способствовать скорейшему выполнению задачи пользователя
slide33
Составляющие части WMS
  • В настоящее время WMS состоит из следующих частей:
    • User Interface (UI) : сервис, обеспечивающий для пользователя доступ к WMS
    • Resource Broker (RB) : сервис поиска “наилучших” ресурсов в среде GRID для запуска конкретной задачи
    • Job Submission Service (JSS) : сервис, обеспечивающий надежность запуска задачи
    • Information Index (BDII) : сервер , который собирает информацию о ресурсах Grid; эта информация используется Resource Broker’ом для классификации и выбора ресурсов
    • Сервисы Logging и Bookkeeping (LB) : хранят информацию о задаче пользователя
slide34
Подготовка задачи
  • Пользователь должен продумать
    • Достаточно полное описание задачи, т.е.
      • Собственно программу
      • Необходимые для расчетов данные
      • Требования к ОС и специализированному м/о
    • Осознавать, что
      • программа “уйдет” в некоторое “неведомое” пространство
      • и при этом программа должна быть портабельной
      • и не иметь в себе ссылок на локальное окружение
      • и не обязательно программа должна располагаться в $HOME!
    • Описать входные данные (если имеются)
    • Дать указания касательно выходных данных
job description language jdl
Job Description Language (JDL)Язык описания задачи

Job Submission

  • JDL – расширяемый язык, предназначенный для описания задач пользователя с помощью задания значений для “атрибутов” и появившияся еще при создании системы распределенных вычислений CONDOR
  • Пользователь для запуска свой задачи в инфраструктуре grid должен сформировать файл (job_definition.jdl)
  • Некоторые из атрибутов описываются пользователем, а некотрые атрибуты автоматически формируются UI до запуска задания в инфрастуктуру grid
slide36
Атрибуты описания задачи

Job Submission

  • Executable (обязательный)
    • имя исполняемой команды (программы)
  • Arguments (необязательный)
    • аргументы, которые необходимы для исполнения команды, указанной в Executable
  • StdInput, StdOutput, StdErr (необязательный)
    • стандартные ввод/вывод/ошибки задачи
  • Environment (необязательный)
    • список установок среды
  • InputSandbox (необязательный)
    • список файлов на локальном диске на UI, необходимых для выполнения задачи
    • перечисленные файлы помещаются на удаленный CE
  • OutputSandbox (необязательный)
    • Список файлов, которые будут сформированы в результате выполнения задания и которые необходимо получить пользователю после выполнения задачи
resource attributes
Атрибуты ресурсовResource Attributes

Job Submission

  • Requirements
    • Требования задачи на вычислительные ресурсы
    • Если не определяются пользователем, то используется значение, заданное в конфигурации UI
data attributes
Атрибуты описания данных“Data” Attributes

Job Submission

  • InputData (необязательный)
    • относится к данным, используемым как входные к задаче: эти данные публикуются в Replica Catalog и запоминаются в SEs)
    • PFNs и/или LFNs
  • DataAccessProtocol (обязательный, если определен атрибут InputData)
    • Протокол или список протоколов, требумых для доступа к InputData на данном SE
  • OutputSE (необязательный)
    • имя SE-хоста
    • RB использует его для выбора CE, совместимого в требованиями задачи и наидолее близко расположенного к SE
  • OutputData (необязательный)
    • Выходные данные, которые должны быть сформированы в конце выполнения задачи
job description
Как написать описание задачи(Job Description)
  • Пример простейшего описания задачи (myjob1.jdl)
  • Мы определили
    • программу для запуска и ее аргументы
    • файлы, куда будет записан стандартный вывод
    • как поступить с выходными файлами

Executable = "/bin/echo";

OutputSandbox = {"stdout", "stderror"};

stdoutput = "stdout";

stderror = "stderror";

Arguments = "Hi!";

VirtualOrganisation = "cms";

slide40
Пример запуска задачи
  • Выполняем команду grid-proxy-init
    • вводим в процессе выполнения данной команды свой пароль на гридовски й сертификат
    • получаем в результате Globus proxy – временный сертификат, дающий право доступа к сервисам и ресурсам Grid
  • Выполняем команду: edg-job-submit myjob1.jdl

и получаем в результате уникальный идентификатор задачи (Job Identifier), JobId

  • По выполнению команды: edg-job-status JobId

получаем статусную информацию о ходе выполнения задачи

  • После завершения выполнения задачи можно выполнить команду edg-job-get-output JobId

в результате чего получаем имя временнго каталога на машине UI, где находятся результаты выполнения задачи.

slide41
Запуск задачи (1)

1) Получение proxy-сертификата:

grid-proxy-init

Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena

Enter GRID pass phrase for this identity:

Creating proxy ................................................... Done

Your proxy is valid until: Fri Sep 2 04:40:02 2005

2) Запуск задачи:

edg-job-submit myjob1.jdl

Selected Virtual Organisation name (from JDL): cms

Connecting to host gdrb03.cern.ch, port 7772

Logging to host gdrb03.cern.ch, port 9002

*********************************************************************************************

JOB SUBMIT OUTCOME

The job has been successfully submitted to the Network Server.

Use edg-job-status command to check job current status. Your job identifier (edg_jobId) is: - https://gdrb03.cern.ch:9000/OADAXp3Vxet02vlqO29Xpg

*********************************************************************************************

JobId

slide42
Запуск задачи (2)

Job Submission

3) Если не указываем имя своей виртуальной в файле запуска (myjob1.jdl), то получаем диагностику вида:

**** Error: UI_NO_VOMS ****

Unable to determine a valid user's VO

Имя своей виртуальной организации можно указывать не в jdl-файле,

а непосредственно в команде edg-job-submit:

edg-job-submit --vo CMS myjob1.jdl

4) Запуск задачи с опцией --nomsg :

edg-job-submit --nomsg myjob1.jdl

https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

Получаем только сообщение о JobId

slide43
Получение информации о статусе задачи (1)

Job Submission

Результатом выполнения команды

edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

будет:

*************************************************************

BOOKKEEPING INFORMATION:

Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

Current Status: Scheduled

Status Reason: Job successfully submitted to Globus

Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms

reached on: Thu Sep 1 15:07:00 2005

*************************************************************

Когда задача находится в процессе выполнения, в ответ на

edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

получаем:

*************************************************************

BOOKKEEPING INFORMATION:

Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

Current Status: Running

Status Reason: Job successfully submitted to Globus

Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms

reached on: Thu Sep 1 15:10:19 2005

*************************************************************

slide44
Получение информации о статусе задачи (2)

Job Submission

После успешного завершения задания в ответ на

edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

получим:

*************************************************************

BOOKKEEPING INFORMATION:

Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

Current Status: Done (Success)

Exit code: 0

Status Reason: Job terminated successfully

Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms

reached on: Thu Sep 1 15:11:36 2005

*************************************************************

Теперь мы можем ознакомиться с результатами

slide45
Получение результатов (1)

на выполнение команды

edg-job-get-output https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

получаем на экране следующую информацию:

Retrieving files from host: gdrb03.cern.ch ( for https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg )

********************************************************************************* JOB GET OUTPUT OUTCOME

Output sandbox files for the job:

https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

have been successfully retrieved and stored in the directory: /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg

*********************************************************************************

slide46
Получение результатов (2)

Отправляемся в указанный каталог ( /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg )

сd tmp/etikhone_26kIm7cU1F9eY0VVhfkItg

ls –lag

total 484

drwxr-xr-x 2 zh 4096 Sep 1 17:13 ./

drwxrwxrwt 6262 root 483328 Sep 1 17:15 ../

-rw-r--r-- 1 zh 0 Sep 1 17:13 stderror

-rw-r--r-- 1 zh 4 Sep 1 17:13 stdout

Обнаруживаем там 2 файла: stderror (пустой, т.е. ошибок при

выполнении задачи не было) и sdtout, содержащий собственно

результат выполнения нашей задачи (в данном случае текст “ Hi! ”)

slide47
Некоторые полезные команды UI

Job Submission

  • edg-job-list-match

Получение списка ресурсов, соответствующих описанию задачи

(запуск задачи при этом не требуется)

  • edg-job-cancel

прекращение выполнения задачи

  • edg-job-get-logging-info

получение информации о прохождении задачи

полезно при отладке программы

  • grid-proxy-destroy

закрытие временного сертификата (как выход из сеанса работы в инфрастурктуре grid)

ui cern
UI в ОИЯИ и в CERN

Job Submission

  • В ОИЯИ UI - cервис доступен с lxpub03.jinr.ru
  • В CERN при вхождении на lxplus.cern.ch следует выполнить скрипт grid_env.cshкомандой

или

в результате чего установятся переменные окружения, необходимые для доступа к сервису UI.

Примечание: при получении proxy-сертификата командой grid-proxy-init без параметров, proxy-сертификат обычно выдается на 12 часов. Можно указывать временной интервал, на который необходимо получение proxy-сертификата. Для этого следует использовать опцию –valid HH:MM, например:

grid-proxy-init -valid 150:00

Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena

Enter GRID pass phrase for this identity:

Creating proxy ..............................................

DoneYour proxy is valid until: Fri Sep 9 17:14:03 2005

date

Sat Sep 3 11:14:08 CEST 2005

source /afs/cern.ch/project/gd/LCG-share/sl3/etc/profile.d/grid_env.csh

source /afs/cern.ch/cms/LCG/LCG-2/UI/cms_ui_env.csh

slide49
Рекомендуемые документы

Job Submission

  • The LCG-2 User Guide

https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.pdf https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.html

  • LCG-2 User Scenario

https://edms.cern.ch/document/498081/1.0

  • ClassAd languagehttps://www.cs.wisc.edu/condor/classad
  • LCG-2 Frequently Asked Questions

https://edms.cern.ch/document/495216/