Atlas ganga
This presentation is the property of its rightful owner.
Sponsored Links
1 / 18

Проведение а нализ а данных ATLAS с применением программы GANGA PowerPoint PPT Presentation


  • 94 Views
  • Uploaded on
  • Presentation posted in: General

Проведение а нализ а данных ATLAS с применением программы GANGA. Шиякова Мария Маринова НЭОВП - ATLAS. Данные ATLAS будут храниться в р азных вычислительных центрах (ВЦ) (~50). Доступ к данным будет осуществляться только средствами Грид

Download Presentation

Проведение а нализ а данных ATLAS с применением программы GANGA

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Atlas ganga

Рабочее совещание ATLAS

Проведение анализа данных ATLAS с применением программы GANGA

Шиякова Мария Маринова

НЭОВП - ATLAS


Atlas ganga

Рабочее совещание ATLAS

  • Данные ATLAS будут храниться в разных вычислительных центрах (ВЦ) (~50).

  • Доступ к данным будет осуществляться только средствами Грид

  • Задачи анализа будут запускаться в тех же ВЦ, где находятся данные, и для это нужно подходящее программное обеспечение.


Atlas ganga

Найти, где находятся анализируемые данные

Проверить, установлено ли в этом ВЦ требуемое программное обеспечение соответствующей версии

Написать сценарий на языке JDL, который будет управлять удаленным запуском конкретной задачи

Запустить задачу на выполнение командами LCG

Проверить, что задача выполнена

Скопировать выходные файлы на локальный компьютер или SE Грид

При необходимости создать новый набор данных (dataset), и зарегистрировать в нем свои файлы

Повторить все действия для каждого набора анализируемых данных и процедуры анализа

Запуск задачи анализа без применения программы-интерфейса

Рабочее совещание ATLAS


Atlas ganga

Рабочее совещание ATLAS

Для упрощения раcпределенного анализа данных ATLAS существуют программы:

  • Prodsys– ориентирована на массовые вычисления (моделирование Монте-Карло). Мало пригодна для запуска задач анализа

  • Panda– создана американскими учеными и ориентирована на американские ВЦ и Грид (OSG)

  • GANGA – создана в ЦЕРНе для работы в LCG. Пригодна для запуска как задач анализа, так и задач пользовательского моделирования


Ganga

Рабочее совещание ATLAS

Задача с точки зрения GANGA

Приложение

(Athena)

Какую программу запустить

Вычислительная

платформа

Грид, локальная ферма ...

задача

Входной набор данных

Исходные данные

Выходной набор данных

Результаты вычислений


Atlas ganga

Рабочее совещание ATLAS

Ganga формирует сценарий запуска задачи в гриде и его выполняет:

  • находит исходные данные

  • посылает задачу на вычисление в соответствующий ВЦ

  • и возвращает результат.

    Одновременно обеспечивается мониторинг.

    Ganga ориентирована на тех физиков, которые хотят использовать Грид для вычислений, но не хотят разбираться в деталях его устройства.


Ganga1

Рабочее совещание ATLAS

Способы работы с GANGA

  • Командная строка

    ganga

    Ctrl+d

  • Графическая оболочка

    ganga --gui

    меню Job/Quit


Atlas ganga

Рабочее совещание ATLAS

Задача в командной строке

j = Job()

j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300'

j.application=Athena()

j.application.prepare()

j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/InstallAra/jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.py'

j.inputdata=DQ2Dataset()

j.inputdata.type='DQ2_LOCAL'

j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"

j.outputdata=DQ2OutputDataset()

j.outputdata.outputdata=['AnalysisSkeleton.root']

j.backend=LCG()

#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'

j.submit()


Atlas ganga

Все команды с предыдущего слайда можно объединить в исполняемой файл primer.py и запустить в командной строке Ganga:

In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py')

j.submit()

другие команды:

jobs

print jobs[25]

j26=j25.copy()

jobs[25].kill()

jobs[25].remove()

Рабочее совещание ATLAS


Athena

Рабочее совещание ATLAS

При запуске задачи Athena можно дополнительно указать параметры:

  • Версия Athena

  • Число событий

  • Файл с дополнительными опциями

  • Название файла с выходными данными

  • Вычислительный центр (CE)

  • Системные требования (время CPU, …)

  • Версия программного обеспечения Грид


Atlas ganga

Рабочее совещание ATLAS

Графическая среда GUI


Atlas ganga

Рабочее совещание ATLAS


Atlas ganga

Рабочее совещание ATLAS


Atlas ganga

Рабочее совещание ATLAS


Atlas ganga

Рабочее совещание ATLAS


Atlas ganga

Рабочее совещание ATLAS

Где искать выходные данные?

  • GANGA может скопировать выходные файлы на компьютер, с которого запускалась задача. В этом случае по завершении задачи результат можно найти в директории ~/.gangadir/workspace/output/<jobId>

  • Либо может оставить файлы на хранение в удаленном ВЦ, зарегистрировав их в каталоге Грид и создав новый набор данных ( dataset ) в DQ2:

    • user.username.ganga.jobid

    • Удобно при больших объемах выходных данных

    • Доступ к данным средствами DQ2 ( dq2_ls, dq2_get …)


Ganga2

Рабочее совещание ATLAS

Что нужно, чтобы запустить GANGA прямо сейчас

Действительный сертификат пользователя Грид

Доступ к установленному программному обеспечению (Athena, DQ2, LCG, Ganga)

установлено на lxplus.cern.ch, lxpub.jinr.ru …

Иметь свою программу анализа и знать какие данные анализировать

Для работы в командной строке нужно иметь представление о языке Python


Atlas ganga

Рабочее совещание ATLAS

Заключение

В ОИЯИ накоплен опыт использования программы GANGA для запуска задач анализа данных ATLAS

Желающие использовать эту программу в своей работе могут обращаться с вопросами ко мне ([email protected], т.63996, 4 корпус ЛЯП, комната 330)

... или на форум http://atlasinfo.jinr.ru/forum

Можно организовать практическое учебное занятие


  • Login