Grid Orta Katmanı ve İş Akışı

1. Grid Orta Katmanı ve İş Akışı TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi

2. Küme Bilgisayar Mimarisi Bileşenler Kuyruk Sistemi İş Akışı Grid Mimarisi (gLite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi İÇERİK

3. Küme Bilgisayar Birbirine LAN yoluyla bağlı homojen hesaplama kaynakları Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var: Isı, boyut, donanım kısıtlamaları... Basit mimari İş göndermede ve sonuç almada hızlı erişim Grid Coğrafi olarak dağıtık, heterojen kaynaklar Araştırmaların önünü açacak insan ağının oluşturulması Hesaplama + DEPOLAMA kaynakları Ölçeklenirlikte kısıt yok! Karmaşık mimari (Küme servisleri + siteler arası ortak servisler) Network bağlantılarının yeterince hızlı olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.) Küme Bilgisayar ve Grid...

4. Küme Bilgisayar Bileşenleri (yazılım)

5. Kuyruk Sistemi Hesaplama Kaynakları Kuyruk A Küme Bilgisayar Kuyruk Sistemi Kuyruk B Planlayıcı A B Kuyruk C C D Kuyruk D

6. Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)

7. Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur. Grid ortakatmanı: • uygulamaların çalışacağı uygun yerleri bulur. • kaynak kullanımını optimize eder. • veri yığınlarına etkin erişim sağlar. • birçok grid sitesinde kullanılan ortak bir kimlik doğrulama ve yetkilendirme servisi sağlar. • işleri çalıştırır ve anlık iş durumunu izlemenize izin verir. • işlerin sonuçlarını kullanıcılara taşır. Grid Mimarisi (Ortakatman)

8. LCG-2 gLite 2004 prototyping prototyping product 2005 product 2006 gLite 3.0 • 2006 Baharıyla birlikte LCG-2.7.0 ve gLite-1.5 ortakatman yazılımları gLite-3.0 çatısı altında birleşti: • Üretim seviyesinde altyapıda süreklilik • Uygulamalar tarafından kullanılırlığın sağlanması • İşyükü yönetimine yönelik yeni çalışmalar • LCG ve gLite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an gLite-3.0 birçok proje ve altyapıda kullanılmaktadır. • gLite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır. gLite-3.0 Ortakatman Sürümü, Tarihçe

9. Uygulamalar UYGULAMALAR Grid Uygulama Katmanı Ortak Servisler Grid Katmanları Grid ORTAKATMAN Temel Grid Servisleri GLOBUSCondor (VDT) Altyapı Taşları En Alt Seviye Yapı Servisleri

10. Gridin kaynaklarını kullanmak istiyorum! İşimin sonuçlarını depolamak istiyorum! Grid Yapıtaşları (Temel Servisler) Doğru kaynağı nerden bulabilirim? Tüm bu istediklerim güvenli bir ortamda yapılmalı!

11. Kimlik Doğrulama GSI (Grid Security Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA) Proxy sertifikaları MyProxy Sunucusu ve uzun süreli proxy sertifikaları Kabul gören güven ağı: International Grid Trust Federation (IGTF) EUGridPMA APGridPMA TAGPMA Tüm EGEE siteleri IGTF altındaki CA’lara güvenir. Yetkilendirme VOMS (Virtual Organization Membership Service), sanal organizasyonlar (VO) Kullanıcıların disiplinlere göre gruplandırılması Sitelerin VO tabanlı kaynak ayırımı LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı. Kullanıcı tabanlı yetkilendirme LCG-2.7.0 ve gLite ile birlikte VO eklentili proxy sertifikaları VO tabanlı lokal yetkilendirme servisleri Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme APGridPMA EUGridPMA TAGPMA Asia-Pacific Grid PMA The Americas Grid PMA European Grid PMA

12. gLite Ana Servis Tipleri GRİD ORTA KATMANI • Kullanıcı Arayüzü (UI) • Bilgi Servisi (IS) • Hesaplama Elemanı (CE) • İş Dağıtıcı • Hesaplama Ucu (WN) • Depolama Elemanı (SE) • Replika Kataloğu (RLS,LFC) • İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

13. gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. • Kullanıcı arayüzünde: • Kullanıcılar kişisel hesaplara sahiptir. • Kullanıcıların sertifikaları yüklüdür. • Aşağıdaki işlemleri komut satırı arayüzü sağlar: • Çalıştırılmak üzere iş göndermek • Bir iş için uygun kaynakları göstermek • Dosyaları kopyalamak ve replika etmek • İşleri takip etmek ve iptal etmek • Bitmiş işlerin sonuçlarını almak Kullanıcı Arayüzü - UI

14. gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip) • gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. • Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir. • Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır: • Globus kapısıdır. • Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur. • Lokal kaynak yönetim sisteminin ana sunucusudur(PBS, LSF, Condor...) Hesaplama Elemanı - CE

15. DEPOLAMA ELEMANI - SE • Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. • Her bir gLite sitesi en az bir depolama elemanı içerir. • İki protokol kullanırlar: • Dosya transferi için GSIFTP • Dosya erişimi için RFIO (“Remote File Input/Output”) • Depolama kontrol yönetimi: • Dosyalara saydam erişim sağlar • Dosyaların durumunu gösterir • Dosyaların saklanma zamanını takip eder

16. UI Veri Yönetimi Servisleri Grid ortamına dosya yükleme • Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden) • Uygulamanın depolama elemanına veri saklaması • Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak) • Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir. SE CE SE CE Grid Bileşenleri

17. UI Veri Yönetimi Servisleri Grid Ortamından Dosya Alma • Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı • Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir. • Uygulamanın depolama elemanından veriyi alıp lokal kullanması • Uygulamanın depolama kaynağından alınıp çalıştırılması SE CE SE CE Grid Bileşenleri

18. Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. • gLite bilgi servisleri, LDAP tabanlıdır. • LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır. Bilgi Servisleri - IS

19. Kullanıcı Uygulaması İş Dağıtıcısı İzleme Servisleri Bilgi Servisleri - IS BDII-A BDII-B CE Site GIIS CE Site GIIS CE Site GIIS SE Lokal GRIS CE Lokal GRIS SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS

20. Veri yönetimi nedir? • Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. • Veriler grid dosyaları şeklinde saklanabilirler. • Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. • Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. • Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. • Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” • Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” • Logical File Name (LFN) “lfn:cms/20030203/run2/track1” • Transport URL (TURL) “gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat” Veri Yönetimi Servisleri

21. İş Yükü Yönetimi - WMS • Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. • İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. • Kullanıcıların: • İşlerini gönderebilmelerine, • İşlerini en uygun kaynaklarda çalıştırmalarına, • Kaynakların kullanımını da aynı anda optimize etmeye, • İşleri hakkında bilgi almasına, • İşlerinin sonuçlarını almasına sağlar.

22. WMS aşağıdaki parçalardan oluşur: • İş Yükü Yöneticisi: Sistemin ana parçasıdır. • Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. • İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. • Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. • Kayıt Tutma: İş hakkında bilgi tutar. • İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır. • WMS servisinin bir işi çalıştırabilmesi için: • İşin karakteristiğini (basit, MPI, DAG) • Hesaplama ihtiyaçlarını ve seçeneklerini • Yazılım bağımlılıklarını bilmesi gerekir. İş Yükü Yönetimi - WMS

23. LFC UI Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı Grid Servislerinde İş Akışı

24. UI: Komut satırı, GUI, C++, Java API’leri ile kullanıcının iş yükü yönetiminin bütün özelliklerini kullanmasını sağlar. UI LFC Gönderildi Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

25. LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi glite-job-submit myjob.jdl Myjob.jdl JobType = “Normal”; Executable = "sum.exe"; InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"}; OutputSandbox = {“sim.err”, “test.out”, “sim.log"}; Requirements = other. GlueHostOperatingSystemName == “linux“; İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler. Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

26. Ağ sunucusu: Gelen istekleri karşılamakla yükümlüdür. LFC UI İş Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Giriş Torbasındaki Dosyalar (InputSandbox) RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

27. LFC UI İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur. Gönderildi Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi Beklemede RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

28. LFC UI Kaynak Aracısı Ğönderildi Ağ Sunucusu Gönderilen iş nerede çalışmalı ? WMS Bilgi Servisi İş Yükü Yöneticisi Beklemede RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

29. Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur. Kaynak Aracısı LFC UI Gönderildi Ağ Sunucusu WMS İş Yükü Yöneticisi Bilgi Servisi Beklemede RB deposu Kontrol Servisi SE bilgi ve durumu CE bilgi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

30. LFC UI Ğönderildi Ağ Sunucusu Kaynak Aracısı Grid'in durumu nedir ? WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi RB Deposu Kontrol Servisi SE characts & status CE characts & status İhtiyaç duyulan veriler nerede? Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

31. LFC UI Kaynak Aracısı Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi CE seçimi RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

32. LFC UI İş Adaptörü: İş gönderilmeden önce son işlemleri yapmakla sorumludur (Gerekli ön işleme betiklerinin yaratılması...). Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi İş Adaptörü RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

33. LFC UI Ğönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Kontrol Servisi: Gerçek iş yönetimi işlemlerinden sorumludur. Hazır RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

34. LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Hazır RB Deposu Kontrol Servisi Planlandı SE bilgisi ve durumu CE bilgisi ve durumu Giriş Torbası Dosyaları İş Hesaplama Elemanı Depolama Elemanı Job Status Grid Servislerinde İş Akışı

35. LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi RB Deposu Hazır Kontrol Servisi Planlandı Çalışıyor Grid olanaklı veri transferleri Hesaplama Elemanı Depolama Elemanı İş İş Durumu Grid Servislerinde İş Akışı

36. LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Hazır RB Deposu Kontrol Servisi Planlandı Çıkış Torbası Dosyaları Çalışıyor Hesaplama Elemanı Bitti Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

37. LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Hazır RB Deposu Kontrol Servisi glite-job-output <job-id> Planlandı Çalışıyor Hesaplama Elemanı Bitti Depolama Elemanı İş Durumu Grid Servislerinde İş Akışı

38. LFC Gönderildi Ağ Sunucusu Bilgi Servisi Beklemede UI İş Yükü Yöneticisi Çıkış Torbası Dosyaları Hazır RB Deposu WMS Kontrol Servisi Planlandı Çalışıyor Hesaplama Elemanı Bitti Depolama Elemanı Temizlendi İş Durumu Grid Servislerinde İş Akışı

39. SORULAR ? • Emrah AKKOYUN • TÜBİTAK-ULAKBİM • NOT: Bu sunum ULAKBİM tarafından organize edilmis diğer etkinliklerde kullanılan dökümanlardan derlenmiştir.