Grid Computing and Applications Fall 2006

Grid Computing and ApplicationsFall 2006 Chao-Tung Yang Department of Computer Science and Information Engineering Tunghai University Taichung, 40704, Taiwan ctyang@thu.edu.tw

Course Outline (48 hrs) • Introduction to course (3 hr) • Parallel Computers and Cluster Systems (3 hrs) • Grid Computing Middleware: Globus (3hr) • Message Passing Programming: MPI (6 hrs) • Grid Platform Installation and Setup (6hrs) • Computational grids and data grids (3hrs) • Case Studies of Grid Computing (9 hrs) HPC Lab., CSIE@Tunghai University

Grading • Course Participate: 10% • Homework: 60% • A Grid site setup, demo, report: 20% • MPI programming and report: 15% • A Grid service programming and report: 15% • A small quiz: 10% • Project and Demo: 30% • Select a topic • System model and setup • Presentation • Write a report and demo HPC Lab., CSIE@Tunghai University

Materials (cont.) • Text book for Grid Computing • The Grid: Core TechnologiesMaozhen Li, Mark BakerISBN: 0-470-09417-6Paperback452 pagesMay 2005 • http://as.wiley.com/WileyCDA/WileyTitle/productCd-0470094176.html • A Networking Approach to Grid ComputingDaniel MinoliISBN: 0-471-68756-1Hardcover400 pagesNovember 2004 • http://as.wiley.com/WileyCDA/WileyTitle/productCd-0471687561.html HPC Lab., CSIE@Tunghai University

Materials (cont.) • Reference Book for Grid Computing • Grid Computing for Developers (Programming Series) • Distributed Data Management for Grid Computing • Globus Toolkit 4: Programming Java Services • Distributed and Parallel Systems: Cluster and Grid Computing (The International Series in Engineering and Computer Science) HPC Lab., CSIE@Tunghai University

Materials (cont.) • Reference book for Cluster Computing • Parallel Programming Techniques and Applications Using Networked Workstations and Parallel Computers • Barry Wilkinson and Michael Allen • Prentice Hall, Second Edition, 2004 • http://vig.prenhall.com/catalog/academic/product/0,1144,0131405632,00.html HPC Lab., CSIE@Tunghai University

Materials • Reference book for Cluster Computing • Parallel Programming in C with MPI and OpenMP • Quinn, Michael J. • McGraw-Hill Science/Engineering/Math McGraw-Hill Science/Engineering/Math, First Edition, 2004 • http://books.mcgraw-hill.com/getbook.php?isbn=0072822562 HPC Lab., CSIE@Tunghai University

Materials (cont.) • Reference book for Cluster Computing • Beowulf Cluster Computing with Linux • William Gropp, Ewing Lusk, Thomas Sterling • MIT Press, Second Edition (Scientific and Engineering Computation), 2003 • http://mitpress.mit.edu/catalog/item/default.asp?ttype=2&tid=9947 HPC Lab., CSIE@Tunghai University

Materials (cont.) • Reference book for Cluster Computing • High Performance Linux Clusters with OSCAR, Rocks, OpenMosix, and MPI • Joseph D. Sloan • O'Reilly; 1 edition (November 16, 2004) • http://www.oreilly.com/catalog/highperlinuxc/ HPC Lab., CSIE@Tunghai University

Resources • Grid Sites • TWGrid, http://twgrid.org • http://www2.twgrid.org/gridcafe/ • EGEE, http://www.egee.org • OGF, http://www.ogf.org • Globus, http://www.globus.org • Technical Papers • http://www.springerlink.com/home/main.mpx • http://www.sciencedirect.com/ • http://sdos.ejournal.ascc.net/ • http://portal.acm.org/ • http://ieeexplore.ieee.org/ HPC Lab., CSIE@Tunghai University

http://www2.twgrid.org/gridcafe/ HPC Lab., CSIE@Tunghai University

何謂網格 • 簡單地說，網頁(Web)是經由網際網路(internet)分享資訊的服務，而網格則是透過網際網路，分享如計算能力和資料的各類資源與服務。 • 網格的發展，並非電腦間單純的通訊功能，其最終目標是要整合分散於全球資源，轉變成一個巨大的計算資源。不過，這僅是一個願景。現實中的網格，正由全球各地上百位研究學者和軟體工程師開發中，尚屬「建造中的工作」(work in progress)，其基礎技術仍處於雛型階段。 • 既使網格充滿了不確定性，但由於其未來的發展具有革命性的潛力，所以除了引起電腦科學家的關注外，甚至吸引了科學家、企業家、新聞工作者，甚至是正在瀏覽這個網站的您！ HPC Lab., CSIE@Tunghai University

日益複雜的問題 • 今天，科學家們所面臨日益複雜的問題，不再只是一片黑板就能夠解決。科學的發展，不可能沒有電腦的輔助。 • 一部電腦、一組標準電腦叢集、甚至一部特殊目的的超級電腦，其能力都不足以完成現今科學家想要的計算能力。這也是科學家為何一直朝「不斷將計算能力推向極限」的希望目標邁進。 • 但電腦發展一日千里，處理器的能力，每18個月左右就推升一倍 (所謂的 Moore 定律)，仍舊趕不上科學家的需求。結果若想利用現有的電腦技術，達成某些科學目標，不但相當困難，而且非常昂貴，甚至可說是天方夜譚，科學家便經常踢到鐵板。 HPC Lab., CSIE@Tunghai University

日益複雜的問題 • 10 年前，生物學家能在電腦上模擬一個小分子，就已經非常興奮。但現在，他們卻要模擬上千個新藥的分子結構，以了解分子間與特定蛋白質如何作用。 • 地球科學家希望透過衛星觀測，來追蹤大氣中的臭氧含量，每天就必須從太空下載大約1,000億個位元組(100 GigaBytes, 相當於150片光碟的容量)的原始影像資料到地面。 • 在高能物理領域中，為了要探索基本粒子間的作用力，每年快速產生約10,000兆位元組(10 Petabytes, 大約2,000萬片光碟的容量)的資料量，來記錄極高能量基本粒子碰撞的結果。 • 沒有利用電腦分析大量數據，便無法解開人體基因之謎。DNA 是人類的基因藍圖，此分析就包括30億個組成人類 DNA 化學單元的定序工作。 HPC Lab., CSIE@Tunghai University

科學家所面臨的瓶頸 • 所需的資料量相當龐大，且大多分散儲存於不同的地點：例如科學家為了分析地球衛星影像的資料，就必須花費相當多的時間，進行不同電腦間影像拷貝的工作，所以他們希望能直接在儲存資料的電腦上進行分析運算。 • 重覆大量相似的科學計算:例如要模擬上千種潛在新藥分子，如何在某些致病的蛋白質上起作用，若僅利用單一電腦，或是一組叢集電腦實屬耗時。 • 一個成員大多分散於全球的科學團隊，他們希望直接透過視訊會議，分享大量資料，並進行複雜的分析，同時討論結果。 HPC Lab., CSIE@Tunghai University

The Dream • 想像有數百萬台的電腦，除了桌面型電腦、工作站、大型主機和超級電腦外，還有許多儲存設備、氣象設備和顯示儀器，它們分散在全球各地，隸屬於不同的機構組織(公司、大學、醫院…..），或者是個人(學生、醫生、秘書……)，目前似乎還看不出有什麼新意，因為現況就是如此。 • 然後把這些電腦全都連上網際網路，這還是沒出現什麼新意，因為大部份的電腦早就已經連上。 • 但如果現在有一個神奇的工具，可以讓個別獨立的電腦一起運作，就像一部功能超強的巨大電腦，那情況就不同了。這個巨大的電腦，便是一些夢想家們的網格(The Grid)。 • 網格一詞係由電力網格而來。您可能聽過『網格可以讓使用者從網際網路得到處理能力，如同從牆上插座得到電力一樣簡單』的聲明吧！ HPC Lab., CSIE@Tunghai University

分散式計算與點對點計算 • 分散式計算(Distributed Computing)：今天，每當缺乏計算資源時(一部電腦的計算能力，無法滿足複雜計算或應用的需求)，解決的方法，就是將橫跨企業、公司或學術單位的電腦資源相連，整合成單一資源來使用。這種解決方法便稱為「分散式計算」，意指利用許多電腦，共同解決同一個問題。從某個角度來看，網格也是分散式計算的一種。 • 點對點計算(Peer to Peer computing)：您一定聽過Napster這個曾讓全世界樂迷們分享音樂檔案的網站。只要下載這個網站的一個用戶端程式到您的電腦，就可以透過網際網路和其他用戶端連結，分享和存取彼此硬碟上願意公開的檔案資料。這是一種電腦彼此間可以直接分享檔案，而不需要經過中央伺服器的方法。(雖然Napster之後出現一些問題，但這種分享方式卻依然存在。) HPC Lab., CSIE@Tunghai University

叢集計算 (Cluster Computing) • 大約在上個世紀末，科學家集結一些個人電腦，讓彼此可以通訊。第一個叢集電腦北歐武夫(Beowulf)，便是以傳說中殺死大龍的挪威武士來命名。但科學家想殺的龍，是昂貴的主機或超級電腦。他們成功的達到他們的夢想，現在許多商業公司已經開始提供叢集電腦，做為現貨供應的標準產品。 • 叢集電腦可有大小不同規模，此做法的最大優點是「可擴充性」(scalability)：只要增加新的個人電腦，就可以提高叢集電腦的效能。不過，它還是有其極限，因為電腦間彼此需要通訊，若太多電腦對通訊將會是很大的負擔,。近年來，上百台電腦的叢集已屬常見。 HPC Lab., CSIE@Tunghai University

網際網路計算(Internet Computing) • 您也許聽過 SETI@home吧！這是由Search for Extraterrestrial Intelligence (SETI）研究所建立的一個虛擬「超級電腦」。主要的任務是用來分析位於波多黎各Arecibo無線電望遠鏡的資料，以搜尋外星人的蹤跡。SETI透過網際網路結合全球各地超過三百萬台的個人電腦，相當於一台個人電腦60多萬年的計算能力！ • SETI@home是一個螢幕保護程式－可以在不影響電腦正常運作的情形下工作－任何人都可從網頁上下載這個程式。不同的個人電腦(如同網格節點)，可以同時處理相同問題的不同部份，再經由網際網路得到一組數據，然後把結果傳回中央系統，以供後續處理。SETI的成功鼓舞了許多@home的應用。 • SETI@home亦可說是“cycle scavenging”概念的一個楷模，即是您可以利用他人電腦的閒置時間進行運算。對SETI@home而言，是因為有太多人對這個計畫的目標感到興趣，而基於他人的善意來獲取計算時間。但很明顯的，並不是所有的計算工作，都適用於cycle scavenging策略。 HPC Lab., CSIE@Tunghai University

區域網格計算 (Local Grid Computing) • 在叢集計算中，為何所有電腦都必需集結在同一間房裡？近年來，分割成許多獨立小問題的解決方法就是整合企業、公司或學術單位的電腦資源,，即所謂的「分散式計算」。有些人把分散式計算稱為網格，其實並不完全正確，而是可以把它稱作「區域網格計算」。 • 區域網格計算是希望能充分利用機構現有的電腦資源和專用軟體，來整合所需要的處理能力和可用資源。其中一種普遍流行於大學等機構之軟體Condor、SUN Grid Engine(SGE)「中介軟體」(middleware, 中介軟體並非作業系統，也不是應用軟體，而是介於兩者之間)，可以有效的自動搜尋和整合應用程式所需電腦的處理能力，並且執行。 HPC Lab., CSIE@Tunghai University

網格計算 (Grid Computing) • 網格計算可說是「區域網格計算」朝全球化規模發展的結果。它不再侷限於某一區域，而是藉由強有力的處理器，透過高速網路的連結，執行相當複雜的中介軟體，連結全球電腦；且在處理過程中，不會干擾原電腦的正常運作。 • 隨著網路連結速度的提升，兩部個人電腦間的距離差異縮小。即在同一間辦公室的兩部電腦，和在同一棟大樓、城市，甚至是同一個國家不同地點的兩部電腦，其速度並沒有多大的差異。加上有效利用協助分散資源的中介軟體，網格計算讓使用者的距離更加貼近的感覺。此外，隨著中介軟體的進步，也可以解決高度分散系統各型電腦間的差異，這比在同一機構中更難控制。 • 目前最流行的中介軟體Globus，是用來建立網格的軟體工具。目的是有效地整合各式各樣的機器，包括超級電腦、儲存系統、資料來源，以及其他特殊的科學儀器、視覺化呈現的設備等等。 HPC Lab., CSIE@Tunghai University

HPC Lab., CSIE@Tunghai University

Grid Computing and Applications Fall 2006