grid computing and applications fall 2006
Download
Skip this Video
Download Presentation
Grid Computing and Applications Fall 2006

Loading in 2 Seconds...

play fullscreen
1 / 22

Grid Computing and Applications Fall 2006 - PowerPoint PPT Presentation


  • 67 Views
  • Uploaded on

Grid Computing and Applications Fall 2006. Chao-Tung Yang Department of Computer Science and Information Engineering Tunghai University Taichung, 40704, Taiwan [email protected] Course Outline (48 hrs). Introduction to course (3 hr) Parallel Computers and Cluster Systems (3 hrs)

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Grid Computing and Applications Fall 2006' - ling


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
grid computing and applications fall 2006

Grid Computing and ApplicationsFall 2006

Chao-Tung Yang

Department of Computer Science and Information Engineering

Tunghai University

Taichung, 40704, Taiwan

[email protected]

course outline 48 hrs
Course Outline (48 hrs)
  • Introduction to course (3 hr)
  • Parallel Computers and Cluster Systems (3 hrs)
  • Grid Computing Middleware: Globus (3hr)
  • Message Passing Programming: MPI (6 hrs)
  • Grid Platform Installation and Setup (6hrs)
  • Computational grids and data grids (3hrs)
  • Case Studies of Grid Computing (9 hrs)

HPC Lab., [email protected] University

grading
Grading
  • Course Participate: 10%
  • Homework: 60%
    • A Grid site setup, demo, report: 20%
    • MPI programming and report: 15%
    • A Grid service programming and report: 15%
    • A small quiz: 10%
  • Project and Demo: 30%
    • Select a topic
    • System model and setup
    • Presentation
    • Write a report and demo

HPC Lab., [email protected] University

materials cont
Materials (cont.)
  • Text book for Grid Computing
    • The Grid: Core TechnologiesMaozhen Li, Mark BakerISBN: 0-470-09417-6Paperback452 pagesMay 2005
    • http://as.wiley.com/WileyCDA/WileyTitle/productCd-0470094176.html
    • A Networking Approach to Grid ComputingDaniel MinoliISBN: 0-471-68756-1Hardcover400 pagesNovember 2004
    • http://as.wiley.com/WileyCDA/WileyTitle/productCd-0471687561.html

HPC Lab., [email protected] University

materials cont1
Materials (cont.)
  • Reference Book for Grid Computing
    • Grid Computing for Developers (Programming Series)
    • Distributed Data Management for Grid Computing
    • Globus Toolkit 4: Programming Java Services
    • Distributed and Parallel Systems: Cluster and Grid Computing (The International Series in Engineering and Computer Science)

HPC Lab., [email protected] University

materials cont2
Materials (cont.)
  • Reference book for Cluster Computing
    • Parallel Programming Techniques and Applications Using Networked Workstations and Parallel Computers
    • Barry Wilkinson and Michael Allen
    • Prentice Hall, Second Edition, 2004
    • http://vig.prenhall.com/catalog/academic/product/0,1144,0131405632,00.html

HPC Lab., [email protected] University

materials
Materials
  • Reference book for Cluster Computing
    • Parallel Programming in C with MPI and OpenMP
    • Quinn, Michael J.
    • McGraw-Hill Science/Engineering/Math McGraw-Hill Science/Engineering/Math, First Edition, 2004
    • http://books.mcgraw-hill.com/getbook.php?isbn=0072822562

HPC Lab., [email protected] University

materials cont3
Materials (cont.)
  • Reference book for Cluster Computing
    • Beowulf Cluster Computing with Linux
    • William Gropp, Ewing Lusk, Thomas Sterling
    • MIT Press, Second Edition (Scientific and Engineering Computation), 2003
    • http://mitpress.mit.edu/catalog/item/default.asp?ttype=2&tid=9947

HPC Lab., [email protected] University

materials cont4
Materials (cont.)
  • Reference book for Cluster Computing
    • High Performance Linux Clusters with OSCAR, Rocks, OpenMosix, and MPI 
    • Joseph D. Sloan
    • O\'Reilly; 1 edition (November 16, 2004)
    • http://www.oreilly.com/catalog/highperlinuxc/

HPC Lab., [email protected] University

resources
Resources
  • Grid Sites
    • TWGrid, http://twgrid.org
    • http://www2.twgrid.org/gridcafe/
    • EGEE, http://www.egee.org
    • OGF, http://www.ogf.org
    • Globus, http://www.globus.org
  • Technical Papers
    • http://www.springerlink.com/home/main.mpx
    • http://www.sciencedirect.com/
    • http://sdos.ejournal.ascc.net/
    • http://portal.acm.org/
    • http://ieeexplore.ieee.org/

HPC Lab., [email protected] University

slide12
何謂網格
  • 簡單地說,網頁(Web)是經由網際網路(internet)分享資訊的服務,而網格則是透過網際網路,分享如計算能力和資料的各類資源與服務。
  • 網格的發展,並非電腦間單純的通訊功能,其最終目標是要整合分散於全球資源,轉變成一個巨大的計算資源。不過,這僅是一個願景。現實中的網格,正由全球各地上百位研究學者和軟體工程師開發中,尚屬「建造中的工作」(work in progress),其基礎技術仍處於雛型階段。
  • 既使網格充滿了不確定性,但由於其未來的發展具有革命性的潛力,所以除了引起電腦科學家的關注外,甚至吸引了科學家、企業家、新聞工作者,甚至是正在瀏覽這個網站的您!

HPC Lab., [email protected] University

slide13
日益複雜的問題
  • 今天,科學家們所面臨日益複雜的問題,不再只是一片黑板就能夠解決。科學的發展,不可能沒有電腦的輔助。
  • 一部電腦、一組標準電腦叢集、甚至一部特殊目的的超級電腦,其能力都不足以完成現今科學家想要的計算能力。這也是科學家為何一直朝「不斷將計算能力推向極限」的希望目標邁進。
  • 但電腦發展一日千里,處理器的能力,每18個月左右就推升一倍 (所謂的 Moore 定律),仍舊趕不上科學家的需求。 結果若想利用現有的電腦技術,達成某些科學目標,不但相當困難,而且非常昂貴,甚至可說是天方夜譚,科學家便經常踢到鐵板。

HPC Lab., [email protected] University

slide14
日益複雜的問題
  • 10 年前,生物學家能在電腦上模擬一個小分子,就已經非常興奮。但現在,他們卻要模擬上千個新藥的分子結構,以了解分子間與特定蛋白質如何作用。
  • 地球科學家希望透過衛星觀測,來追蹤大氣中的臭氧含量,每天就必須從太空下載大約1,000億個位元組(100 GigaBytes, 相當於150片光碟的容量)的原始影像資料到地面。
  • 在高能物理領域中,為了要探索基本粒子間的作用力,每年快速產生約10,000兆位元組(10 Petabytes, 大約2,000萬片光碟的容量)的資料量,來記錄極高能量基本粒子碰撞的結果。
  • 沒有利用電腦分析大量數據,便無法解開人體基因之謎。DNA 是人類的基因藍圖,此分析就包括30億個組成人類 DNA 化學單元的定序工作。

HPC Lab., [email protected] University

slide15
科學家所面臨的瓶頸
  • 所需的資料量相當龐大,且大多分散儲存於不同的地點:例如科學家為了分析地球衛星影像的資料,就必須花費相當多的時間,進行不同電腦間影像拷貝的工作,所以他們希望能直接在儲存資料的電腦上進行分析運算。
  • 重覆大量相似的科學計算:例如要模擬上千種潛在新藥分子,如何在某些致病的蛋白質上起作用,若僅利用單一電腦,或是一組叢集電腦實屬耗時。
  • 一個成員大多分散於全球的科學團隊,他們希望直接透過視訊會議,分享大量資料,並進行複雜的分析,同時討論結果。

HPC Lab., [email protected] University

the dream
The Dream
  • 想像有數百萬台的電腦,除了桌面型電腦、工作站、 大型主機和超級電腦外,還有許多儲存設備、氣象設備和顯示儀器,它們分散在全球各地,隸屬於不同的機構組織(公司、大學、醫院…..),或者是個人(學生、醫生、秘書……),目前似乎還看不出有什麼新意,因為現況就是如此。
  • 然後把這些電腦全都連上網際網路,這還是沒出現什麼新意,因為大部份的電腦早就已經連上。
  • 但如果現在有一個神奇的工具,可以讓個別獨立的電腦一起運作,就像一部功能超強的巨大電腦,那情況就不同了。這個巨大的電腦,便是一些夢想家們的網格(The Grid)。
  • 網格一詞係由電力網格而來。您可能聽過『網格可以讓使用者從網際網路得到處理能力,如同從牆上插座得到電力一樣簡單』的聲明吧!

HPC Lab., [email protected] University

slide17
分散式計算與點對點計算
  • 分散式計算(Distributed Computing):今天,每當缺乏計算資源時(一部電腦的計算能力,無法滿足複雜計算或應用的需求),解決的方法,就是將橫跨企業、公司或學術單位的電腦資源相連,整合成單一資源來使用。這種解決方法便稱為「分散式計算」,意指利用許多電腦,共同解決同一個問題。從某個角度來看,網格也是分散式計算的一種。
  • 點對點計算(Peer to Peer computing):您一定聽過Napster這個曾讓全世界樂迷們分享音樂檔案的網站。只要下載這個網站的一個用戶端程式到您的電腦,就可以透過網際網路和其他用戶端連結,分享和存取彼此硬碟上願意公開的檔案資料。這是一種電腦彼此間可以直接分享檔案,而不需要經過中央伺服器的方法。(雖然Napster之後出現一些問題,但這種分享方式卻依然存在。)

HPC Lab., [email protected] University

cluster computing
叢集計算 (Cluster Computing)
  • 大約在上個世紀末,科學家集結一些個人電腦,讓彼此可以通訊。第一個叢集電腦北歐武夫(Beowulf),便是以傳說中殺死大龍的挪威武士來命名。但科學家想殺的龍,是昂貴的主機或超級電腦。他們成功的達到他們的夢想,現在許多商業公司已經開始提供叢集電腦,做為現貨供應的標準產品。
  • 叢集電腦可有大小不同規模,此做法的最大優點是「可擴充性」(scalability):只要增加新的個人電腦,就可以提高叢集電腦的效能。不過,它還是有其極限,因為電腦間彼此需要通訊,若太多電腦對通訊將會是很大的負擔,。近年來,上百台電腦的叢集已屬常見。

HPC Lab., [email protected] University

internet computing
網際網路計算(Internet Computing)
  • 您也許聽過 [email protected]吧!這是由Search for Extraterrestrial Intelligence (SETI)研究所建立的一個虛擬「超級電腦」。主要的任務是用來分析位於波多黎各Arecibo無線電望遠鏡的資料,以搜尋外星人的蹤跡。SETI透過網際網路結合全球各地超過三百萬台的個人電腦,相當於一台個人電腦60多萬年的計算能力!
  • [email protected]是一個螢幕保護程式-可以在不影響電腦正常運作的情形下工作-任何人都可從網頁上下載這個程式。不同的個人電腦(如同網格節點),可以同時處理相同問題的不同部份,再經由網際網路得到一組數據,然後把結果傳回中央系統,以供後續處理。SETI的成功鼓舞了許多@home的應用。
  • [email protected]亦可說是“cycle scavenging”概念的一個楷模,即是您可以利用他人電腦的閒置時間進行運算。對[email protected]而言,是因為有太多人對這個計畫的目標感到興趣,而基於他人的善意來獲取計算時間。但很明顯的,並不是所有的計算工作,都適用於cycle scavenging策略。

HPC Lab., [email protected] University

local grid computing
區域網格計算 (Local Grid Computing)
  • 在叢集計算中,為何所有電腦都必需集結在同一間房裡? 近年來,分割成許多獨立小問題的解決方法就是整合企業、公司或學術單位的電腦資源,,即所謂的「分散式計算」。有些人把分散式計算稱為網格,其實並不完全正確,而是可以把它稱作「區域網格計算」。
  • 區域網格計算是希望能充分利用機構現有的電腦資源和專用軟體,來整合所需要的處理能力和可用資源。其中一種普遍流行於大學等機構之軟體Condor、SUN Grid Engine(SGE)「中介軟體」(middleware, 中介軟體並非作業系統,也不是應用軟體,而是介於兩者之間),可以有效的自動搜尋和整合應用程式所需電腦的處理能力,並且執行。

HPC Lab., [email protected] University

grid computing
網格計算 (Grid Computing)
  • 網格計算可說是「區域網格計算」朝全球化規模發展的結果。它不再侷限於某一區域,而是藉由強有力的處理器,透過高速網路的連結,執行相當複雜的中介軟體,連結全球電腦;且在處理過程中,不會干擾原電腦的正常運作。
  • 隨著網路連結速度的提升,兩部個人電腦間的距離差異縮小。即在同一間辦公室的兩部電腦,和在同一棟大樓、城市,甚至是同一個國家不同地點的兩部電腦,其速度並沒有多大的差異。加上有效利用協助分散資源的中介軟體,網格計算讓使用者的距離更加貼近的感覺。此外,隨著中介軟體的進步,也可以解決高度分散系統各型電腦間的差異,這比在同一機構中更難控制。
  • 目前最流行的中介軟體Globus,是用來建立網格的軟體工具 。目的是有效地整合各式各樣的機器,包括超級電腦、儲存系統、資料來源,以及其他特殊的科學儀器、視覺化呈現的設備等等。

HPC Lab., [email protected] University

ad