Tr ng h c ng ngh th ng tin truy n th ng khoa cn i n t truy n th ng
This presentation is the property of its rightful owner.
Sponsored Links
1 / 24

TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG KHOA CN ĐIỆN TỬ & TRUYỀN THÔNG  PowerPoint PPT Presentation


  • 116 Views
  • Uploaded on
  • Presentation posted in: General

TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG KHOA CN ĐIỆN TỬ & TRUYỀN THÔNG . Semina ĐỀ TÀI : SUPER COMPUTER Người thực hiện : Đô ̃ Thi ̣ Loan Đơn vị công tác : Bô ̣ môn CN KTMT– Khoa CN ĐT&TT. NỘI DUNG. GIỚI THIỆU VỀ SUPER COMPUTER WAREHOUSE-SCALE COMPUTER

Download Presentation

TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG KHOA CN ĐIỆN TỬ & TRUYỀN THÔNG 

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Tr ng h c ng ngh th ng tin truy n th ng khoa cn i n t truy n th ng

TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNGKHOA CN ĐIỆN TỬ & TRUYỀN THÔNG

Semina

ĐỀ TÀI: SUPER COMPUTER

Ngườithựchiện: Đỗ Thị Loan

Đơn vị côngtác: Bộ môn CN KTMT–Khoa CN ĐT&TT


N i dung

NỘI DUNG

GIỚI THIỆU VỀ SUPER COMPUTER

WAREHOUSE-SCALE COMPUTER

HỆ THỐNG GOOGLE WSC


I gi i thi u v super computer

I. GIỚI THIỆU VỀ SUPER COMPUTER

Supercomputer (siêumáytính) làmộtmáytínhcótínhvượttrộitrongkhảnăngvàtốcđộxửlý. Siêumáytínhhiện nay cótốcđộxửlýhàngnghìn teraflop hay bằngtổnghiệusuấtcủa 6000 chiếcmáytínhhiệnđạinhấthiện nay gộplại.

Hầu hết các siêu máy tính đều sử dụng các phương pháp xử lý song song: chúng chứa một giàn các vi xử lý cực nhanh.

Có thể hiểusiêumáytính là cácmáytínhxử lý song song


Tr ng h c ng ngh th ng tin truy n th ng khoa cn i n t truy n th ng

Hình 1: Siêumáytính Cray XT5, 22/05/2009 chạynền Linux, bộnhớ 362.000 GB, gồm 184 tủmáy, mỗitủmáychứa 192 chip Opteron 4 lõicủa AMD


Ii warehouse scale wsc

II. WAREHOUSE-SCALE - WSC

GIỚI THIỆU

WSC là mộtsiêumáytínhmới

WSC là nềntảngcủacácdịch vụ Internet như: tìmkiếmdữliệu, mạngxãhội, bảnđồtrựctuyến, chia sẻ video, muabántrựctuyến, thưđiệntử, …

Một WSC chứatừ 50.000 đến 100.000 máychủ

WSC là hạ tầngcủacácdịch vụ Internet phục vụ chohàngnghìnngườidùngmộtlúc vì vậy WSC sử dụngphươngphápxử lý cácứngdụngtheolô.


Nh n t quan tro ng thi t k wsc

Nhântố quantrọngđể thiếtkế WSC

  • Chi phí thực hiện

  • Hiệu suất năng lượng

  • Vào/ra mạng

  • Tương tác và các công việc xử lý theo lô

  • Độ tin cậy thông qua sự dư thừa

  • Quan tâm đến thuận lợi và khó khăn khi xây dựng một WSC do hệ thống có quy mô rất lớn


Hi nh 2 th ng k s ho ng ho c cu a h th ng wsc trong m t n m

Hình 2: Thốngkêsự hỏnghóccủahệ thống WSC trongmộtnăm


2 1 ki n tru c cu a wsc

2.1 Kiến trúc của WSC

Hình 3: Kiếm trúc của WSC


2 2 ca c tha nh ph n trong ki n tru c wsc

2.2 Cácthànhphầntrongkiếntrúc WSC

Thiết bị lưutrữ

- Cácmáychủchứacác ổ cứngbêntronghoặcsửdụngcác ổ cứngmạng NAS (Network Attached Storage) thông qua cácđườngtruyềntốcđộrấtcaonhưngthôngthườngcác WSC dựavào ở các ổ cứngđượctíchhợpsẵnbêntrong.

- Các ổ cứngbêntrongmáychủluôntíchhợpcôngnghệ RAID đểbảođảm an toàndữliệuvàtốcđộtruyền.


Array switch

Array Switch

Hình 4: Cấu trúc phân cấp các Switch trong WSC


Ph n c p b nh trong wsc chia b nh cu a wsc tha nh 3 c p local rack va array

Phâncấpbộ nhớ trong WSCChiabộ nhớ của WSC thành 3 cấp: Local, Rack và Array

Hình 5: Đánh giá độ trễ, băng thông và dung lượng của bộ nhớ phân cấp trong một WSC


T hi nh 5 ta co thi so sa nh ca c gia tri tha nh ph n trong b nh ph n c p wsc

Từ hình 5 ta có đồ thị so sánhcácgiá trị thànhphầntrongbộ nhớ phâncấp WSC.

Hình 6: Đồ thị của độ trễ, băng thông và dung lượng của bộ nhớ phân cấp trong 1WSC


M hi nh ma ng 3 t ng c du ng n i ca c array v i nhau va n i t i internet

Môhìnhmạng 3 tầngđượcdùngđể nốicác array vớinhauvà nốitới Internet


2 3 m hi nh l p tri nh cho wsc

2.3 Môhìnhlậptrìnhcho WSC

MapReduce:

  • MapReducelàmộtmôhìnhvậnhànhđơnlệnhđadữliệu SIMD (Single Instruction Multi Data). Cácdữliệunàyđượcđặttạicácmáytínhphântán, hoạtđộng song songđộclậpvớinhau

  • Dữliệuđầuvàocóthểlàdữliệucócấutrúchoặcdữliệukhôngcấutrúc.

  • Cácmáytínhlưutrữcácdữliệuphântántrongquátrìnhthựcthiđượcgọilàcácnút (nodes) củahệthống. Cácmáynàyđượcgọi là

    Cluster – Nếusử dụngchung 1 phầncứng

    Grid – Nếuhoạtđộngriêng rẽ trêncácphần

    cứngkhácnhau.


Nguy n t c hoa t ng cu a mapreduce

NguyêntắchoạtđộngcủaMapReduce

  • MapReduce gồm 2 quá trình thực hiện là hàm "Map" và "Reduce". Ý tưởng chính của MapReduce chính là thực hiện việc “Chia để trị”

    - Chia vấn đề cần xử lý (dữ liệu) thành các phần nhỏ để xử lý

    - Xử lý các vấn đề nhỏ đó 1 cách song song trên các máy tính phân tán hoạt động độc lập.

    - Tổng hợp các kết quả thu được để đưa ra kết quả cuối cùng


Nguy n t c hoa t ng cu a mapreduce1

NguyêntắchoạtđộngcủaMapReduce

NhưvậytoànbộquátrìnhMapReducecóthểhiểunhưsau:

  • Đọcdữliệuđầuvào

  • Thựchiênxửlýcácphầndữliệuvào (xửlýtừngphầnmột) (thựchiệnhàm Map)

  • Trộnvàsắpxếpcáckếtquảthuđượctừcácmáytínhlàmsaođểđượckếtquảtiệnlợinhất so vớimụcđíchcủaquátrình.

  • Tổnghợpcáckếtquảtrunggianthuđượctừcácmáytínhphântán (Thựchiệnhàm Reduce)

  • Đưarakếtquảcuốicùng.


U i m cu a mapreduce

ƯuđiểmcủaMapReduce

Rútngắnthờigianxử lý toànbộ dữ liệu

Xửlýtốtbàitoánvềlượngdữliệulớncócáctácvụphântíchvàtínhtoánphứctạpkhônglườngtrướcđược.

Cóthểtiếnhànhchạy song songtrêncácmáyphântán 1 cáchchínhxácvàhiệuquả. Khôngphảiquantâmđếnsựtraođổidữliệugiữacác clusters vớinhauvìchúnghoạtđộng 1 cáchđộclập, khôngphảitheodõixửlýcáctácvụ, xửlýlỗi.

CóthểthựchiênmôhìnhMapreducetrênnhiềungônngữnhư : Java, C++, Python, Perl, Ruby, C vớicácthưviệntươngứng.


2 4 c s v t ch t cu a wsc

2.4 Cơsở vậtchấtcủa WSC

Vị trí lắpđặt

Do WSC nógầngiốngvớimạngtrụccủa Internet nênvịtrílắpđặtcủanóphảiđảmbảovềnguồnđiện, thuếsuất, cókhảnăngchịuđượcrủiro do bão, lụt, độngđất.

Chi phí cho WSC

- Chi phí đầutư (CAPEX) là chi phí choviệcxâydựngmột WSC

- Chi phí hoạtđộng (OPEX) là chi phí để vậnhànhmột WSC


Ph n ph i i n n ng

Phânphốiđiệnnăng

  • Các WSC tiêuthụđiệnnăngrấtlớn do vậyhạtầngphânphốiđiệnphảiđượcthiếtkếtheotừngcấptheohìnhbên.

  • CácWSCđượccungcấpđiệntừhệthốngđiệncaothếđãđượchạáp, đồngthờibêntrongtòanhàlắpđặt WSC cònđượcsửdụnghệthống UPS- hệthốngcấpđiệnkhôngbịngắtvàcácmáyphátđiệnriêng.


H th ng la m ma t

Hệ thốnglàmmát

  • Nhiệtđộ lýtưởngcủacáctòanhàtrongkhoảngtừ 64F đến 71F sẽđảmbảođượcđộbền, tínhổnđịnhcủacácthiếtbịbêntrong WSC. Hệthốnglàmmátcủa WSC sửdụngnhiềuphươngphápkhácnhaunhư: làmmátbằngkhôngkhí, làmmátbằngnước… Đượcmôtảhìnhbên.


Iii h th ng google wsc

III. HỆ THỐNG GOOGLE WSC

* Google WSC có 45 container(12.2 x 2.4 x 2.9m).

* Mỗi container chứa:

1160 máychủ

* Google WSC=> 52.200 máychủ.

* Mỗi container là độc lập và chỉ kết nối bên ngoài bởi hệ thống điện, mạng máy tính và nước làm mát.


Tr ng h c ng ngh th ng tin truy n th ng khoa cn i n t truy n th ng

Luồng không khí làm mát bên trong Container


Tr ng h c ng ngh th ng tin truy n th ng khoa cn i n t truy n th ng

Máychủ trong Google WSC

  • Nguồn điện bên trái,

  • 2 HDD phía trên,

  • 2 CPU 2.2GHz AMD Barcelona,

  • 8 Gb RAM,

  • 2 NIC 1Gbit


Xin ch n th nh c m n

XIN CHÂN THÀNH CẢM ƠN!


  • Login