Parallel Processing

1. Parallel Processing ORGANISASI KOMPUTER II STMIK – AUB SURAKARTA

2. Introduction • Umumnya sistem multiprosesor menggunakan dua hingga selusin prosesor. • Peningkatan sistem multiprosesor  menggunakan jumlah prosesor yang sangat banyak  ratusan, ribuan bahkan puluhan ribu  sistem prosesor paralel atau sistem prosesor yang massif (untuk ribuan prosesor)

3. Penyebab Munculnya Prosesor Paralel (1) • Pemanfaatan komoditas prosesor RISC • Prosesor RISC yang murah dan berkinerja tinggi mudah diperoleh. • Pada kebanyakan sistem, prosesor komoditas ini dipakai sebagai blok bangunan dasar, yang mengurangi keharusan perancang prosesor paralel untuk merancang prosesor dasar dan juga organisasi secara keseluruhan.

4. Penyebab Munculnya Prosesor Paralel (2) • Kemajuan teknik komunikasi dari prosesor ke prosesor • Dengan ratusan atau ribuan prosesor yang harus bekerja bersama, metode koordinasi dan pertukaran data yang efisien dan fail-safe merupakan hal yang vital.

5. Penyebab Munculnya Prosesor Paralel (3) • Kebutuhan akan kinerja • Dengan peningkatan kinerja pada generasi prosesor yang akan datang, kebutuhan kinerja aplikasi meningkat lebih cepat. • Teknik pengolahan paralel menyediakan fasilitas untuk meningkatkan kinerja dengan menggunakan teknologi prosesor yang ada.

6. Sistem Prosesor Paralel • Sistem dengan sejumlah prosesor yang diinterkoneksikan dan bekerjasama untuk mengeksekusi program-program aplikasi. • Istilah prosesor paralel diartikan sebagai sistem yang mendukung paralelisme tingkat tinggi. • Sistem yang menawarkan framework eksplisit untuk pembuatan perangkat lunak sistem dan aplikasi menggunakan paralelisme.

7. Paralelisme Tingkat Rendah • Instruksi Pipelining • Setiap eksekusi instruksi dibagi menjadi sejumlah tahapan, sehingga instruksi-instruksi tersebut dapat dieksekusi secara paralel, dimana masing-masing instruksi berada pada tahapan yang berbeda. • Unit Fungsional Prosesor Jamak • Replikasi unit-unit ALU mengizinkan pendekatam skalar, dimana sejumlah instruksi dieksekusi secara paralel, semuanya pada tahapan eksekusi yang sama.

8. Paralelisme Tingkat Rendah • Prosesor Terspesialisasi yang Terpisah • Contoh yang sangat umum adalah penggunaan prosesor I/O, yang membebaskan CPU dari tanggung jawab kontrol I/O secara rinci

9. Taksonomi Sistem Komputer • Single instruction, single data stream – SISD • Single instruction, multiple data stream – SIMD • Multiple instruction, single data stream – MISD • Multiple instruction, multiple data stream- MIMD

10. Single Instruction Single Data • Sebuah prosesor tunggal menginterpretasikan aliran instruksi agar beroperasi terhadap data yang tersimpan pada sebuah memori tunggal.

11. Single Instruction Multiple Data • Sebuah instruksi mesin tunggal mengontrol secara simultan eksekusi sejumlah elemen-elemen pengolahan berdasarkan lock-step. • Setiap elemen pengolahan memiliki kaitan dengan memori data tertentu, sehingga setiap instruksi dieksekusi terhadap himpunan data yang berbeda oleh prosesor yang berbeda. • Contoh : Prosesor vektor dan prosesor array

12. Multiple Instruction Single Data • Sejumlah data dikirimkan ke himpunan prosesor, dengan setiap prosesor mengeksekusi rangkaian instruksi yang berbeda. • Struktur ini tidak pernah digunakan

13. Multiple Instruction Multiple Data • Sejumlah prosesor secara simultan mengeksekusi rangkaian instruksi yang berbeda pada kumpulan data yang berbeda pula.

14. Organisasi MIMID • Prosesor general-purpose, karena prosesor-prosesor tersebut harus mampu memproses semua instruksi yang diperlukan untuk melakukan transformasi data. • MIMD dapat digolongkan menurut komunikasi data. • Shared memory (multiprosesor) • Distributed memory (multikomputer)

15. MIMD • Apabila prosesor menggunakan memori umum secara bersama dan prosesor berkomunikasi satu sama lainnya dengan melalui memori tersebut, maka sistem tersebut dikenal sebagai sistem multiprosesor. • Apabila masing-masing prosesor memiliki suatu dedicated memory, maka setiap elemen pengolahannya menggunakan komputer self-contained. Komunikasi antara komputer-komputer tersebut dapat melalui lintasan-lintasan tetap atau melalui sejenis mekanisme message-switching. Sistem ini dikenal sebagai multikomputer.

16. Sistem Pengolahan Paralel Terapan • Meliputi : • SISD • Multiprosesor • Multikomputer

17. Parallel Organizations - SISD • Gambaran organisasi SISD secara umum • Terdapat beberapa unit kontrol yang mengirimkan aliran instruksi (Instruction Stream-IS) ke unit pengolahan. Unit pengolahan beroperasi pada single data stream (DS) yang berasal dari unit memori.

18. Parallel Organizations - SIMD

19. Pada SIMD, masih terdapat unit kontrol tunggal, yang sekarang akan memberikan aliran instruksi tunggal ke sejumlah elemen pengolahan. • Setiap elemen pengolahan dapat memiliki memori terdedikasi sendiri atau dapat juga memori yang dapat digunakan bersama.

20. Parallel Organizations - MIMD Shared Memory

21. Parallel Organizations - MIMDDistributed Memory

22. Pada MIMD terdapat sejumlah unit kontrol yang masing-masing unit kontrolnya memberikan aliran instruksi terpisah ke elemen pengolahan milikinya sendiri. • MIMD dapat berupa multiprosesor dengan memori yang dapat digunakan bersama atau multikomputer dengan memori yang terdistribusi.

23. Multiprosesor • Sebuah sistem komputer menjalankan satu buah aplikasi atau lebih yang kemudian dipecah menjadi sejumlah proses sekuensial yang berko-operasi. • Dapat diimplementasikan pada sistem berprosesor tunggal, namun akan lebih mudah apabila diimplementasikan pada sebuah sistem multiprosesor. • Setiap saat, setiap proses jamak akan mengeksekusi proses lainnya. • Komunikasi antara proses dilakukan oleh pesan-pesan dan flag-flag yang dapat dikirimkan ke prosesor lainnya melalui memori utama.

24. Multikomputer • Keterbatasan skala multiprosesor  multikomputer • Tujuan  untuk membuat organisasi yang scalable yang dapat mengakomodasi bermacam-macam prosesor.

25. Prosesor-prosesor multikomputer berkomunikasi dengan cara saling bertukar pesan  elemen penting perancangan = jaringan interkoneksi (harus dibuat seefisien mungkin) • Secara umum, terdapat trade-off antara lintasan terpanjang di antara dua simpul dengan jumlah koneksi fisik yang diperlukan pada setiap simpul.

26. Topologi Interkoneksi • Untuk mendukung skalabilitas dan untuk memberikan kinerja yang efisien. • Ring • Mesh • Tree • Hypercube

27. Topologi Interkoneksi Ring • Apabila komunikasi dua arah di sepanjang ring, maka jarak maksimum antara dua buah simpul pada ring dengan n simpul adalah n/2 • Biasanya paket-paket pesan berukuran tetap digunakan dengan melibatkan alamat tujuan yang dilibatkan. • Cocok untuk jumlah prosesor yang relatif sedikit dengan komunikasi data minimal

28. Topologi Mesh • Bentuk mesh yang paling sederhana adalah array dua dimensi tempat masing-masing simpul saling terhubung dengan keempat tetangganya. • “Diameter” komunikasi sebuah mesh yang sederhana adalah 2(n-1) • Koneksi wraparound pada bagian-bagian ujung akan mengurangi ukuran diameter menjadi 2(n/2). • Cocok untuk hal-hal yang berkaitan dengan algoritma yang berorientasi matriks.

29. Topologi Tree • Jaringan topologi untuk mendukung algoritma divide-and-conquer, seperti searching dan sorting.

30. Topologi Hypercube • Menggunakan N=2n prosesor yang disusun dalam sebuah kubus berdimensi n, dimana setiap simpul mempunyai n= log2N link bidirectional dengan simpul yang berdekatan. Diameter komunikasi hiperkubus seperti itu sama dengan n.