Università degli studi di Bologna Facoltà di ingegneria

1. Università degli studi di Bologna Facoltà diingegneria Exploring the MPSoC Design Space: the MPARM environment Francesco Poletti DEIS Università di Bologna fpoletti@deis.unibo.it

2. Outline • Archittetture parallele su singolo chip; • Sistema operativo Embedded RTEMS; • Sviluppo di un Hardware decidato: DMA sulla piattaforma MPARM; • Utilizzo della piattaforma MPARM e alcuni benchmark.

3. Problem: The Productivity Gap

4. Nuova metodologia di progettazione: System On Chip (SoC). • Replicazione di blocchi di Unità funzionali • Il progettista si concentra sulle funzionalità e prestazioni dell’intero sistema. MPSOC IDEA… • Lo sviluppo tecnologico permette sempre maggiori capacità d’integrazione. • Difficoltà progettuale.

5. MPSOC ARCHITECTURE CORE DSP adapter extmem extmem adapter COMMUNICATION HW MPEG CORE extmem adapter adapter extmem ROM RAM

7. BUS CONDIVISO • Prestazioni medie; • Bassa occupazione d’area; • Semplicità dell’interfaccia IP. SLAVE SLAVE SLAVE SHARED BUS MASTER MASTER MASTER • NETWORK • Elevate prestazioni; • Alta occupazione d’area; • Scalabilità. Network on Chip COMUNICATION TOPOLOGIES Bus Condiviso : sviluppo odierno Network => futuro

8. Outlines of the AMBA bus • AMBA (Advanced Microcontroller Bus Architecture) è uno standard di comunicazione on-chip, per un elaboratore embedded. • : high performance, high clock frequency system modules • APB: low power peripherals

9. Outlines of the AMBA bus Master per accedere al bus deve richiederne l’utilizzo all’arbitro. Multiplexer per i dati e per gli indirizzi “pilotati” dall’arbitro.

10. System architecture – AMBA AHB BUS modules mast ctrl_sign hgrant[ ] hmaster selector hreq[ ] hready address hwdata N hreq N hrdata hgrant hready Address and control mux N mast[ ] haddr hmaster ctrl_sign address[ ] N Write data mux N mast[ ] hwdataout hmaster N hwdata[ ] selector Read data mux N hsel[ ] hrdata N hready haddr hsel[ ] readdata[ ] N decoder arbiter haddr hwdataout hsel hmaster ctrl_sign readdata ready AHB I/F slave module AHB I/F master module

11. Master #1 Master #2 Master #N SLOT DURATION Master #4 Master #1 Master #4 Master #3 Master #1 Master #2 ARBITRATION ALGORITHMS • TRE DIFFERENTI POLITICHE • DI ARBITRAGGIO : • TDMA • Round robin Master #2->N Round robin • SLOT reservation Master #1 SLOT RESERVATION

12. STbus – Shared Bus

13. STbus – Full Crossbar

14. STbus – Partial Crossbar

15. Read on AMBA bus

16. Read on STbus

17. Protocol differences

18. Comparison

19. B T1 T3 T2 E Mapping applications to MPSoCs • Utilizzo dell’hardware come supporto alla comunicazione? • QoS o Best Effort? • Primitive per la comunicazione tra i task e i processori. • Programmazione parallela. Applications Abstract Parallel architecture M IO PE NoC PE M PE

20. Programming abstractions • Modello di programmazione: • Seriale:il programmatore non vede alcun tipo di parallelismo. • Parallel: multiple threads/tasks • Shared memory: comunicazione attraverso una memoria condivisa • Message passing: comunicazione in messaggi

21. Shared Memory • COMUNICAZIONE ATTRAVERSO SPAZIO DI MEMORIA CONDIVISA

22. Distributed Memory • COMUNICAZIONE ATTRAVERSO SCAMBIO DI MESSAGGI

23. REAL TIME EMBEDDED OS • Sistema operativo RTEMS: • Compatibile con lo standard POSIX. • (primitive di sincronizzazione e comunicazione tra task). • Multitasking. • Supporto multiprocessore (MIMD). • Applicazioni per un numero scalabile di processori. • Comunicazione tra i processori: memoria condivisa come canale di comunicazione, message passing a livello applicativo. Le comunicazioni originano traffico Transazioni sul bus Impatto sulle prestazioni del sistema

24. IMPORTANT POINTs: - RTEMS implementa un modello multiprocessore MIMD - Ogni processore è visto dal S.O come un nodo unico - Possibilità di definire oggetti con visibilità locale e globale - Ogni processore ha due tabelle degli Oggetti: • Una per gli oggetti (sia locali che globali) • istanziati sul processore • Una per gli oggetti globali (uguale per tutti i processori)

25. Canale di comunicazione nodo A nodo B Users Tasks Users Tasks RTEMS RTEMS MPCI Layer MPCI Layer COMUNICATION SCHEME

26. User task Canale di comunicazione RTEMS MPCI Layer 1 2 4 6 GET_PACKET SEND_PACKET 3 Rilascia un pacchetto Invia il pacchetto Attraverso il canale Rtems_event_send Si accorge che è un task globale Costruisce il messaggio per l’altro processore

27. Sull’altro nodo … User task RTEMS Canale di comunicazione Sente l’arrivo del pacchetto e chiama la rtems_multiprocessing_announcing 7 9 10 RECEIVE_PACKET Legge dal canale E inoltra il messaggio Al S.O 8 Manda il messaggio Al Task MPCI Layer

28. User task Rtems_message_send RTEMS GET_PACKET build the message MPCI Layer write to interrupt slave HARDWARE SIDE PROC #X SHARED BUS SHARED MEMORY INTERRUPT SLAVE #Y PROC #Y

29. Application level Semaphore Acquisition Shared Memory Write Interrupt Send Semaphore Realise PROC #X SHARED BUS INTERRUPT SLAVE #Y PROC #Y WITHOUT OS SUPPORT SEMAPHORE SHARED MEMORY

30. MPARM ARM ARM ARM ARM INTERRUPT CONTROLLER INTERCONNECTION or AMBA STbus PRI MEM 1 PRI MEM 2 PRI MEM 3 PRI MEM 4 SHARED MEM SEMAPHORES

31. The simulations are cycle accurate (~ 24 Kcycles/sec) The processing element bus master SystemC wrapper BUS SWARM external int • SWARM accurato al ciclo di clock; • Il wrapper e’ un Modulo SystemC; • Le Memorie e tutti gli altri slave sono Moduli SystemC

32. Scratch bus master DMA Object table BUS Development of a DMA SystemC wrapper bus master SWARM BUS Core external int I/D cache

33. ARM DMA control Object table DMA transfer bus master BUS HARDWARE DETAIL Scratch-pad Memory DMA

34. Portable systems become multi-tasked • Le nuove generazioni di terminali mobili (telefoni, PDA, ...) offriranno un’ampia gamma di applicazioni: • GSM, Agenda, JPEG, MP3, SMS, Email, Fax, Internet, Giochi • Molte di queste sono applicazioni dinamiche decise dall’utente e prevedono un ampio utilizzo di dati... • Le case produttrici credono nella possibilità di avere sistemi operativi in grado di supportare efficientemente tale dinamismo. • E.g. Symbiant, Embedded Linux, RTEMS

35. Round robin scheduling • Scheduling di tipo preempitive permette di rispondere piu’ efficientemente alle caratteristiche Real Time. • Quanto incide tutto cio’ sul consumo energetico? New task Task stopped time

36. Let’s quantify the effect of multi-threading on the memory • Tenuto conto di un’architteture attuale (per sistemi embedded!) con 4kB data cache e 4kB Instruction cache. • Esecuzione seriale: 69784 DC misses • Esecuzione in round robin: 85931 DC misses (timeslice 1mS) 5 task interleaved

37. BENCHMARK La scratch-pad memory consuma meno energia perché é una semplice memoria • Come caricare i dati nella scratch: • Al boot => HW di controllo che riconosce se un dato è nella scratch; • Inserendo chiamate all’interno del codice quando si accede ai dati più critici; X =

38. Proc.1 Proc.2 Proc.3 PUNTO DI SINCRONIZZAZIONE FLUSSO D’ESECUZIONE • Task mutuamente dipendenti; SHARED BUS • 2. Task indipendenti; Private Mem.1 Private Mem.2 Private Mem.3 3. Task in pipeline; SCAMBIO DI DATI COMUNICAZIONE TRA PROCESSI PERFORMANCE ANALYSIS Tre differenti benchmark che rappresentano tre diversi tipi traffico sul bus:

39. MUTUALLY DEPENDENT TASKS RTEMS bootstrap con 5 processori • Prestazione misurata: Tempo d’esecuzione • Slot reservation ha le prestazioni migliori per via del carico non bilanciato. • TDMA alloca la banda in modo non efficiente.

40. INDIPENDENT TASK

41. TASK IN PIPELINE • Prestazione misurata: NUMERO DI MATRICI ELABORATE AL SECONDO • Slot reservation converge asintoticamente al round robin • Le prestazioni del TDMA sono quasi invarianti all’aumentare della slot • Basse prestazioni del TDMA

42. INDIPENDENT TASK Cosa succede nel TDMA con valori di slot piccoli? • La durata della slot uguale al tempo di un ciclo di burst da valori ottimali per il TDMA • Per slot più piccole overhead di terminazione di un burst (early bus termination).

43. Producer Consumer Bus access Bus access Bus access Bus access Crea una coda nella sua mem. Scrive un messaggio nella coda Richiede un messaggio Bus access Bus access Interrompe il producer Legge la richiesta nella mem. condivisa Bus access Scrive il msg. nella shared Interrompe il consumer Legge il msg. dalla shared Bus access Questo meccanismo di hand-shake non è efficientemente supportato dal TDMA TASK IN PIPELINE Implementazione del meccanismo di comunicazione ad alto livello:

44. Comparison - 1

45. Comparison - 2