Concepts d’architectures avancées

Concepts d’architectures avancées Architectures superscalaires Exécution dans le désordre VLIW( Very Long Instruction Word)

Plan • Introduction – Pipeline • Exécution Out Of Order • Scoreboarding – détails • Tomasulo - principes • Processeurs Superscalaires • Issue In Order vs. Out Of Order • Spéculation – principes • VLIW et Ordonnancement statique

Pipeline Tous les composants sont utilisés • L’exécution du programme est jusqu’à 8 fois plus rapide. • Le temps d’exécution d’une instruction est inchangé.

Quelques problèmes + solutions • Aléas structurels: Augmenter les ressources • Aléas de contrôle: Prédiction de branchement • Aléas de données: Délai + Forwarding • Latence mémoire: Hiérarchie de caches • Instructions multi cycles: Délai • Dans tous les cas on peut résoudre les problèmes par des délais  inefficace

Problème pipeline simple (DLX) • En pratique, les délais sont inévitables • DLX: Un délai bloque tout le pipeline le temps que l’aléa soit résolu • Un seul chemin de données dans le processeur est limitant • Idée: Processeur avec plusieurs chemins de données pour pouvoir exécuter plusieurs instructions indépendantes en même temps • Problème: Comment déterminer si des instructions sont indépendantes ?

RAW (Read After Write): vraie dépendance. WAW (Write After Write): risque d’écriture dans le désordre (fausse dépendance). WAR (Write After Read): risque d’écriture avant lecture, i.e., avant qu’une donnée ait été utilisée (fausse dépendance). Pipeline simple: toutes les instructions sont exécutées dans l’ordre, on ne s’intéresse qu’aux dépendances RAW Si on décidait d’exécuter dans un autre ordre, il faudrait gérer les dépendances WAR et WAW pour être correct Types de Dépendances

Mécanisme pour permettre l’exécution d’instructions indépendantes dès que possible: attention aux WAR et WAW Pipeline avec plusieurs FU indépendantes (- aléas structurels) Les phases ID, EX et WB sont étoffées: ID devient Issue + Read Operands: Issue: Teste si l’instruction courante écrit dans le même registre qu’une instruction déjà dans le pipeline: Non: Pas de dépendance WAW, l’instruction avance si FU libre Oui: Dépendance WAW, instruction bloquée (IF bloqué .. ?) Mise en œuvre: Table retient pour chaque FU le registre destination de l’instruction en cours Cette information est mise à jour quand une instruction entre dans une FU et qu’une autre en sort (phases Issue et WB) Scoreboarding

Scoreboarding: Issue In Order FU1 Read Operand op1 $1$2, $3 op2 $4$6, $2 op3 $1$2, $3 WAW Issue ……… à t = 3 FU2 Read Operand Busy Inst … Dest • op1 affecté à FU1, avance dans OR et FU1Dest est mis à $1 • op2 affecté à FU2, avance dans OR et FU2Dest est mis à $4 • op3 doit attendre que FU1r != $1 pour avancer dans OR (op3 doit aussi attendre qu’une des FU ne soit pas occupée)

Scoreboarding: Issue In Order • Issue : • Affecter les instructions aux bonnes FU le plus tôt possible • Résolution des dépendances WAW • Les instructions sortent de la phase Issue dans l’ordre • On peut recouvrir les latences des instructions multicycles par d’autres instructions tant que les sorties sont indépendantes • Pour issue dans le désordre, il faut un mécanisme compliqué de détection de toutes les dépendances dans cette phase (ex 2)

Scoreboarding: Read Operands • Une instruction dans la phase RO s’exécute sur FU déterminée • L’exécution se fait dans le désordre • Pas d’erreur puisqu’on a garanti qu’il n’y a pas de WAW (pas besoin de se préoccuper de l’ordre d’écriture des registres les uns par rapport aux autres) • Les opérandes sont lus dès qu’ils sont tous disponibles: • Condition: Ne pas lire un opérande avant sa mise à jour. • Remarque: Une seule instruction peut mettre un opérande à jour avant sa lecture (puisqu’on garantit pas de WAW dans le pipeline) • Les dépendances RAW sont résolues dynamiquement • Nécessité d’ajouter des colonnes: • So1Rdy signifie: "So1 prêt et pas encore lu" • Prod1 signifie: "FU qui va produire So1" (si vide, directement registre)

Scoreboarding: Read Operands Read Operand FU1 op1 $1$2, $3 op2 $4$1, $2 op3 $1$2, $3 WAW Issue ……… Read Operand FU2 B Inst So1 So2 So1Rdy So2Rdy Prod1 Prod2 Dest t = 2 • Pour remplir SoRdy, il existe une table non représentée qui trace pour chaque registre qui est son producteur • Cette table permet aussi de tester si une instruction en Issue peut déclencher une erreur WAW • Toute instruction qui fait Issue lit cette table et remplit SoRdy

Scoreboarding: Read Operands Read Operand FU1 op1 $1$2, $3 op2 $4$1, $2 op3 $1$2, $3 WAW Issue ……… Read Operand FU2 B Inst So1 So2 So1Rdy So2Rdy Prod1 Prod2 Dest t = 3 • La lecture des opérandes ne se fait que si So1Rdy ET So2Rdy • A t=3, op1 a lu ses opérandes et op2 est en attente de So1: • NOT(So1Rdy) • Op1 s’exécute (10 cycles)

Scoreboarding: Write Result • Lorsqu’une FU termine son exécution, attention aux WAR op1 $1$2, $3 op2 $4$1, $2 op3 $2$2, $3 10 cycles Exemple: 5 cycles WAR 5 cycles • Avec 3 FU, op3 commence son exécution à t=5 et finit à t=10 alors que op2 attend t=12 pour avoir $1 • Op3 finit le calcul avant op2, op3 n’a pas le droit d’ écrire • Pour qu’une instruction I puisse écrire son résultat: • Aucune instruction J ayant passé Issue ne doit spécifier: • So[i]Rdy(J) ET So[i](J) == Dest(I) • Dans le cas contraire, J a l’un de ses opérandes prêt et ça ne peut pas être le résultat de I qui n’a pas encore écrit … I n’a pas le droit d’écrire

Scoreboarding: Write Result Read Operand FU1 op1 $1$2, $3 op2 $4$1, $2 op3 $1$2, $3 WAW Issue ……… Read Operand FU2 B Inst So1 So2 So1Rdy So2Rdy Prod1 Prod2 Dest t = 12 • A t=12, op1 termine son exécution et passe dans Write • La ligne FU2 va être modifiée puisque NOT(So1Rdy)

Scoreboarding: Write Result Read Operand FU1 op1 $1$2, $3 op2 $4$1, $2 op3 $1$2, $3 WAW Issue ……… Read Operand FU2 B Inst So1 So2 So1Rdy So2Rdy Prod1 Prod2 Dest t = 13 • A t=13, op1 modifie la ligne 2 pour annoncer que $1 est prêt

Scoreboarding: Limites • Dans ce modèle, les FU ne communiquent pas, pas de forwarding • La gestion des producteurs/consommateurs est centralisée (tous les résultats sont explicitement écrits dans les registres) • La phase Issue se fait dans l’ordre, toute dépendance WAW bloque la partie amont du processeur. op1 $1$2, $3 op2 $1$4, $2 op3 $5$1, $3 • La phase WB résout les dépendances WAR en bloquant l’écriture: répercussion sur la lecture des opérandes suivants WAW Scoreboarding inefficace • Il existe un mécanisme décentralisé, plus complexe, bien plus performant, où le forwarding est implicite et permet de résoudre directement les problèmes de dépendances WAR et WAW  Algorithme de Tomasulo

Tomasulo : Principes • Approche qui permet: • Exécution dès que les opérandes sont prêts • Renommage de registres supprime les dépendances WAR et WAW et permet de réordonner les instructions • Les FU communiquent via le CDB (Common Data Bus) • Pour chaque FU: 1 Station de Réservation joue le rôle de scoreboard local pour la FU et contient, en plus, les valeurs des opérandes • L’écriture en phase WB se fait directement dans ces RS via le CDB • L’information "où trouver l’opérande" est calculée dynamiquement et est à jour dans chaque RS  renommage implicite op1 $1$2, $3 op2 $4$1, $2 op3 $1$2, $7 op4 $5$1, $2 op1 $1$2, $3 op3 $T$2, $7 op2 $4$1, $2 op4 $5$T, $2 WAR op3 $1$2, $3 Renommage  Correct

Tomasulo : Principes

Tomasulo : Principes • Issue, prendre la tête du buffer d’instructions: • Si aucune RS n’est disponible, aléa structurel, bloquer la partie amont • Sinon, passer l’instruction à une RS: • Si les opérandes sont disponibles, copier les valeurs dans la RS • Sinon, copier les noms des FU productrices dans la RS (renommage) • Execute: • S’il manque des opérandes, espionner le CDB et récupérer les valeurs • Dès que les opérandes sont prêts, exécuter • Comportement spécial pour Load/Store (calcul @ puis exécution): • Load peut s’exécuter immédiatement (sauf si dépendances) • Store a besoin dune valeur a stocker qui vient des RS • Si Load et Store à la même @, problèmes RAW, WAR, WAW à résoudre • Write Result: • Chaque FU écrit sur le CDB (risque d’aléa structurel) • Stores écrivent en mémoire dans cette phase (dans l’ordre modulo l’@)

Tomasulo : Conclusion/Limites • Beaucoup plus efficace que le scoreboarding mais cher: • RS = Buffer Associatif à très haute fréquence • CDB = Fils d’interconnexions coûteux de capacité limitée • Problème des branchements non résolu  bloquer le pipeline en attendant IF de la bonne instruction (en espérant que le prédicteur de branchements soit bon) • Les dépendances WAR sont résolues grâce à la copie des valeurs des opérandes dans les stations de réservation (en amont de EX) • Il est aussi possible de résoudre ce problème en aval grâce à des buffers dédiés à la sauvegarde de la valeur courante d’un registre op1 $1$2, $3 op2 $4$1, $2 op3 $1$2, $7 op4 $5$1, $2 op1 $1$2, $3 op3 $T$2, $7 op2 $4$1, $2 op4 $5$T, $2 WAR op3 $1$2, $3 Renommage  Correct

Processeur Superscalaire • L’exécution dans le désordre permet d’exploiter le parallélisme d’un programme, CDB limitant • Pour le moment, processeurs avec 1 instruction terminée par cycle. • Superscalaire de degré n: jusqu’à n instructions terminées par cycle (n ~ 4) • Pour réaliser un processeur superscalaire, il faut: • Pouvoir faire IF sur plusieurs instructions en même temps • Pouvoir faire Issue sur plusieurs instructions en même temps • Disposer de plusieurs unités de calcul en parallèle et exécuter en parallèle (Tomasulo)

Issue In Order vs. Out Of Order • In Order: Dès qu’une instruction ne peut pas sortir de Issue, le Front End (partie amont) est bloqué • Out Of Order: Si une instruction ne peut pas sortir de Issue et que la suivante le pourrait, Issue de la suivante • Fenêtre d’instructions en attente d’Issue, résoudre dépendances

Problème Branch / Out Of Order • On s’intéresse aux instructions qui s’exécutent après un branchement • Issue In Order: Attendre le résultat de la comparaison, comparer avec le prédicteur puis Issue des instructions dépendantes  Correct mais inefficace • Issue Out Of Order: Incorrect • Alternative: Ne pas permettre à des instructions contrôle-dépendantes de dépasser un branch  très inefficace à cause de la fréquence des branch (boucles) • Prédicteurs de branchement souvent efficaces (90%+ de bonnes prédiction)  utiliser intelligemment cette propriété

Solution: Exécution Spéculative • Plutôt que de bloquer en amont sur un branch, on va exécuter spéculativement les instructions • Instructions contrôle-dépendantes dont le branch n’est pas sûrement calculé sont exécutées quand même • Elles n’ont pas le doit de faire Write Result tant que le caractère spéculatif n’est pas levé • Ajout d’une nouvelle phase: Commit In Order • Si la spéculation est fausse, on vide le pipeline • Commit assure qu’aucune instruction ne modifie les registres si elle ne le devait pas • Fonctionne sur plusieurs branchements à la suite • Remarque: Exceptions coûteuses interdites en mode spéculatif, on préfère bloquer le pipeline.

Superscalaire dynamique Résumé

Concepts d’architectures avancées