ESE22 "Formation, Capture et Restitution d’images"

1. ESE22 "Formation, Capture et Restitution d’images" Systèmes d’imagerie VISIBLE & Télévision

2. Sommaire • Première partie • Propriétés de l’œil humain • Les standards de télévision • Prise et restitution d’image • Fonctionnement des CCD • Seconde partie • Fonctionnement des CMOS (APS) • La couleur • Intensificateurs de Lumière (I.L.) • Memo de photométrie

3. I. Œil humain Physiologie Sensibilité Résolution Synthèse

4. I. Œil humain Physiologie Sensibilité Résolution Synthèse

5. Rétine 1. Propriétés de l’œil humain • Adaptation à l’éclairement : • Contraction / dilatation de l’iris • Modification du diamètre de la pupille Physiologie • Cellules visuelles : • Cônes (x 6 à 7 M): visioncolorée • mais seulement par fort éclairement • Batônnets (x100M):vision achromatique même par faible éclairement

6. L() 1. Propriétés de l’œil humain Sensibilité • Vision de jour (grâce aux cônes) : courbe photopique Max à  = 0.56µm (vert - jaune) • Vision de nuit (grâce aux bâtonnets) : courbe scotopique Max à  = 0.51µm (bleu - vert)

7. 1. Propriétés de l’œil humain Résolution • Pouvoir de résolution moyen: env.1min d’arc Vision exprimée en 10ième: 1/résolution:10/ 10ième 1’ d’arc14/ 10ième 0.7’ d’arc • Champ de visibilité à bonne résolution <2° (120min d’arc) Test d’acuité visuelle

8. II. Prise et restitution d’image • Chaîne image • Origine du standard vidéo • Divers standards vidéo et TVHD • Histoire de la prise d’image 5. Concept capteurs

9. 1. Chaîne image • Optique Collectrice de flux • Détecteur Absorbe les photons et génère des électrons puis les convertit en tension • Unités de traitement et de mise en forme de l’image • Système de visualisation

10. 4 Format image = 4/3 5 3 2. Origine du standard vidéo FORMAT IMAGE • Vision binoculaire  Choix d’un format rectangulaire horizontal • Limitation technologique des premiers imageurs (tubes circulaires VIDICON) et compatibilité avec le standard cinéma (carré à l’origine) • L'académie américaine du cinéma (Academy of Motion Picture Arts and Sciences) définit en 1929 un nouveau standard, plus esthétique qu'un format carré, : le format 1,375:1 géométriquement exact, 4 sur 3 retenu dans la projection, appelé format « Academy ». (Resté en vigueur jusqu'aujourd'hui!)‏

11. IMAGE TV rétine H fovéa D = 4 H Oeil 2. Origine du standard vidéo Caractéristique typique de la vision • Vision confortable si la distance d’observation D : D = 4x Hauteur de l’image observée  dimension angulaire totale de l’image (arctg(1/4)= 14° (840 ’ d ’arc) Résolution angulaire 1’ d’arc (1/60°) Angle de vision à bonne résolution < 2° (120 ’ d ’arc)

12. 2. Origine du standard vidéo NOMBRE DE LIGNES RETENU : • Dans toute portion de champ visuel de 2° : Résolution angulaire de l’œil = 1’ d’arc  Résolution de l’œil = 1/800 de la hauteur d’image  Pour ne pas voir la structure lignée de l’image : choix d’un nombre de lignes voisin de 800 1ères TV en France à 819 lignes standard SECAM • Par expérience : 500 lignes suffisent (structure des lignes visible mais non gênante) Compteur par tubes triode 625 lignes  standard PAL

13. 2. Origine du standard vidéo FREQUENCE DE RAFRAICHISSEMENT (Image rafraîchie périodiquement) • Tubes à rayons cathodiques (TRC) Choix de fréquence de rafraîchissement égale à la fréquence du secteur, multiple ou sous-multiple Choix en Europe : 50 ou 25 images/seconde • Phénomène de papillotement : Pour un niveau lumineux de l’écran donné, existence d’une fréquence critique de rafraîchissement en deçà de laquelle l’œil perçoit un papillotement

14. Hz Courbes valables pour un champ de vue étroit, et une rémanence d’écran du type TV couleur à TRC 70 60 Le papillotement n ’est pas visible Fréquence critique d’apparition du papillotement (Hz)‏ 50 40 30 Le papillotement est visible 20 Cd/m² 1 100 0,1 10 1000 Luminance de l’image (Cd/m2)‏ 2. Origine du standard vidéo • Phénomène de papillotement (suite) Vision confortable pour une luminance 100 Cd/m2 Fréquence de rafraîchissement minimale = 50Hz

15. 2. Origine du standard vidéo BANDE PASSANTE • Restriction de la bande passante allouée par le CCIR* pour la transmission TV à 6MHz contre les env. 12MHz nécessaires (Nb lignes x Nb colonnes x fréquence trame) • Conséquence : Fréquence image de 50Hz trop rapide pour la techno et la BP Invention du balayage entrelacépermettant de diviser par deux la bande passante vidéo *Comité Consultatif International des Radio-télécommunications aujourd’hui nommé UIT-R (Unité Internationale des Télécommunication)

16. Début trame paire Début trame impaire Début trame paire Fin trame impaire Fin trame paire Fin trame paire 2. Origine du standard vidéo ENTRELACEMENT de deux trames Image (Frame) Trame paire (Odd field) Trame impaire (Even field)

17. 2. Origine du standard vidéo ENTRELACEMENT • Avantages : • Bien adapté aux TRC, grâce à la rémanence du tube Effacement progressif (ligne par ligne) de chaque trame avant l’arrivée de la trame suivante • Répond aux contraintes de limitations technologique et de bande passante limitée • Inconvénients : • Rémanence de scène à défilement rapide • Distorsions des incrustation de caractères alphanumériques Exemple de l'effet de peigne sur un travelling latéral. L'image du bas, progressive, n'a pas ce défaut

18. 3. Standards vidéo • Standard Européen pour la télédiffusion (Entrelacement d’ordre 2 à 50Hz • Standard industriel américains haute résolution • (Norme EIA : RS 343A) : Entrelacement d’ordre 2 à 60Hz • Standard défini pour applications médicales et avioniques • (observateurs plus proche de l’écran)

19. 3. Standards vidéo Télévision haute définition • Désir d'accroitre les dimensions de l'image sans modifier la distance d'observation (gain > 22%) • Les travaux commencent en 1968 au Japon • Consensus international sur le doublement de la résolution (625 lignes -> 1080 et un format de 16/9 en 1980 • Longue attente: • Développement nécessaire des techniques et équipements de production • Etablissement de la crédibilité du téléviseur HD • Incompatibilité avec le parc existant • .... • Le déblocage: • Révolution dans la micro-électronique (grandes matrices de photo-détecteurs, écrans TFT, ...)‏ • Révolution dans les algorithmes de traitement d'image • ....

20. 3. Standards vidéo • Progressive vs Interlaced scan? • Les normes vidéo modernes de la télévision numérique ont abandonné l'entrelacement au profit de techniques d'affichage par défilement progressif • La numérisation de l'image et sa transmission ont été rendues possibles grâce aux progrès de la compression. La compression doit rendre le flux compatible avec le débit de la transmission, sans détériorer l'image de manière visible • La TNT reposait initialement sur l'emploi de la norme MPEG2. Cette norme ne permet pas d'utiliser la haute définition avec la bande passante de la TNT. • L'avènement de chaînes en MPEG4 permet depuis fin 2008 de profiter de la haute définition sur la TNT • LES DIFFÉRENTES RÉSOLUTIONS DE L'IMAGE TÉLÉVISÉE • CodeQualitéRésolutionpixels/image • 480i SDTV 720x483 236.544 Entrelacé • 480p EDTV 720x483 337.920 Progressif • 720p HDTV 1280x720 921.600 Progressif • 1080i HDTV 1920x1080 2.073.600 Entrelacé • 1080p HDTV 1920x1080 2.073.600 Progressif

21. 3. Standards vidéo HD ready, HD TV, True HD, Full HD, HD Ready 1080p, HD TV 1080p, ……. HD ReadLe label HD Ready, le plus ancien (19 Janvier 2005), disparaît progressivement. Depuis décembre 2008 les TV doivent obligatoirement intégrer un tuner TNT HD (MPEG4), ce que le label initiale HD Ready n'obligeait pas. Une TV LCD (ou plasma) est labellisée HD Ready quand elle est :- 16:9 : Un format visuel en 16:9- HDMI : Présence d'une entrée numérique HDMI (High DefinitionMultimedia Interface) ou DVI (entrée HD) - HDCP : Entrée(s) numérique(s) compatible(s) HDCP (protection des données contre la copie des films Blu-Ray :High Bandwidth Digital Content Protection)- YUV : Présence d'une entrée analogique YUV (CCIR 601), modèle de représentation de la couleur dédié à la vidéo analogique. - 720lignes :Résolution d'au moins 720 lignes (format HD), soit couramment 1280x720 ou 1366x768- 720p/1080i:Accepter des flux vidéo en 720p (progressives) et 1080i (entrelacées) en 50/60 Hz.

22. 3. Standards vidéo HD TV 1080p Défini depuis Septembre 2007 avec le label HD Ready 1080p, une TV LCD (ou plasma) est nommée HD TV 1080p quand elle est :- - HD Ready: toutes les contraintes du label HD Ready Avec en plus : - 1080 lignes : Résolution d'au moins 1080 lignes, soit couramment du 1920x1080- 1080p : Accepte des flux HD 1080 lignes entrelacés et progressifsen 50/60 Hz- 24Hz : Accepte des flux HD 1080 lignes progressifs en 24 Hz - TunerHD : Présence d'un tuner HD compatible MPEG4, pour recevoir les flux vidéo HD (720p ou 1080i) • Depuis fin 2008 nous pouvons recevoir des chaînes TNT HD gratuites en MPEG4. • Le format théorique généralisé en France et en Europe est le 1080i (mais ce n'est pas une obligation, cela pourra être également en 720p).

23. IV. Prise d’image • Photographie de l’histoire de la technologie • Concept physique de la détection • Flash sur le tube de prise de vue (VIDICON)‏ Correspond à la caméra de télévision traditionnelle à tube • Concept cellulaire du capteur d’image à l’état solide

24. CMOS Mega pixels High perf MICRON SONY FAIRCHILD etc... Thomson-CSF General Electric (CID)‏ Fairchild RCA 256x256 Foveon (CMOS)‏ 4096x4096 Thomson-CSF 576x768 Sony 576x500 Fairchild 100x100 Brevet CCD Philips et Bell Labs 10x10 1991 2001 >= 2008 1976 1974 1969 1985 1. Histoire de la prise d’image Domination des tubes Domination de l'état solide Iconoscope Image-orthicon Vidicon Plumbicons Qualité des CCD > celle des tubes CMOS

25. 2. Concept physique de la détection Effet photo-électrique : génération d’électrons, lorsqu’un matériau est exposé à un flux lumineux d ’énergie suffisante hc/ > Ec-Ev

26. 2. Concept physique de la détection • Effet photo-électrique (suite) • L'absorption d'un photon permet à un électron de franchir le gap entre bande de valence et bande de conduction • Transition possible si l’énergie du photon est supérieure au gap : hc/ > Ec-Ev • Ec : niveau d ’énergie minimum de la bande de conduction • Ecv : niveau d ’énergie maximum de la bande de valence • h : constante de planck • c : vitesse de la lumière •  : longueur d’onde de la lumière incidente • Pour le Silicium Ec-Ev= 1.12eV  Coupure haute : lc<1.1µm

27. 3. Flash sur le tube de prise de vue • Les tubes de prises de vues: • Technologies obsolètes VIDICON (1950) Ampoule de verre servant d'enceinte à vide, contenant: • Une cible constituée par couche photo conductrice (trisulfure d'antimoine ou silicium déposée au dos d'une face de verre ou de quartz) dont la conductivité augment avec l’exposition lumineuse • Un faisceau d'électron utilisé pour lire l'image électrique formée sur la couche photoconductrice

28. Photons Poly-Si = électrode transparente photons SiO2 (isolant) poly-Si n+ + - zone de charge d'espace + Si = substrat (Semi-conducteur) + + + + + Si - p 4. Concept cellulaire du capteur • Photodiode Photogate • Jonction polarisée en inverse • Une zone de charge d'espace se développe autour de la jonction • Un champ électrique réalise la séparation des porteurs • Si la couche N suffisamment fine en surface, les photodiodes ont une meilleures sensibilité dans le bleu que les photoMos et conviennent mieux aux applications couleur • CCD interlignes • Actives Pixels Sensor • Application d’un potentiel sur l’électrode semi-transparent • Création d’un puits de potentiel • Traversée de l’électrode par les photons et génération de paires électrons-trous dans le substrat (effet photo-électrique)‏ • Electrons piégés dans le puits de potentiel • CCD transfert de trame • Actives Pixels Sensor

29. 2. Intégration (ex: photogate) E

30. 4. Concept cellulaire du capteur Capteur d’image : Matrice constituée de plusieurs centaines de milliers de récepteurs photo-sensibles (photodiode ou photogate), appeléspixels(Picture Element) Les sorties électrique des récepteurs sont multiplexées pour former un signal vidéo CCD La résolution de l'image est liée au nombre de photosites: de 350 000 pour une résolution VGA de 640x480 à 3.3 megapixels pour 2048x1536 , voire plus.

31. IV. Fonctionnement des CCD • Introduction • Intégration • Transfert • Multiplexage Matriciel • Architectures • Étage de Sortie • Pour aller un peu plus loin • Mode d’entrelacement • Artéfacts

32. 1. Introduction CCD = Charge Coupled Device (DTC : Dispositif à Transfert de Charges) Deux étapes dans la capture d’images: • INTEGRATION Absorption des photons incidents pendant une durée donnée, et génération de paires d’électrons-trous Accumulation des électrons (ou trous) dans un « puits de potentiel » • LECTURE Transfert des charges de chaque pixel de proche en proche CCD

33. 3. Principe du Transfert V2 V1 V3 V2 V3 V1 V3 V2 V1 V Fermeture du puits de potentiel sous V2 Ouverture du puits de potentiel sous V3 Amorce du transfert des charges électriques Transfert de charges terminé

34. HORLOGES S E HORLOGE E Sn S1 S2 HORLOGE S En E1 E2 3. Transfert Registres à décalage • Ligne à retard • Démultiplexeur t • Multiplexeur (Registres à décalage de lecture CCD)

35. O O A A A A U U U U U U E E E E E E M M R R J J G G N N V V 4. Multiplexage matriciel N registres verticaux et 1 registre horizontal = matrice CCD Acquisition image Lecture Matrice CCD Chargement dernière ligne dans Registre horizontal • A chaque cycle d’horloge verticale (Fv): • Transfert de l’ensemble des charges d’une ligne vers la ligne suivante • Transfert des charges de la dernière ligne de la matrice vers le REGISTRE HORIZONTAL

36. M O O A A U U U U A E E M V E E R R J J G G N U N A E 4. Multiplexage matriciel Registre horizontal Etage de sortie Sortie dernière ligne par Registre horizontal • A chaque cycle d’horloge horizontale(Fh  Fv x Nb lignes) : • Transfert des charges dans le registre horizontal • À la sortie du registre, transfert des charges vers l’ETAGE DE SORTIE puis conversion du nombre d’électrons en tension électrique

37. Mode entrelacé ou non • Avec ou sans contrôle de la durée d’intégration • Rapidité de lecture • Résolution 5. Architectures Deux zones distinctes: • La ZONE SENSIBLE Lieu de conversion photon-électrons et d’intégration temporelle des charges • La ZONE MEMOIRE / de TRANFERT Lieu de transfert et stockage des charges en vue de leur « lecture » par l’étage de sortie Choix d’architecture de CCD tributaire de l’application : • Photo • Vidéo

38. 5. Architectures 3 grandes architectures : • CCD Pleine trame (Full Frame CCD) • CCD Transfert de trame (Frame Transfer CCD) • CCD Transfert interligne (Interline Transfer CCD)

39. 3. Architectures CCD Pleine trame: Pas de zone mémoire (Full Frame CCD: FF)‏ Lecture via cellules photosensibles 1/ Transfert d’une ligne complète vers le registre horizontal (RH)‏ 2/ Décalage dans le RH vers l’étage de sortie INTEGRATION Zone photo-sensible Registre de sortie

40. 3. Architectures CCD Pleine trame (suite) Zone sensible  zone de transfert • Utilisable uniquement en mode « PHOTO » (une seule acquisition) • Avantages : • Grande taille de surface sensible • Temps d’intégration élevé mais modulable  Sensibilité et dynamique élevées • Inconvénients : • Temps d’intégration nécessairement long ou utilisation d’un obturateur mécanique • Cadence vidéo impossible

41. 3. Architectures CCD Transfert de trame: Zone mémoire avant lecture (Frame Transfer CCD: FT)‏ INTEGRATION puis transfert rapide en zone mémoire 1/ Transfert rapide de la zone sensible vers la zone mémoire aveugle 2/ Intégration suivante + lecture de la zone mémoire INTEGRATION Zone sensible Zone mémoire RH

42. 3. Architectures CCD Transfert interligne: Zone mémoire associé à chaque pixel (Interline Transfer CCD: IT)‏ INTEGRATION puis LECTURE rapide 2/ Intégration suivante + lecture de la zone mémoire 1/ Transfert rapide de la zone sensible vers la zone mémoire INTEGRATION Zone mémoire Zone sensible

43. 3. Architectures CCD à Transfert (de trame, interligne ou transfert interligne de trame) Zone sensible et zone mémoire aveugle séparées • Intégration et lecture simultanés POSSIBLE • Utilisable en mode vidéo • Avantages : • Obturation mécanique NON nécessaire • Cadence élevée possible • Inconvénients : • CCD à transfert de trame : doublement de la taille du capteur à définition égale • CCD à transfert interligne : perte en surface de zone sensible

44. 5. Architectures Éclairage Face Arrière (= Backside Illuminated) Front SideIlluminated Back SideIlluminated Exemple : Fairchild CCD486

45. 6. Étage de sortie Vref CL 1- Fermeture de Q1 (Reset) : Précharge de la diode flottante CL  Vref 2- Ouverture de Q1 :Potentiel de la diode flottante diminue et « flotte » 3- Fermeture de la porte de transfert « fG »: Transfert des charges vers la diode flottante « CL »:  Potentiel de la diode diminue d’une quantité V équivalente à la charge Q 4- Lecture de ce potentiel par un ampli de tension suiveur

46. 6. Étage de sortie L2 R 1erEch 2emeEch Vout Reset Diode Flottante Signal Utile: (2emeEch- 1erEch) Durée d’un pixel Double échantillonnage corrélé: suppression du bruit associé à l’initialisation de la diode flottante

47. 7. Pour aller un peu plus loin Colonnes masquées pour la génération d’une référence par ligne

48. 7. Pour aller un peu plus loin : EMCCD Architecture (TEXAS, E2V) • Transfert de trame • Interligne-transfert de trame • Multiplication par avalanche en sortie (G1.02/étage) • 400 (G~2800) à 700 (G~106) étages de multiplication

49. 7. Pour aller un peu plus loin : Comparaison de technologies L’optimum dépend du bruit du capteur CCD/CMOS Les progrés des capteurs permettent de le diminuer Selon ANDOR !

50. 8. Modes d’entrelacement Deux modes de lecture: • Mode progressif: • Lignes de pixels lues séquentiellement • Développé pour des applications scientifiques, indépendantes des standards vidéo • Mode entrelacé • Lecture alternée des lignes paires et impaires • Compatibilité standards TV