视频图像处理

1. 视频图像处理

2. 相机模块 • Camera module 主要的组成部分由：lens和Sensor IC，其中有些Sensor IC是集成了DSP，有些是没有集成DSP，没有集成DSP的module需要外部外挂DSP。

3. 相机镜头 • 镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几片透镜组成，一般可分为塑胶透镜（plastic）或玻璃透镜（glass）。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。 • 通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即：1P、2P、1G1P、1G2P等），对成像质量有很大影响！

4. 相机芯片 • 在摄像头的主要组件中，最重要的是图像传感器了，因为感光器件对成像质量的重要性不言而喻。 • Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAW DATA数据。要想将每个像素的RAW DATA数据还原成三基色，就需要ISP来处理。

5. 处理芯片 DSP结构框架: (1). ISP（image signal processor）（镜像信号处理器） (2). JPEG encoder（JPEG图像解码器） ISP的性能强大是决定影像流畅的关键，JPEG encoder的性能也是关键指标之一。而JPEG encoder又分为硬件JPEG压缩方式，和软件RGB压缩方式。DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。 • 如果集成了DSP，则RAW DATA 数据经过AWB、color matrix、lens shading、gamma、sharpness、AE和de-noise处理，后输出YUV或者RGB格式的数据。

6. 相机工作过程 • 外部光线穿过lens后，经过color filter滤波后照射到Sensor面上， Sensor将从lens上传导过来的光线转换为电信号，再通过内部的AD转换为数字信号。如果Sensor没有集成DSP，则通过DVP的方式传输到baseband，此时的数据格式是RAW RGB。

7. OV7670

8. OV7670

9. 视频记录 • 摄像头将光信号转换成电信号编码为YUV422或者YUV420送给视频编码芯片。视频编码芯片将接收到的视频信号进行数字压缩编码为H.263、H.264、MPEG4等格式。CPU将压缩后的数字信号进行操作，使其数据存入存储器或者显示在显示器上。

10. 视频压缩 • 视频压缩算法是通过去除时间、空间或者频率域的冗余来实现的。左图中在高亮区域图像的变化很小，其冗余度很大。中图和左图是同一帧画面，去除某些高频成分。因为人眼和大脑对低频成分更加敏感，所以一些高频信息被去除并不影响这幅图被识别。而右图是左图下一帧的画面。这些画面序列是按照每秒25帧的速度拍摄的。所以在1/25秒的间隔内，相邻的2副图帧有小小的差别，大部分内容保持不变。通过去除这些冗余，就可以明显的压缩数据，但是代价是一部分图像信息丢失。

11. 视频播放 • 运动图像是通过在一个矩形窗口中以一定时间间隔连续拍照进行捕获，将这一组帧序列回放就产生了运动效果，越高的频率（帧率）采样，得到的视频越自然，同时也有更多数量的信号需要存储。 • 10f/s: 使用在低码率的视频通信，运动时会出现明显的跳跃和不自然 • 10-20f/s：使用在低码率的视频通信，此时图像较平滑，但快速的运动会出现明显的跳跃和不自然 • 25-30f/s：电视图像标准 • 50-60f/s：会有非常自然的运动效果，但是代价是需要很高的带宽。

12. 空间采样 • 颜色空间是颜色集合的数学表示。三个最常用的颜色模式是： • RGB颜色空间（用于计算机图形学中） • CMYK颜色空间（用于彩色打印） • YUV颜色空间（用于视频系统中）

13. RGB颜色空间 • 红、绿和蓝（RGB）颜色空间广泛应用于计算机图形学和显示器。红绿蓝是三种基本的加性颜色（各个颜色成分相加来形成所需的颜色）。它是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的 。右图是用笛卡尔坐标系统来表示颜色空间。

14. CMYK颜色空间 • 印刷色彩模式，是一种依靠反光的色彩模式。基于油墨的光吸收/反射特性。眼睛看到报纸图画的颜色实际上是其吸收白光中特定频率的光而反射其余的光的颜色。CMYK代表印刷上用的四种颜色，C代表青色，M代表洋红色，Y代表黄色，K代表黑色。因为在实际引用中，青色、洋红色和黄色很难叠加形成真正的黑色，最多不过是褐色而已。因此才引入了K——黑色。黑色的作用是强化暗调，加深暗部色彩。 RGB颜色空间与它的区别是，前者是“加色原则”，后者是“减色原则”；前者使用在显示器、投影仪等设备，后者使用在各色塑料、画布、印刷品 等。

15. YUV颜色空间 • YUV颜色空间是三大复合颜色视频标准所采用的颜色空间。它的 Y 分量决定了颜色的明亮度（也有说是光亮度或者明度），U 分量和 V 分量决定了颜色本身（色度）。Y 分量的取值范围是 0 到 1（或者数字值 0 到 255），U 分量和 V 分量的取值范围是 -0.5 到 0.5（或者有符号数字值 -128 到 127，无符号数字值 0 到 255）。下面这幅图展示的是YUV 颜色空间立方体，从暗面（Y 分量 = 0）看过去。注意中间那个全黑的位置，那里 U 分量和 V 分量的值都是 0，Y 分量的值也是一样。

16. YCbCr颜色空间 • YCbCr颜色空间是YUV颜色空间的一个分支。因为人类视觉系统对色度的敏感程度低于亮度，所以可以用比Y更低的分辨率来存储CbCr。这样可以减少大量数据的同时对视觉质量没有明显的影响。YCbCr有几种采样格式，例如4：4：4、 4：2：2、 4：2：0等。

17. 4：4：4YCbCr格式 • 4：4：4YCbCr格式就是YUV444采样。它是指每一分量（Y,Cb,Cr）都有相同的分辨率，因为都在所有的像素位置上进行了采样。数字表示的是每一部分在水平方向上的相对采样频率。例如，每4个亮度点对应4个Cb和4个Cr。4:4:4保留了所有的色差分量。每个像素点的各颜色分量需要8位数据，合计是24位。

18. 4：2：2YCbCr格式 • 4：2：2YCbCr格式就是YUV422采样。它是指色差在垂直方向的分辨率与亮度相同，而水平方向只有一半，即例如，每4个亮度点对应2个Cb和2个Cr。每个像素点的各颜色分量需要8位数据，合计是16位。

19. 4：2：0YCbCr格式 • 4：2：0YCbCr格式就是YUV420采样。它是指色差在垂直方向和水平方向的分辨率都只有亮度的一半。即例如，每4个亮度点对应1个Cb和1个Cr。每个像素点需要12位数据。