基于视频序列的图像超分辨率重建技术研究

1. Research on Video Sequence Based Super-resolution Image Reconstruction Technique 基于视频序列的图像超分辨率重建技术研究 答辩人：姚丽娟 导师：张宁 副教授 北京交通大学硕士学位论文答辩

2. 5 主要内容 研究背景和应用前景 1 退化模型和现有算法 2 Horn-Schunck算法改进和实验 3 归一化卷积技术改进和实验 4 3 序列图像超分辨率重建实验 5 总结 6 5 北京交通大学硕士学位论文答辩

3. 研究背景 光学系统的像差 大气扰动 ？ 图像降质和变形 运动 散焦 系统噪声 北京交通大学硕士学位论文答辩

4. 研究背景 • 图像超分辨率重建技术(Super Resolution, SR) • 低分辨率图像序列彼此之间存在子像素位移的前提下， • 利用低分辨率图像序列之间的冗余信息， • 构造出比其中任何一幅低分辨率图像分辨率都高，能更好地表现图像细节信息的技术。 北京交通大学硕士学位论文答辩

5. 应用前景 军事遥感侦察领域 医学图像处理 SR 监控、侦察领域 图像压缩技术 电容层析成像技术 高清电视 北京交通大学硕士学位论文答辩

6. 图像退化模型 景物相对运动，镜头抖动,平移旋转或其它运动引起的退化 光学镜头的散焦、模糊变换 传感器分辨率限制和图像的压缩 北京交通大学硕士学位论文答辩

7. 基本环节 图像配准 Image Registration 图像插值 Image Interpolation 消除噪声模糊Eliminate Noise and Blurring 北京交通大学硕士学位论文答辩

8. 现有算法 SR 空域算法 非均匀空域样本内插法迭代后向投影法(IBP) 最大后验概率法(MAP) 凸集投影法(POCS) 混合法 正则化法 德洛奈三角剖分 BP人工神经网络法 频率算法 消除频域中的混叠部分，使得图像的分辨率提高 北京交通大学硕士学位论文答辩

9. 图像配准 • 相同或不同时间、相同或不同视角、相同或不同传感器拍摄多幅图像，确定两幅图像或一幅图像和其它参考图像间对应的最佳匹配关系的过程。 基于区域的方法 area-based 基于特征的方法 feature-based 互相关法 傅里叶法 互信息法 最优化法 空间关系法 不变描述符法 松弛法 金字塔法和小波法 北京交通大学硕士学位论文答辩

10. 光流配准 • 光流(Optical Flow)：时变图像中模式运动的速度。 • 光流场(Optical Flow Field)：一种二维瞬时速度场，包含各像点的瞬时运动速度矢量信息。 • 基于光流的图像配准：从序列图像中估算出的各目标的运动信息来确定图像间目标或点的对应关系或相对形变。它是一种连续处理的方法，利用了时空图像亮度梯度来对图像像素点的光流场进行估计。 北京交通大学硕士学位论文答辩

11. 计算简单 较好的结果 总体性能最优 微分 能量 种类 匹配 相位 Text 光流配准 典型代表 Horn-Schunck算法 北京交通大学硕士学位论文答辩

12. Horn-Schunck算法 • 两条假设： (1)图像序列中对应点的亮度不变，(2)光流场在空间上的变化是平滑的。 • 将右式用Taylor公式展开得： • 得到光流限制(OFC)方程： 即： • 矢量形式： 梯度 光流 北京交通大学硕士学位论文答辩

13. Horn-Schunck算法 • 假设(2)光流场在空间上的变化是平滑的。局部区域的变化非常小，相邻点速度的空间变化率为零，表示为： • 同时，根据光流限制方程，用积分式表示： • 考虑到两个限制条件，得到总的约束条件： 是第一项（光流项）相对于第二项（平滑项）的权重系数。 北京交通大学硕士学位论文答辩

14. Horn-Schunck算法 • 使用高斯-赛德尔迭代法，得到Horn-Schunck算法的迭代公式： • 权重系数 和迭代系数n通过实验进行表明： • 权重系数越大，图像的光流场越平滑； • 迭代系数越大，得到的图像光流场越精确。 北京交通大学硕士学位论文答辩

15. 权重系数 北京交通大学硕士学位论文答辩

16. 迭代系数n 北京交通大学硕士学位论文答辩

17. 改进的Horn-Schunck算法 • 修改第k步的迭代系数： • 运动物体的边界处通常具有较大的亮度梯度和较大的速度梯度，选取适当的阈值It和Vt，就可以有效地处理边界处信息。 北京交通大学硕士学位论文答辩

18. 北京交通大学硕士学位论文答辩

19. 归一化卷积图像插值 • 归一化卷积(Normalized Convolution，NC)是一种通过设置基底函数对局部采样模型进行投影的技术。多项式基底函数的归一化卷积等同于一个局部泰勒级数展开式。 • 要在s0的邻域内进行最小化逼近误差: • 采样判定值 表明在s处的可靠性，0表示完全不可靠，1表示非常可靠的数据。 北京交通大学硕士学位论文答辩

20. 归一化卷积图像插值 • 一阶NC产生三个输出：被插值图像，在x轴和y轴的方向导数: • 为多项式基底。 • 逆矩阵是调整非齐次采样信号判定的正则项，因此称这种方法为归一化卷积。 北京交通大学硕士学位论文答辩

21. 改进一：自适应结构函数 • 适用函数是各向异性的高斯核，能够沿着构成图像的结构调整形状和方向，确保只有相似灰度和梯度信息的样本才能被收集。 北京交通大学硕士学位论文答辩

22. 改进一：自适应结构函数 北京交通大学硕士学位论文答辩

23. 自适应结构函数改进NC算法步骤 • 低分辨率图像以亚像素精度配准到参考帧定位的高分辨率网格上，形成非均匀采样数据。 • 使用原算法的固定适用函数，进行第一次归一化卷积插值，得到初始化估计 ，在x轴和y轴的方向导数 。 • 计算样本密度和各向异性测度函数，构造自适应结构函数 ，进行第二次归一化卷积插值，得到超分辨率重建图像。 北京交通大学硕士学位论文答辩

24. 北京交通大学硕士学位论文答辩

25. 改进二：健壮性判定值 • 在s0邻域局部多项式扩展前，设置每个邻域样本的健壮性判定值： 北京交通大学硕士学位论文答辩

26. 健壮性判定值改进NC算法步骤 • 低分辨率图像以亚像素精度配准到参考帧定位的高分辨率网格上，形成非均匀采样数据。 • 采用健壮判定值替代原有的固定判定值，使用原算法的固定适用函数a，进行归一化卷积插值，得到超分辨率重建图像。 北京交通大学硕士学位论文答辩

27. 北京交通大学硕士学位论文答辩

28. 健壮NC 序列图像超分辨率重建实验 获取 改进配准 超分辨率图像 自适应NC 北京交通大学硕士学位论文答辩

29. 结果一 北京交通大学硕士学位论文答辩

30. 结果二 北京交通大学硕士学位论文答辩

31. Vandewalle法配准的IBP 北京交通大学硕士学位论文答辩

32. Keren法配准的POCS 北京交通大学硕士学位论文答辩

33. 本文提出的算法 北京交通大学硕士学位论文答辩

34. 1 2 3 改进基于光流的图像配准Horn-Schunck算法，使用一个可变权值来代替常数。 对归一化卷积技术加入自适应结构函数和健壮性判定值。 改进的Horn-Schunck法光流配准图像，经过健壮结构自适应的归一化卷积法的重建。 总结 北京交通大学硕士学位论文答辩

35. 实验室 老师们 导师 父母 同学 致谢 硕士学位论文 指导、关怀、支持、鼓励 北京交通大学硕士学位论文答辩

36. 请各位老师批评指教! www.themegallery.com 北京交通大学硕士学位论文答辩