1 / 33

基于多帧融合的视频超分辨率技术研究

VIP. 本科生毕业答辩. 基于多帧融合的视频超分辨率技术研究. 报告人：卓 越 导 师：刘家瑛 冯速. 2012.5.18. 内容安排. 研究背景和问题难点 问题的提出 问题难点及相关研究 论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的 超分辨率 总结及未来工作 主要工作总结 未来工作. 内容安排. 研究背景和问题难点 问题的提出 问题难点及相关研究 论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率 总结及未来工作 主要工作总结

miranda-harvey
Download Presentation

基于多帧融合的视频超分辨率技术研究

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. VIP 本科生毕业答辩 基于多帧融合的视频超分辨率技术研究 报告人：卓 越 导 师：刘家瑛 冯速 2012.5.18

  2. 内容安排 • 研究背景和问题难点 • 问题的提出 • 问题难点及相关研究 • 论文主要工作 • 概述 • 基于隐式运动估计的超分辨率 • 基于显式运动估计的超分辨率 • 总结及未来工作 • 主要工作总结 • 未来工作

  3. 内容安排 • 研究背景和问题难点 • 问题的提出 • 问题难点及相关研究 • 论文主要工作 • 概述 • 基于隐式运动估计的超分辨率 • 基于显式运动估计的超分辨率 • 总结及未来工作 • 主要工作总结 • 未来工作

  4. 问题的提出 • 计算机硬件的发展 • 计算速度、存储容量、显示设备 • 如何解决高分辨率图像获取的问题？ • 硬件方法 • 减少像素大小：采光量减少，产生噪声，工艺极限

  5. 超分辨率重建 • 目标 • 通过软件技术提高图像或视频的分辨率

  6. 理想的超分辨率重建

  7. 应用场景 • 把LR输出到HR设备 • SDTV HDTV • 个人DV视频打印 • 识别细节或有待进一步处理 • 节省资源 • 视频编码方案：HR LR Receiver HR 下采样 编码传输 SR

  8. 问题难点 • 运动估计 • 准确的运动估计很困难：尤其当不仅是全局运动时 • 错误的运动估计会严重影响超分辨率重建结果

  9. 相关研究 • 基于显式运动估计的SR • 联合估计 • 置信掩模（confidence map） • 基于隐式运动估计的SR • 核回归 • 概率运动估计

  10. 内容安排 • 研究背景和问题难点 • 问题的提出 • 问题难点及相关研究 • 论文主要工作 • 概述 • 基于隐式运动估计的超分辨率 • 基于显式运动估计的超分辨率 • 总结及未来工作 • 主要工作总结 • 未来工作

  11. 论文主要工作 显式运动估计 输入低分辨率视频帧 超分辨率重建 输出高分辨率图像 隐式运动估计

  12. 基于隐式运动估计的SR 显式运动估计 输入低分辨率视频帧 超分辨率重建 输出高分辨率图像 隐式运动估计

  13. 概率运动估计的思想 第14帧 第16帧 第15帧

  14. 需要解决的问题 • 搜索窗口 • 固定的搜索 窗口不能捕捉 物体运动 • 相似性度量 • 没有考虑旋转 相似度低

  15. 算法框架 输入低分辨率视频帧 插值 搜索窗口重定位 旋转不变的相似性度量 超分辨率重建

  16. 算法简述 • 重定位搜索窗口 • 采用块搜索的方法 • 旋转不变的相似性度量 • 同时考虑局部结构和亮度 • 用SIFT描述子描述局部结构，每一圈的亮度均值描述局部亮度 • 自适应参数选择 • 平衡结构项和亮度项 • 固定σ2，自适应选择σ1

  17. 实验分析 • 模拟成像过程 • 用3×3 的均一掩模模糊 • 按1:3的比例下采样 • 加入均方差为2的噪声 • 测试输入 • 单帧图像 • 视频序列

  18. Bicubic Original NLM SR ARI

  19. Bicubic Original NLM SR ARI- SWR

  20. PSNR

  21. 基于显式运动估计的SR 显式运动估计 输入低分辨率视频帧 超分辨率重建 输出高分辨率图像 隐式运动估计

  22. 方法提出的动机 • 增加运动估计的准确性 • 特征点匹配具有较高的准确性 • 把特征点的运动转化成整个图像的运动 • 消除运动不匹配区域的影响 • 利用置信掩模并参考图像边缘

  23. 算法框架 输入低分辨率视频帧 插值 特征点匹配 局部仿射参数估计 支持区域搜索 超分辨率重建

  24. 算法简述 • 局部仿射变换参数估计 • 用Lucas-Kanade算法计算每一对特征匹配对(fir, fid)的仿射运动模型参数Ti • 支持区域搜索 • 特征点匹配对(fir, fid)的支持区域Si定义为候选帧Hd内fid周围的区域，这个区域内的所有点都满足运动参数Ti。 • 超分辨率重建 • 根据特征匹配对的运动参数和支持区域提取出Mk和Vk

  25. 实验分析 • 模拟成像过程 • 用3×3 方差为1的高斯掩模模糊 • 按1:2的比例下采样 • 加入均方差为1的噪声 • 测试输入 • 模拟全局运动 • 视频序列

  26. PSNR

  27. 主要内容 • 研究背景和问题难点 • 问题的提出 • 问题难点及相关研究 • 论文主要工作 • 概述 • 基于隐式运动估计的超分辨率 • 基于显式运动估计的超分辨率 • 总结及未来工作 • 主要工作总结 • 未来工作

  28. 工作总结 利用特征点匹配计算局部运动参数，搜索支持区域得到可靠的运动 显式运动估计 输入低分辨率视频帧 超分辨率重建 输出高分辨率图像 隐式运动估计 通过重定位搜索窗口找到潜在相似块，用旋转不变的相似性度量和自适应参数选择方法为每一个块分配一个合理的权值

  29. Thank You！ 欢迎提出意见和建议

  30. Demo ARI-SWR Bicubic

  31. Demo ARI-SWR Bicubic

More Related