1 / 26

计算机视觉 Computer Vision

计算机视觉 Computer Vision. 艾海舟 20 11 年 3 月. Outline. 课程目标，资料来源，授课方式 … 教材与参考书、作业、课程设计、考核方式 Web sites FTP sources Tools (Intel OpenCV, IPL,…) Demo 相关学科与相关课程的联系 Overview Introduction recommended ： Forsyth’s introduction to CV, other related. 课程目标，资料，授课方式. 目标

aaliyah
Download Presentation

计算机视觉 Computer Vision

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 计算机视觉 Computer Vision 艾海舟 2011年3月

  2. Outline • 课程目标，资料来源，授课方式… • 教材与参考书、作业、课程设计、考核方式 • Web sites • FTP sources • Tools (Intel OpenCV, IPL,…) • Demo • 相关学科与相关课程的联系 • Overview • Introduction recommended：Forsyth’s introduction to CV, other related

  3. 课程目标，资料，授课方式 • 目标 • 全面了解计算机视觉研究领域，掌握基本原理，具有一定的实践能力。 • 资料 • 使用网上公开的资料，挑选、推荐各种资料（ppt,pdf,codes,etc.），并直接使用我认为合适的讲稿进行讲解。 • 授课方式 • 课堂上全面介绍基本原理，引导资料阅读；课后需要学生阅读相关文献，消化理解。如有时间，建议课前预习。

  4. 学习方法的建议 • 根据自己学习本门课程的目的考虑投入时间 • 一般了解、掌握、精通 • 根据自己研究方向有所侧重 • 有选择地专研部分内容 • 将精读与一般了解相协调 • 将建立基础知识与把握当前研究热点相结合 • 结合自己的研究课题加深相关基础知识 • 了解本方向的研究情况，研究趋势等。

  5. 实践：课程设计、专题研究 实践非常重要，CV是实验学科，脱离实践，很难有所收获。 • 课程设计（程序作业） • 可以使用OpenCV工具， • 可以使用Mathlab工具， • 充分利用其他网上资源 • 专题研究 • 结合自己的课题，挑选论文精读， • 实现论文中的方法， • 分析存在的问题，如何解决，如何改进，……

  6. 教材 • 英文原版：Szeliski, Richard, Computer Vision: Algorithms and Applications, Springer, Oct., 2010 • 中文翻译版：艾海舟，兴军亮 等， 《计算机视觉：算法与应用》，2011年 x月（预计2011年内出版）；清华大学出版社 • 英文影印版：DA Forsyth and J. Ponce, Computer Vision: A Modern Approach, Prentice Hall. 1st edition (August 14, 2002) ; 清华大学出版社 • 中文翻译版：林学言，王宏 等， 《计算机视觉：一种现代的方法》，2004年6月；电子工业出版社

  7. 参考书 • 马颂德，张正友，《计算机视觉》，科学出版社，北京，1998。 • R. Jain, R. Kasturi and B. G. Schunck, Machine Vision, McGraw-Hill companies, Inc. 机械工业出版社， 2003.8。 • L.G. Shapiro and G.C. Stockman, Computer Vision, Prentice Hall Inc, 2001. • M. Sonka, V. Hlavac, and R. Boyle, Image processing, analysis, and machine vision , Chapman & Hall Computing, London, 3rd Edition, THOMSON Learning, 2008. • M. Sonka, V. Hlavac, and R. Boyle, (艾海舟、苏延超 等译), 图像处理、分析与机器视觉（第3版），清华大学出版社, 2011.1。 • 章毓晋，图象工程 （第2版），清华大学出版社, 2007.5

  8. 参考书(模式识别与机器学习) • Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.8 • R.O. Duda,P.E. Hart and D.G. Stork, Pattern Classification，机械工业出版社，2003.6。 • R.O. Duda, P.E. Hart and D.G. Stork (李宏东，姚天翔等译) , 模式分类，机械工业出版社，2003.9。 • S. Theodoridis and K. Koutroumbas, Pattern Recognition, 机械工业出版社，2003.9。 • 边肇祺，张学工 等，模式识别，清华大学出版社，2000.

  9. 参考书(图像处理) • R.C. Gonzalez, R.E. Woods，Digital Image Processing, 第三版 (影印) 电子工业出版社& Pearson Education, 2010. • R.C. Gonzalez, R.E. Woods, (阮秋琦、阮宇智等译)，数字图像处理，第二版，电子工业出版社& Prentice Hall, 2003. • 章毓晋，图象工程 （第2版），清华大学出版社, 2007.5 • 郎锐，数字图像处理学Visual C++实现，北京希望电子出版社，2002.12 • 周长发，精通Visual C++图像编程，电子工业出版社，2000.1

  10. 作业、课程设计、考核方式 • 书面作业 • 课程设计 • 考核方式 • 书面作业 10% • 课程设计 60% • 期末考试 30%

  11. Web sites (1)---Search Engine • CVPapers - Computer Vision Resource • http://www.cvpapers.com/ • Google search computer vision • Computer vision homepage • Computer vision online • Computer vision source codes • Computer vision test data • Computer vision …. • Paper search http://www.researchindex.com

  12. Web sites (2)---Courses 计算机视觉 Slides and lectures of Szeliski’s book’s supplementary material • UW455: Undergraduate Computer Vision, http://www.cs.washington.edu/education/courses/455/. • UW576: Graduate Computer Vision, http://www.cs.washington.edu/education/courses/576/. • Stanford CS233B: Introduction to Computer Vision, http://vision.stanford.edu/teaching/cs223b/. • MIT 6.869: Advances in Computer Vision, http://people.csail.mit.edu/torralba/courses/6869/6.869.computervision.htm. • Berkeley CS 280: Computer Vision, http://www.eecs.berkeley.edu/trevor/CS280.html. • UNC COMP 776: Computer Vision, http://www.cs.unc.edu/lazebnik/spring09/. • Middlebury CS 453: Computer Vision, http://www.cs.middlebury.edu/schar/courses/cs453-s10/.

  13. Web sites (3)---Course Ware 计算机视觉”课程的网上课件入口 Computer Vision Education Digital Library Collection • http://cved.org/ • Computer Vision • http://www.cs.washington.edu/education/courses/576/CurrentQtr/ • Introduction to Computer Vision • http://www.cse.psu.edu/~cg486/ • Learning and Inference in Vision • www.ai.mit.educourses6.899

  14. Web sites (4)--- Codes, tutorial,etc. • KLT: An Implementation of the Kanade-Lucas-Tomasi Feature Tracker • http://www.ces.clemson.edu/~stb/klt/installation.html • Epipolar geometry, essential matrix, etc: online tutorial • http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/EPSRC_SSAZ/node18.html • RANSAC • http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FISHER/RANSAC/ • ……….

  15. Tools (1) • Intel OpenCV (Open source Computer Vision library) • This library allows high level functions for computer vision and image processing. • OpenCV offers many high-level data types such as sets, trees, graphs, matrices. . . • OpenCV is open source to run on many computer platforms. • High level functions such as • Camera calibration (Zhang Zhengyou’s method) • Face detection (a variation of Viola-Jones’s detector) • Motion analysis and object tracking • Optical flow • Lucas-Kanade algorithm • Estimators • Kalman • Condensation

  16. Tools (2) Intel IPP (Integrated Performance Primitives) • It is a signal processing, image processing and matrix calculation library developed by Intel Corporation. • IPP offers to programmers a wide range of low-level functions which are optimized when used on an Intel processor (from Pentium to Itanium). • It is really a good library for signal, image, video and sound processing with very good performances due to optimized instructions. • IPP is not a free library, it comes under an Intel licensing policy which is explained at Intel website

  17. demo • Face detection • Object contour tracking • Motion object detection and tracking • ASM/AAM shape modeling • Perceptual interface: smart room • Visual surveillance • Robotics vision • 3D modeling, face animation • ………

  18. 相关学科与相关课程的联系 计算机图形学 重叠量反应相关程度 集合论 计算几何 机器视觉 线性代数 计算机视觉 高等代数 数字图象处理 最优化方法 模式识别 。。。。。。。。。。。。 计算机视觉专题（图象与视觉计算） 高级语言程序设计 数据结构 信号与系统 基础知识 先后顺序

  19. Overview (1) • 计算机视觉的几何学基础 • 摄像机模型 • 单摄像机(pinhole model/perspective transformation) • 双摄像机 (epipolar geometry: fundamental matrix/essential matrix) • 三摄像机及更多(multi-view geometry) • 运动估计 • 对应点问题（correspondence problem） • 光流计算方法 • 刚体运动参数估计（minimal projective reconstruction） • 2-view, 7 points in correspondence; (Faugeras) • 3-view, 6 points in correspondence; (Quan Long) • 3-view, 8 points with one missing in one of the three view. (Quan Long) • 几何重构（Geometry reconstruction） • 立体视觉(stereo vision) • Shape from X (shading/motion/texture/contour/focus/de-focus/….)

  20. Overview (2) • 计算机视觉的物理学基础 • 摄像机及其成像过程 • 视点、光源、空间中光线、表面处的光线…. • 明暗 shading、阴影 shadow • 光学/色彩 light/color • 辐射学，辐照率…radiometry, • 物体表面特性 • 漫反射表面（各向同性）Lambertian surface • BDRF (bi-directional reflectance distribution fucntion)

  21. Overview (3) • 计算机视觉的图像模型基础 • 摄像机模型及其校准 • 内参数、外参数 • 图像特征 • 边缘、角点、轮廓、纹理、形状… • 图像序列特征 (运动) • 对应点、光流

  22. Overview (4) 计算机视觉的信号处理层次 • 低层视觉处理 • 单图像：滤波/边缘检测/纹理 • 多图像：几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion • 中层视觉处理 • 聚类分割/拟合线条、曲线、轮廓 clustering for segmentation, fitting line… • 基于概率方法的聚类分割/拟合 • 跟踪 tracking • 高层视觉处理 • 匹配 • 模式分类/关联模型识别 pattern classification/aspect graph recognition • 应用 • 距离数据（range data）/图像数据检索/基于图像的绘制

  23. Overview (5) 计算机视觉的数学基础 • 摄影几何、微分几何 • 概率统计与随机过程 • 数值计算与优化方法 • 机器学习 计算机视觉的基本的分析工具和数学模型 • Signal processing approach: FFT, filtering, wavelets, … • Subspace approach: PCA, LDA, CCA, ICA, … • Bayesian inference approach: EM, Condensation/SIS/…, MCMC, …. • Machine learning approach: SVM/RVM/Kernel machine, Boosting/Adaboost, NN/Regression, … • HMM, BN/DBN, … • Gibbs, MRF, …

  24. Overview (6) 计算机视觉问题的特点 • 高维数据的本质维数很低，使得模型化成为可能。 High dimensional image/video data lie in a very low dimensional manifold. • 问题的不适定性 缺少约束的逆问题 • 优化问题

  25. Introduction Recommended • Forsyth’s introduction to CV • Ullman’s introduction to Computer and Human Vision (part 1) • Ullman’s introduction to Computer and Human Vision (part 2) • Seitz’s conclude on CV

  26. CV 文献 • 杂志 IJCV, PAMI, CVIU, PR, IVC等 • 会议 ICCV, CVPR, ECCV, FG, ACCV, ICPR, ICIP 等

More Related