1 / 52

题目 :Segmentation given partial grouping constraints

题目 :Segmentation given partial grouping constraints. 作者： Stella X. Yu, Jianbo Shi 讲解人：翟德明. 文章信息. 发表刊物： PAMI 发表时间： 2004.2 引用次数： 55 会议文章： S.X. Yu and J. Shi, “Grouping with Bias,” Technical Report CMURI-TR-01-22, Robotics Inst., Carnegie Mellon Univ., Pittsburgh,Pa., July 2001.

zudora
Download Presentation

题目 :Segmentation given partial grouping constraints

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 题目:Segmentation given partial grouping constraints 作者：Stella X. Yu, Jianbo Shi 讲解人：翟德明

  2. 文章信息 • 发表刊物：PAMI • 发表时间：2004.2 • 引用次数：55 • 会议文章： • S.X. Yu and J. Shi, “Grouping with Bias,” Technical Report CMURI-TR-01-22, Robotics Inst., Carnegie Mellon Univ., Pittsburgh,Pa., July 2001. • Stella X.Yu, Jianbo Shi, “Grouping with bias”, Neural Information Processing System, 2001.

  3. 相关文章： • 1. Grouping with bias, Stella X. Yu and Jianbo Shi, NIPS 2001. • 2. Concurrent object recognition and segmentation by graph partitioning, Stella X. Yu, Ralph Gross and Jianbo Shi, NIPS 2002. • 3. Object-specific figure-ground segregation, Stella X. Yu and Jianbo Shi, CVPR 2003.

  4. 作者信息 • Stella X.Yu (第一作者) • 作者简历 • 西安交通大学、信息科学与技术系—学士学位 • 清华大学、模式识别与智能控制—硕士学位 • CMU、机器人—博士学位 • University of California at Berkeley、计算机—博士后 • 现任：Boston University 计算机系助理教授 • 研究方向 • 计算机视觉 • 生物视觉 • 信号处理 • 运筹学 • 主要文章 • http://www.cs.bc.edu/~syu/publication/publist.html • 个人主页： http://www.cs.cmu.edu/~xingyu/

  5. 作者信息 • Jianbo Shi • 作者简历 • 1994年 Cornell大学、计算机与数学—学士学位 • 1998年 University of California at Berkeley、计算机—博士学位 • 1999-2002 Carnegie Mellon University 机器人系 研究员 • 2003年 University of Pennsylvania(宾夕法尼亚) 计算机系 助理教授 • 研究方向 • 计算机视觉 • 图像认知学 • 人工智能 • 机器学习 • 主要文章： • http://www.cis.upenn.edu/~jshi/jshi_publication.htm • 个人主页： • http://www.cs.cmu.edu/~jshi/ • http://www.cis.upenn.edu/~jshi/

  6. 作者信息 • 重要文章 • J. Shi and J. Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):888–905, 2000. • 引用次数：2313

  7. 文章摘要 • 图像分割问题可以视为图像中数据点的聚类问题。在这篇文章中，我们要解决在已知部分聚类约束作为先验知识的情况下的数据聚类问题。这种有倾向性的聚类可以形式化为一种有约束的最优化问题，其中数据的结构特性定义了聚类方式，而部分聚类约束线索定义了聚类方式的可行性。 • 我们在有标号的数据点上加入平滑性(smoothness)和公平性(fairness)约束，目的是使稀疏的部分聚类信息更有效的传递到未标注数据上。实际采用NCut的准则函数，我们的形式化描述就变成一种带有约束的特征值求解问题。

  8. 文章摘要 • 根据Rayleigh-Ritz理论及投影矩阵的性质，通过特征分解，我们找到无约束连续域上的全局最优解。根据这个最优值，可以有效的求得离散标注问题中的近似全局最优解。 • 我们把提出的方法应用到实际的图像分割问题中，在这里部分聚类的约束先验通常可以来源一种粗糙的空域注意力图( spatial attentional map)，这种注意力图能够确定具有共同的显著性特征的位置或者期望的物体位置。文章证明了我们的方法能够把图像结构和先验知识融合到单一的聚类过程中，还证明了在没有明确的目标知识的情况下，目标也可以从背景中被分割出来。

  9. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  10. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  11. 问题来源 • 传统方法 Bottom-Up (Data-Driven) • 顺序处理理论 (Marr) 所需要的信息 区域的进一步合并 若干次中间表示 局部区域合并 （较高层次的视觉感知单元） （统计特性） 可直接计算的信息图像过分割

  12. 问题来源 • Task-Driven与Data-Driven相结合 • Location-driven Attentional Map + image partial grouping segmentation

  13. 问题来源 • Task-Driven与Data-Driven相结合 • feature-driven Attentional Map + image partial grouping segmentation

  14. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  15. 问题形式化 • 图像 I ， N 个顶点，类别 K • 样本集合： • K 类划分： • 约束集：

  16. 问题形式化 • 优化目标函数： • ε: goodness of grouping • f : feature • : k-way partition • : boolean function if

  17. 问题形式化 • ε: goodness of grouping • 后验概率： • Normalized Association: (NCut)

  18. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  19. Graph Vs. Image • 图像 I 对应无向加权图 G=(V,E) 权W • V： 顶点集，图像中每一个像素点构成图的一个顶点 • W：相似度矩阵， 表示样本i和样本j的相似度 • E: 如果 ，i，j 顶点之间有一条边

  20. Minimum Cut • 以K=2为例 • 割集： • 失败的分割

  21. Normalized Cuts • Normalized Cuts • Normalized Association

  22. Normalized Cuts • 双重性（duality） • min Ncut(A,B) = max Nassoc(A,B) • 考虑了全局结构 • 同时使得类内相似度最大，类间相似度最小

  23. Normalized Association • 优化目标： • K类 2类 • 进一步形式化：partition matrix 例如：

  24. Normalized Association • 第l类 • ：2倍类内权值的和 • ：类内顶点到所有顶点的权值和 • ：该类与非同类样本间的权值的和 例如：

  25. Normalized Association • L： L=D-W，又叫拉普拉斯矩阵 • 该类与非同类样本间的权值的和

  26. l 例如： l Normalized Association maximize subject to 广义特征值

  27. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  28. Constrained NormalizedCuts • 优化目标函数： • 约束向量： 例如：

  29. Constrained NormalizedCuts • 最优化问题 s.t. • 解法：找到U的零正交空间 ，使得 • 由于 ， 在N维空间中已知 个正交向量，找 个与之正交的向量，困难！ 因此采用正交投影矩阵的方法解决这个问题

  30. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  31. 稀疏的约束 期望结果 • 原因：没有考虑到约束点和其周围点的关系 • 解决方案：对于局部的分割加入平滑性和公平性的约束 当前分割结果

  32. 平滑约束 • 优化目标函数： maximize subject to :local smoothing kernel i j

  33. 理论基础—Rayleigh商 • 定义1：设A是n阶实对称阵， 。称 为矩阵A的Rayleigh商。 • 定理1：设A是n阶实对称阵，A的特征值 ，对 应的标准正交特征向量为 ，则 证：任取 则 于是有 令 则

  34. 理论基础—Rayleigh商 • 定义2：设A，B是n阶实对称阵，且B正定， 。称 为矩阵A相对于矩阵B的广义Rayleigh商。 • 定理2：非零向量 是R(x)驻点的重要条件是 为 属于特征值 的特征向量。 关于x求导数：

  35. s.t. X离散化 广义特征值 Normalized Association

  36. Z X O Y 理论基础—正交投影矩阵 • 设L， 是 子空间，且L， 互为正交补空间， 则任意 ，都可以唯一分解为 称y是x沿着 到L的正交投影。 • 则称 为沿着 到L的正交投影算子。 • 正交投影算子在 的基 下的矩阵称为正交投影矩阵，记为 。

  37. z x o y 理论基础—正交投影矩阵 • 求解正交投影矩阵 解：设dimL=r, 则dim =n-r。在子空间L和 分别取定基底， 根据投影的性质有： 作为分块矩阵

  38. z x o y 理论基础—正交投影矩阵

  39. Constrained NormalizedCuts • 最优化问题： • maximize • subject to • 矩阵求解： • 解： 为前k个最大特征值对应的特征向量

  40. 算法基本步骤 • Step 1: 计算 degree matrix D • Step 2: 计算 normalized matrix • Step 3: 计算 conditioned constraint • Step 4: 计算 projected weight matrix • Step 5:计算前K个特征值所对应的特征向量 • Step 6:对 设阈值离散化

  41. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  42. 实验验证

  43. 存在问题 • 1、K的个数需要手动指定 • 2、根据先验构造的分组约束有错误，那么会对分割的结果造成一定负面影响。 • 如鞋子的末梢被认为是背景，则不会重新将鞋子分成前景组成部分。 • 不具有对约束信息检错和纠错的能力。

  44. 提纲 • Problem Origin • Basic Formulation • Review on Normalized Cuts (NCut) • Constrained Normalized Cuts • Propagating constraints for sparse cues • Experiments • Conclusion

  45. 结论 • 本文提出了一种bottom-up和top-down相结合的方法。其中bottom-up基于图像的底层线索， top-down基于部分聚类约束，这些约束可来源于现实世界的一些先验知识。 • 本文将图像的信息和先验约束的信息统一起来，并最终形式化成为有约束的最优化问题来求解。 • 通过分析表明当部分聚类约束稀疏时，根据数据的内在一致性进行约束传播是及其必要的。 • 实验验证了该方法的有效性。

  46. 未来工作 • 当前的先验知识是不依赖与特定目标的，主要依据位置和亮度分布作为先验。如何结合更加复杂的先验（特定目标的先验），将特定的目标进行分离出来。 • Object-specific figure-ground segregation, Stella X. Yu and Jianbo Shi, CVPR 2003.

More Related