Video Segmentation: Propagation, Validation and Aggregation of a Preceding Graph

Video Segmentation: Propagation, Validation andAggregation of a Preceding Graph 作者：Siying Liu, Guo Dong, Chye Hwang Yan, Sim Heng Ong 讲解人：王琳

作者 • Siying Liu & Sim Heng Ong • 新加坡国立大学电气与计算机工程系4工程驱动3 ，新加坡117576 • elels@nus.edu.sg • eleongsh@nus.edu.sg • Guo Dong & Chye Hwang Yan • 国防科技实验室，科学园道 20，新加坡118230 • gdong@dso.org.sg • ychyehwa@dso.org.sg

目录 • 文章摘要 • 引言 • 基于MRF的极大后验分割方法 • MRF-MAP VS Graph cut • 基于MRF-MAP的时空聚类方法 • 系统结构流程图 • 问题形式化及解决 • 传播 • 验证 • 聚合 • 实验结果 • 总结和讨论

文章摘要 In this work, video segmentation is viewed as an efficient intra- frame grouping temporally reinforced by a strong inter-frame coherence. Traditional approaches simply regard pixel motions as another prior in the MRFMAP framework. Since pixel pre- grouping is inefficiently performed on every frame, the strong Correlation Between inter-frame groupings is largely underutilized. We exploit the inter-frame correlation to propagate trustworthy groupings from the previous frame. A preceding graph is constructed and labeled for the previous frame. It is temporally propagated to the current frame and validated by similarity measures. All unlabeled subgraphs are spatially aggregated for the final grouping. Experimental results show that the proposed approach is highly efficient for spatio- temporal segmentation. It makes good use of temporal correlation and produces satisfactory grouping results.

文章摘要 • 视频分割是一种帧内图像的聚类方法，这种方法可以利用时域上的帧间一致性信息来改善分割效果。 • 传统的视频分割方法只是简单地将像素点的运动看成MRF-MAP工作框架下的一个先验信息。对每帧图像来说，像素聚类不能高效的完成，帧间的相关性信息没能充分的利用起来。 • 在本文中，我们利用了帧间的时空局部一致性信息，从前一帧分割图像中来传播可信度大的聚类结果。对前一帧已经标定的图，我们把它传播到当前帧，并且通过相似性措施来验证这个分割结果，所有没有标定的子图都会在空间上做一次最后的聚合从而来得到我们最终的分割结果。 • 实验结果表明我们的方法对时空分割是非常高效的，它充分利用时间上的相关性信息，产生了令人满意的聚类结果。

引言 • Video segmentation • 在基于内容的视频检索和视频摘要上，意指语义实体的分解（a decomposition of semantic entities）； • 在视频编解码上指运动物块的分割； • 在场景解释上指一种基于时空信息的聚类方法； • 在本文中指一种帧内的高效分割方法，这种方法可以利用帧间的相关性来加强，它其实是一种基于时间相关性和空间一致性的像素标定算法；

引言 • 极大后验分割方法（MAP）

引言 • 基于MRF-MAP分割方法 • 随机场：位置（）,相空间（）；怎么样利用位置集中每两点之间的相关性将相空间的值赋给每个位置的问题； • 马尔科夫性质：指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。 • 与都用MRF来建模； • 称为特征场或者灰度场，常以标号场为条件，用分布函数描述观测数据或特征向量的分布。 • 称为标号场，常又被称为隐随机场，用先验分布描述标号场的局部相关性。

引言 • 基于MRF-MAP分割方法 • 数据项对应特征场，表征观测数据或者特征向量的分布。 • 平滑项对应标号场，表征不同像素点之间的关系。是图像一种局部相关性的描述。 • 参数来平衡二项之间的关系。 • 该方法的优雅之处就是把图像分割问题装化为了对最小化能量函数的研究。

引言 • MRF-MAP VS Graph cut • 最小化MRF-MAP的能量函数等价于在图G中找最小权值和的割。 • Graph cut • Graph G=(S,E),S是像素点集，E是边集。 • W是针对G中的每条边相连的2个像素的相关属性设置的权值。 • 上式的解法：the ratio cut，Normalized cut and min-max cut。

引言 • Graph cut的解法 • Graph cut的多值分割（ICM）

引言 • Graph cut的解法 • Min-max cut

引言 • Graph cut解法的相关比较 • 解法的分类 • 以Normailized cut为代表的谱图割方法，时间复杂度高（），限制了它们在尺度比较大的图片上的应用。 • 以min-max为解法的图割方法，可以很好的解决空域上的图片的分割，但是必须预先指定一些像素作为样本。

引言 • 基于MRF-MAP的时空聚类方法 • 和分别代表前一帧的标号集和像素集，代表时间。 • 该方法的缺点： • 容易引起过分割，时间相干性未能在video-based应用上得到充分利用。 • 这种方法寻找一个最优解来分割不同大小的物体，很难找到一个模型来解决空间尺度上的变化。而且该方法容易产生亚最优的分割结果。

系统结构流程图

问题形式化及解决 • 传播 • 问题： • A表示仿射变换矩阵。 • 在图像和采用SIFT算法找到对尺度不变特征作为样本训练得到A。 • 训练过程中为了增强算法的鲁棒性，可以通过RANSAC（随机采样一致算法）来选取比较好的样本，并且减少传播变换带来的错误。

问题形式化及解决 • 验证 • 问题： • 检测出了独立运动和仿射变换带来的错误。 • 经过验证环节，图被分成2部分，一部分保留了前一帧传播过来的正确结果，另一部分待定。

问题形式化及解决 • 聚合 • 问题： • 一种思路：以为种子，分别建模，然后用min-max方法来cut。 • 两个挑战： • Independent motions 和newly appear objects

问题形式化及解决 • 聚合 • 本文的方法： • 采取先将进行颜色聚类，将它转化成许多的subgraphs，然后和的子图一起进行聚合 • 聚合的准则：Edge，color and shape

问题形式化及解决 • 聚合 • 聚合准则：Edge The edge weight：惩罚准则函数：

问题形式化及解决 • 聚合 • 聚合准则：color • 惩罚准则函数：

问题形式化及解决 • 聚合 • 聚合准则：shape • 惩罚准则函数： • Total cost function： • 聚合候选选取：

聚合算法：

时空分割算法

实验结果 • 实验数据 • 两段视频 Table tennis Coast Guard

实验结果 • Over Segmentation Evaluation：

实验结果

实验结果 • Independent motion & newly appearear objects

实验结果

总结和讨论 • 本文的方法充分挖掘了帧间的相关性来分割，传播了前一帧的分割结果，通过颜色相似性来验证，保留了正确的传播结果，最后在空间上以最小化能量函数的方式来聚合未标定的数据来得到最终的结果。 • 传播了分割结果，减少了每帧重新分割的计算负担。 • 验证和聚合步骤可以解决独立运动和新进入物体引起的分割问题。

总结和讨论 • Future work • 在验证阶段，仅用颜色相似性来验证是不够的，可以融入多种其他特征信息来验证。 • Question

Video Segmentation: Propagation, Validation and Aggregation of a Preceding Graph