基于样本学习的卡通肖像画生成算法

基于样本学习的卡通肖像画生成算法 导师：费广正学生：柳婷婷

组织结构 一、研究意义二、研究现状三、基于样本学习的卡通肖像画生成算法四、算法实现五、总结与展望六、程序演示

一、研究意义 应用广泛、值得研究

夸张化的卡通画更具表现力和娱乐性。

二、研究现状 2.1 人脸特征提取方法 2.2 人脸特征卡通化方法 2.3 卡通肖像画的生成方法

2.1 人脸特征提取方法 • 简单模板标识人脸特征（by Ergun Akleman ） • 手工标定人脸特征（特征点个数、位置） • 自动标定人脸特征（使用最多）依据颜色信息；依据统计规律（ASM）；依据形状信息（主动轮廓模型）

2.2 人脸特征卡通化方法 • 启发式的夸张方法 • 人脸特征构件匹配法 • 与平均脸对比的显著特征夸张方法 • 基于训练样本的统计学习方法(微软亚洲研究院)

2.3 卡通肖像画的生成方法 • 依据卡通化结果进行图像变形 • 依据大小和位置匹配特征构件

三、基于样本学习的卡通肖像画生成算法

主要工作： 1. 定义人脸特征模型 2. 基于主元分析法对人脸数据降维 3. 建立RBF神经网络，学习照片与卡通画的关系 4. 生成卡通肖像线条画

3.1 人脸特征模型定义定义最显著的69个特征点组成人脸特征模型延用群组分割的思想，将特征点分为脸型、左眼等8个群组

X=(x1,x2,…,x138) 一张人脸照片或卡通肖像画被表示为一个138（69个特征点，每个特征点取x，y坐标）维向量。人脸照片样本集  人脸照片向量集：P={ pi | i = 1,2,…,6} 卡通肖像画样本集  卡通肖像画向量集: C={ ci | i = 1,2,…,6}

3.2 基于主元分析法对人脸数据降维 • 主元分析法（Principal Component Analysis，PCA） • 把多指标转化为几个综合指标的多元统计分析方法 • 去掉相关性小的冗余信息、降维采用原因： • 人脸数据相关性大 • 运算量大

实质：坐标变换，数据总方差不变，方差发生重新分布 • (1 < 2)，(k < m), 被分析数据维数从m降到k维。

采用主元贡献率法确定要选取的主元个数(k)，该方法定义如下：－ 计算主元过程中产生的特征值，与主元一一对应。

照片向量特征值统计结果 卡通肖像画向量特征值统计结果

pca处理后的照片低维向量 pca处理后的卡通画低维向量

3.3 径向基函数（RBF）神经网络建立与学习 • 人工神经网络由大量简单的处理单元组成 • 解决非线性、复杂的、内部具有相关性的问题采用原因： • 卡通肖像画与人脸照片之间存在一种复杂的非线形关系 • 选取RBF径向基网络，训练速度非常快

RBF 网络结构图 6个输入神经元，m个隐含层神经元，一个输出神经元为隐含层传输函数为输出层函数 m －隐含层结点个数 Ci－第i 个基函数的中心向量，元素个数与x 相同－数量值，它决定了该基函数围绕中心的宽度 wm－第m 个隐层节点与网络输出的连接权 y1－网络的输出

输入层输出层 lp与lc之间的约束关系 RBF神经网络

本文采用matlab6.5辅助实现 RBF神经网络的建立与学习： engEvalString(ep, "net = newrbe( PP, TT, 3.0);"); engEvalString(ep, "Alph = sim( net, nP);");

3.4 生成卡通肖像线条画（应用模块） 用户输入待卡通化的人脸照片标定特征点（p’）投影至照片子空间（lp’）带入RBF网络（lc’） PCA还原至原卡通画空间（c’）

C’（69个特征点的坐标） 人脸特征模型定义的拓扑结构分段Bezier样条曲线卡通肖像线条画

四、算法实现本文工作在VC++6.0和matlab6.5的开发环境下实现，示例结果如下：四、算法实现本文工作在VC++6.0和matlab6.5的开发环境下实现，示例结果如下：上排图为输入的待卡通化的人脸照片，中排图为应用本文算法生成的卡通线条肖像画，下排图为艺术家创作的卡通肖像画。

五、总结与展望 算法小结： 1. 定义人脸特征模型 2. 基于主元分析法对人脸数据降维 3. 建立RBF神经网络，学习照片与卡通画的关系 4. 生成卡通肖像线条画不足之处： 1. 缺少足够并且合适的样本，效果受到影响 2. 没有添加头发、耳朵、眼镜等附加特征 3. 没有添加纹理，缺少颜色信息

六、程序演示 • 基于样本学习的卡通肖像画生成系统

基于样本学习的卡通肖像画生成算法

基于样本学习的卡通肖像画生成算法

Presentation Transcript