1 / 13

基于 Hessian 能量的半监督回归

基于 Hessian 能量的半监督回归. 半 监督一般模型. 是 中 维子流形 。 对于一个有 个标记点 的数据集 ， 半监督学习的目标函数可以写为 ： 这里 是 上平滑函数的 集合 ， 是损失函数， 是正则项。一种简单的定义 。. 正则 项估计 (1). 我们不知道数据所嵌入的流形 ， 但是我们 可以 结合 未标记 的数据 来 得到 的 估计 值 。 对于一个 实值函数 ，我们使用 Eells 能量 ，可以写为： 称为 的 二阶协变导数 (covariant derivative ) 。

tonya
Download Presentation

基于 Hessian 能量的半监督回归

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于Hessian能量的半监督回归

  2. 半监督一般模型 • 是中维子流形。 • 对于一个有个标记点的数据集，半监督学习的目标函数可以写为： • 这里是上平滑函数的集合，是损失函数，是正则项。一种简单的定义。

  3. 正则项估计(1) • 我们不知道数据所嵌入的流形，但是我们可以结合未标记的数据来得到的估计值。 • 对于一个实值函数 ，我们使用Eells能量，可以写为： • 称为的二阶协变导数(covariant derivative)。 • 在上正规坐标系(normal coordinates)下可以简单地估计导数值。一个给定点在上的正规坐标，可以近似认为在点周围的流形是一个欧式空间。

  4. 正则项估计(2) • 点周围以点为原点的坐标系 • 因此在点，二阶协变导数的形式就是在正规坐标下Hessian矩阵的Frobenius范数，称其为Hessian正则项。

  5. 局部PCA • 点的局部正规坐标可以由其近邻组成的集合来进行估计。 • 为了估计局部张量空间，我们在上使用PCA。 • 个主特征向量对应一组正交基。现实数据集中，流形的维数无法自动确定，需要由关于问题的先验知识或者使用交叉验证的方法来确定。

  6. 近邻点正规坐标估计 • 有了点的张量空间后就可以确定其近邻点的正规坐标。 • 是个正规化的主PCA特征向量，点的正规坐标由下式给出： • 显然有。

  7. 点的Hessian估计(1) • 已知点的正规坐标，用一作用于内点的线性算子来估计点的Hessian值， • 近邻点的函数值根据一个二阶多项式来拟合：

  8. 点的Hessian估计(2) • 是周围的二阶Taylor展式， • 为了拟合多项式， • 其中，。的第行由的第个近邻点的正规坐标计算得到。 • 问题的解为，其中，，表示的伪逆。

  9. 点的Hessian估计(3) • 的后个分量记为，对应多项式系数，于是我们可以得到。 • 的第个分量，假设其对应，则 • 这样就有。

  10. 点的Hessian估计(4) • 于是在点的Hessian值由下式给出： • 其中。

  11. 的Hessian估计 • 最终Hessian能量的估计是所有点的Hessian值的和，由下式给出： • 是所有的和。

  12. 求解优化问题 • 于是我们的优化问题： • 问题的解由下式给出： • 其中为对角矩阵，若已标记则，否则为0；若已标记，为类别号，否则。

  13. 谢谢

More Related