1 / 16

支持向量机

支持向量机. 马海平 语义 计算与数据挖掘实验室. 主要内容. Hard Margin SVM （硬间隔，假定问题完全可分） – 线性 SVM – 非线性 SVM Soft Margin SVM （软间隔，更实际的情况）. 线性分类器. 二类分类问题：为每个输入数据赋予类别标签 线性分类器： ，决策面是一个超平面 线性可分：我们能够找到一个线性分类器，使得所有的训练样本都能够被正确地分类. 线性 SVM. 哪一个线性判定面有最好的泛化功能 线性 SVM 寻求满足以下条件的最优线性判定面 :

carnig
Download Presentation

支持向量机

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 支持向量机 马海平 语义计算与数据挖掘实验室

  2. 主要内容 • Hard Margin SVM（硬间隔，假定问题完全可分） – 线性SVM – 非线性SVM • Soft Margin SVM（软间隔，更实际的情况）

  3. 线性分类器 • 二类分类问题：为每个输入数据赋予类别标签 • 线性分类器： ，决策面是一个超平面 • 线性可分：我们能够找到一个线性分类器，使得所有的训练样本都能够被正确地分类

  4. 线性SVM • 哪一个线性判定面有最好的泛化功能 • 线性SVM寻求满足以下条件的最优线性判定面: • 1. 可将属于不同类别的训练模式完全分开 • 2. 在满足条件1的所有判定面中，最优判定面具有最大分类间距（margin）

  5. 分类间距（margin） • 样本点 到分割面的几何间隔为： • 整个训练样本空间 到分割面的分类间隔为： w和b的任意缩放，分类间距不变

  6. 线性SVM：最大间距分类 • 线性SVM的目标是最大化训练数据的分类间距 • 对w,b的任意缩放，都可以满足上面的限制问题，所以我们可以任意设置 ,从而使得线性SVM可以被形式化为（ ） • 用二次规划方法可以求解该问题

  7. 二次规划 • 最小化 • 要求满足下面的限制条件 • 如果 , 则g(x)是一个凸函数，此时该二次规划就有一个全局最优解 • 所以线性SVM有一个全局最优解

  8. 线性SVM求解 • 用惩罚项来表达限制条件，从而能够转化带限制的优化问题为无限制的优化问题 • 为训练数据中的每个数据样本，定义penality term如下： • 从而可以重写SVM的优化问题： 拉格朗日乘子

  9. 线性SVM求解 • 通过交换“max”和“min”，形式化为对偶问题(1)： • 求解该对偶问题，在每一个固定的拉格朗日乘子 下，求解满足最小化 的w和b （1） （2）

  10. 线性SVM求解 • 基于上式（1）可以得到， • 所以 = • 原始的优化问题（1）变成如下问题（2）： • 得到问题的解 • 仍然是一个二次规划问题，可以求解到全局最优解。 • 一般来说，解仅含有部分非零 • 所谓支持向量，即对应非零的模式向量

  11. 非线性SVM • 并非所有问题都线性可分 • 解决方案：通过一个适当的非线性映射 ，将数据由原始特征空间映射到一个新特征空间，然后在新空间中寻求最优（线性）判定面。 • 问题（2）变成 • 注意：不需要知道 ，而只须知道内积计算公式

  12. 非线性SVM • 如何选择非线性映射函数 ？ • 令 为一个非线性核函数(kernel function)，对应变换空间被称为核空间(kernel space) • 常用核函数

  13. 软间距（ Soft Margin）SVM • 实际问题很少线性可分。虽然理论上可通过非线性映射得到线性可分的数据，但如何获得这样的映射，且避免过拟合，是一个问题。 • 更实际的策略是允许一定误差

  14. 软间距（ Soft Margin）SVM • Soft Margin SVM的基本形式 • 转化为拉格朗日乘子待定问题（问题1）

  15. 软间距（ Soft Margin）SVM求解 • 对应的KKT条件，令L对w和α的偏导为零，可知

  16. 软间距（ Soft Margin）SVM求解 • 约简KKT条件，同样可把Soft Margin SVM的训练表示为一个二次规划问题 • 取值的意义

More Related