【模型】SVM-模型结构-软间隔模型

本文介绍SVM的软间隔模型及损失函数的定义和思想，通过本文了解SVM软间隔模型是什么和相关知识。

一、SVM-软间隔-模型介绍

由于SVM硬间隔模型的前提是样本一定线性可分，但现实中往往无法线性可分，于是，在SVM硬间隔模型的基础上，又提出了SVM软间隔模型：

软间隔SVM模型与硬间隔SVM模型一致，仍然是判别平面+两个支持平面，不同之处，软间隔SVM允许正支持平面的负侧有正样本，也允许负支持平面正侧有负样本，软间隔模型的目标在于，尽量让两个支持面的距离更大的同时，样本的错误程度尽量少。

二、SVM-软间隔-模型表述

本节介绍软间隔模型的表达式和损失函数，以及解说损失函数的意义。

2.1. SVM软间隔模型

SVM软间隔模型的数学表达式为：

SVM软间隔模型的损失函数为：

优化目标：   

 约束条件：(1) 

(2)                  

2.2. SVM软间隔模型-损失函数-解释

下面我们先讲解损失函数中的约束条件是什么意思，再进一步理解目标函数的意义。

先分析约束条件，不妨将它拆成和 两种场景：

在硬间隔时已经分析过，代表要求正样本不能在正支持面的负侧。

现改为，则是引入了松弛变量 ，则代表允许第i个正样本，可以在正支持面的负侧 位置。同理，对于负样本，也允许在负支持面的正侧 位置。

备注： 并不是真实距离，而是以支持距离d为单位的距离，例如为2时，代表的是偏离2d。

在以上约束条件的基础上，再在目标函数中，加入对所有样本总偏离的惩罚项，其中C为惩罚因子，这样，总的损失函数为 ，即既让两个支持面尽量最大化的同时，又尽量降低支持面没支持到的样本的偏离总量。

三、SVM-软间隔-支持向量

软间隔模型的支持向量的定义与硬间隔的有所出入，它指的是落在支持面上的样本，及支持面没支持住的样本：

支持向量实质上就是决定支持面的关键样本，在这点上与硬间隔是统一与一致的，因为支持面不仅要考虑最大间隔，还要考虑没支持住的样本。

四、SVM-软间隔-损失函数-推导

上面我们直接展示了SVM软间隔的损失函数，并进行了解读，事实上，它可以由合页损失函数推导得到。

合页损失函数是指：判别面对样本分类的错误总和。

在SVM软间隔中，样本的错误可以理解为偏离支持面的错误程度。

对于正样本，在正支持面负侧的距离为：

* 第一个等号，是正支持面的距离(相对判别面)减去样本的距离，从而得到样本相对正支持面的距离。
* 第三个等号，是因为正样本的y=1。

对于负样本，在负支持面正侧的距离为：

* 第一个等号，是样本的距离(相对判别面)减去负支持面的距离，从而得到样本相对负支持面的距离。
* 第三个等号，是因为负样本的y=-1。

可以看到，不管是正样本还是负样本，它的错误距离都为：

如果只取相对距离，也就是忽略绝对距离d，则有：

事实上，合页损失只取错误样本，因此，整体表述则有：

其中，

而SVM，不仅需要考虑合页损失，还需要考虑支持面距离最小化，从而就得到损失函数：

优化目标：   

 约束条件：(1)            

(2)                  

可以看到，SVM软间隔损失函数的约束条件中就已经包含了合页损失的约束条件。

总结

总的来说，SVM的软间隔模型是在硬间隔模型的基础上，允许判别面对样本分类错误，然后再在损失函数中加入错误样本的合页损失，也就是尽量最大化支持面的间隔的同时、最小化合页损失。