在写自己的第一篇博客之前，还是想先对我的导师刘小明教授表示感谢，感谢您让我有机会接触机器学习相关算法。研究Twin SVM 相关算法已经一年有余，相对于常用的SVM，Twin SVM 有着巨大的
优势，相关理论已经十分成熟，网上也有较多开源的工具箱。接下来，就让我简单地对Twin SVM做一下介绍。

Twin SVM 简介

一、定义

在介绍Twin SVM之前，先简要地介绍一下当前比较火的支持向量机(Support Vector Machine,简称SVM，它是建立在统计学习理论和最优化理论基础上的一种有效的解决分类问题的机器学习方法。双重支持向量机（Twin Support Vector Machine）是在SVM的基础上发展起来的，是利用最优化方法解决分类问题的新工具。其基本思想是构造两个非平行的超平面来代替标准的SVM的一个分划超平面，具有较好的泛化推广能力。

二、起源

SVM是由Vapnik等人提出的，在一定程度上克服了“过学习”和“维数灾难”等传统问题。它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷。以求获得最好的推广能力。Twin SVM最初由Jayadeva等人于2007年针对二分类问题提出的。Twin SVM较传统的SVM运算速度更快，对大规模数据具有更好的处理能力；同时，Twin SVM 利用最大间隔思想将SVM构造的平行平面推广到更广泛的非平行平面。在大数据时代，Twin SVM 的优势会越来越明显（对比于SVM）。

三、基本思想

首先构造两个超平面，一个正超平面和一个负超平面，使得正负超平面尽可能地分别接近所有正类点的输入和负类点的输入，然后以这两个超平面为基础，构造决策函数；输入x距离正超平面较负超平面近时，即推断为正类；否则推断为负类。

四、优势

不同于传统的SVM基于最大间隔原则求得一个超平面从而得到决策函数，Twin SVM 需要构造两个较小的凸二次优化问题，极大地减少了训练时间；
Twin SVM较传统的SVM运算速度更快，对大规模数据具有更好的处理能力；
同时具有良好的泛化能力。

五、核心要素

同SVM类似，Twin SVM的三个核心的要素是：最大间隔原则，对偶理论，核函数。其中，最关键在于核函数：低维空间向量通常难以划分，解决的办法是将它们映射到高维空间，但这个办法带来的困难是计算复杂度的增加，而核函数正好巧妙地解决了这个问题； 即：只要选用了适当的核函数，就可以得到高维空间的分类函数。

六、数学描述

设训练集为T={(x1,+1),….,(xp,+1),(X(p+1),-1),…(x(p+q),-1)},其中,x(i)∈𝑅^𝑛,i=1,…p+q。分类问题就是根据给定的训练集分别求得一对不平行的拟合超平面w*x+b=0(正负超平面分别对应一组w,b的值)。最终根据得到一组非平行的超平面对新的样本进行分类。

第一篇就介绍这么多啦，相对比较基础，后续会继续介绍相关Twin求解方法和实际应用，希望对大家有所帮助。