0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

支持向量机的求解过程

RG15206629988 来源:行业学习与研究 2023-06-05 10:06 次阅读

一、支持向量机的求解过程

个人理解:下文所有下标i、j均可相互替换,c和C表示同一常数。

支持向量机的对偶问题为: 最大化:θ(α,β)=∑αi-1/2∑∑yiyjαiαjφ(Xi)Tφ(Xj);

限制条件:(1)0≤αi≤C,i=1~N;(2)∑αiyi=0,i=1~N。

因为φ(Xi)Tφ(Xj)=K(Xi,Xj)(K(Xi,Xj)为核函数,详见),所以只需知道核函数K(Xi,Xj)即可求解该对偶问题。该对偶问题解的结构为一组αi的值(个人理解:αi的值同时也为αj的值),其中i=1~N。

解得αi的值后可根据ω=∑αiyiφ(Xi)求解ω的值(支持向量机问题需解得超平面ωTφ(X)+b=0中的ω和b的值),但因为φ(Xi)不一定具有显式表达式,所以ω不一定具有显式表达式。

虽然ω不一定具有显式表达式,但ωTφ(X)+b的形式可以通过核函数K(X1,X2)求得,下文介绍具体求解过程:

因为ω=∑αjyjφ(Xj),所以ωTφ(Xj)=∑αjyjφ(Xj)Tφ(Xi)=∑αjyjK(Xj,Xi)。

根据KKT条件(KKT条件见机器学习相关介绍(12)——支持向量机(原问题和对偶问题)),且持向量机的对偶问题的另一个形式为: 最大化:θ(α,β)=inf{1/2||ω||2-C∑βiδi+∑αi[1+δi-yiωTφ(Xi)-yib]}; 限制条件:(1)αi≥0,i=1~N;(2)βi≥0,i=1~N。

可得:对所有的i=1~N,βiδi=0且αi[1+δi-yiωTφ(Xi)-yib]=0。

根据βiδi=0可得(c-αi)δi=0(个人理解:此步骤也需根据机器学习相关介绍(13)——支持向量机(转化为对偶问题)中求偏导得出的等式αi+βi=C)

若对某个i,αi≠0且αi≠c,则根据KKT条件,则有δi=0且1+δi-yiωTφ(Xi)-yib=0。

又因为yiωTφ(Xi)=∑αiyjyiK(Xj,Xi),所以只需使用一个满足0<αi<c的αi值,即可通过下式求得b: b=(1-∑αjyjyiK(Xj,Xi))/yi

综上,ωTφ(X)+b=∑αiyiK(Xi,X)+b,即在不知道φ(X),只知道K(X1,X2)的情况下,ωTφ(X)+b的表达式也可被求出。该结论被称为“核函数戏法”(KERNEL TRICK)。

最终,支持向量机的判别标准为: 若∑αiyiK(Xi,X)+b≥0,则X∈C1; 若∑αiyiK(Xi,X)+b<0,则X∈C2。

二、支持向量机的算法流程

(1)训练过程

输入训练数据{(Xi,yi)},i=1~N,其中,yi=±1。并求解: 最大化:θ(α,β)=∑αi-1/2∑∑yiyjαiαjφ(Xi)Tφ(Xj);

限制条件:

(1)0≤αi≤C,i=1~N;(2)∑αiyi=0,i=1~N。

得出一组αi的值,再通过一个满足0<αi<c的αi值,根据下式求b: b=(1-∑αjyjyiK(Xj,Xi))/yi

求解出αi和b后,支持向量机的训练过程完成。

(2)测试过程

考察测试数据X,预测其类别y: 若∑αiyiK(Xi,X)+b≥0,则y=+1(X∈C1); 若∑αiyiK(Xi,X)+b<0,则y=-1(X∈C2)。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 向量机
    +关注

    关注

    0

    文章

    166

    浏览量

    20875
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132601

原文标题:机器学习相关介绍(14)——支持向量机(算法流程)

文章出处:【微信号:行业学习与研究,微信公众号:行业学习与研究】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    特征加权支持向量

    该文针对现有的加权支持向量(WSVM)和模糊支持向量(FSVM)只考虑样本重要性而没有考虑特
    发表于 11-21 11:15 15次下载

    基于改进支持向量的货币识别研究

    首先,预抽取支持向量以减少训练样本数量,大大缩减训练时间;然后,用缩减后的样本对改进后的分类支持向量进行货币识别,改进后的
    发表于 12-14 14:57 14次下载

    基于改进的支持向量的脱机中文签名验证

    针对支持向量算法的不足,将粗糙集和支持向量相结合,利用粗糙集理论对数据属性进行约简,在某种程
    发表于 02-16 16:14 15次下载
    基于改进的<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>的脱机中文签名验证

    基于支持向量(SVM)的工业过程辨识

    支持向量应用到典型的时变、非线性工业过程 连续搅拌反应釜的辨识中, 并与BP 神经网络建模相比较, 仿真结果表明了支持
    发表于 03-30 16:12 42次下载
    基于<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>(SVM)的工业<b class='flag-5'>过程</b>辨识

    基于标准支持向量的阵列波束优化及实现

    ,研究了基于标准支持向量的阵列波束优化及其实现过程,并进行了消声水池实验。水池实验结果表明,对于相同的阵型,采用不同的价值损失函数,基于标准支持
    发表于 11-10 11:03 13次下载
    基于标准<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>的阵列波束优化及实现

    模糊支持向量的改进方法

    改进了模糊支持向量隶属度函数设计方法。考虑样本分布不确定的问题,使用灰色关联度代替现有方法中的欧氏距离,定义了样本的平均灰色绝对关联度;针对噪声识别过程中支持
    发表于 11-29 16:19 0次下载
    模糊<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>的改进方法

    多分类孪生支持向量研究进展

    孪生支持向量因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的。不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持
    发表于 12-19 11:32 0次下载

    基于支持向量的测深激光信号处理

    针对浅海探测中激光回波噪声源多、信噪比低,传统非加权最小二乘支持向量和加权最小二乘支持向量
    发表于 12-21 13:46 0次下载

    支持向量的故障预测模型

    算法优化支持向量参数,解决了蚁群算法易陷入局部最优的问题;然后,根据最优参数建立拟合监测数据和未来健康度下降过程非线性映射关系的和声蚁群算法一支持
    发表于 12-29 11:24 0次下载

    关于支持向量(SVMs)

    支持向量(Support Vector Machine: SVM)是一种非常有用的监督式机器学习算法
    的头像 发表于 04-02 08:52 4195次阅读
    关于<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>(SVMs)

    如何从零推导支持向量

    望而却步。 本文旨在从零构建支持向量, 涵盖从思想到形式化, 再简化, 最后实现的完整过程, 并展现其完整思想脉络和所有公式推导细节。 本文力图做到逻辑清晰而删繁就简, 避免引入不必
    发表于 06-10 08:00 1次下载
    如何从零推导<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>

    什么是支持向量 什么是支持向量

    支持向量,英文为Support Vector Machine,简称SV(论文中一般简称SVM)。它是一 种监督式学习的方法,它广泛的应用于统计分类以及回归分析中。
    发表于 01-28 16:01 2.2w次阅读
    什么是<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b> 什么是<b class='flag-5'>支持</b><b class='flag-5'>向量</b>

    支持向量(核函数的定义)

    根据机器学习相关介绍(10)——支持向量(低维到高维的映射),支持向量可通过引入φ(x)函数
    的头像 发表于 05-20 10:41 828次阅读
    <b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>(核函数的定义)

    支持向量(原问题和对偶问题)

    本文主要介绍原问题(PRIME PROBLEM)和对偶问题(DUAL PROBLEM),支持向量优化问题可通过原问题向对偶问题的转化求解
    的头像 发表于 05-25 09:31 1360次阅读

    支持向量(多类问题之1类对K-1类方式)

    支持向量求解二分类问题。当需要求解多分类问题时,支持向量
    的头像 发表于 06-30 16:07 527次阅读