本文共 1002 字，大约阅读时间需要 3 分钟。
支持向量机（Support Vector Machine, SVM）是一种基于凸优化的机器学习算法，广泛应用于分类和回归任务。其核心优势在于能够处理小样本、高维数据以及非线性问题，同时具有较高的分类准确率。以下是对SVM的简要解读和推导过程。
分割超平面是SVM的核心概念。给定两个不相交的凸集C和D，存在一条超平面P，使得C和D分别位于P的两侧。距离定义为集合间最短距离之一，通常通过计算最短线段的垂直平分线来确定分割超平面。
在实际应用中，超平面应尽可能拉远两类点，类似于寻找最大间隔。这个问题可以通过等比例缩放目标函数的权值w来实现，使得两类样本在函数值上对等，从而确保最大化的几何间隔。
建立SVM的目标函数从两个方面进行：首先，考虑函数间隔和几何间隔；其次，通过拉格朗日乘子法求解极小极大问题。
分割超平面的目标函数为最大化函数间隔，使得两类样本的函数值差异最大化。通过等比例缩放权值w，可以使得学习任务转化为一致性约束问题，从而简化目标函数的形式。
为了解决极小极大问题，采用拉格朗日乘子法。通过对w和截距项b求偏导并令其为零，找到优化条件。目标函数约束条件和优化公式的转换提示，我们可以将其转化为对偶问题，进而求解。
当数据线性不可分时，引入松弛因子C。松弛因子的作用是确保函数间隔不恒为零，从而允许模型处理非线性问题。通过拉格朗日方法优化新的约束条件。
核函数的引入为SVM提供了一种处理非线性问题的方法。常用核函数包括多项式核、高斯核（Radial Basis Function, RBF）和字符串核。高斯核作为默认选择，能够有效地将线性不可分的数据映射到高维特征空间，从而完成分类任务。
通过核映射，原始数据被转化为高维特征空间。支持向量的核坐标在这个空间中展现出良好的线性可分性，从而实现最优分类。此外，支持向量的平均被用于确定分界超平面，构建分类决策函数。
两算法的主要区别在于目标函数形式：
通过明确目标函数的对偶形式以及优化求解，SVM能够有效地解决分类问题，并通过松弛因子调节模型的泛化能力，确保预计性能的稳定性。
转载地址：http://lnxlz.baihongyu.com/