从零开始的机器学习--支持向量机
2022/1/2 23:09:06
本文主要是介绍从零开始的机器学习--支持向量机,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
本文参考机器学习周志华
基础内容如下
由上述原理,给出利用不使用核函数和软间隔的SVM处理用LAD降至2维的iris数据集的MATLAB源程序
main.m
tic clear;clc %导入数据 load matlab.mat global D D.X1 = D_new(1:48,:); D.Y1 = ones(size(D.X1,1),1); D.X2 = D_new(51:end-2,:); D.Y2 = -ones(size(D.X2,1),1); % 使用Matlab自带SVM对LDA处理后的iris数据二分类 % svmModel = fitcsvm([D.X1;D.X2],[D.Y1;D.Y2],'kernelFunction','rbf'); % Y_pred = predict(svmModel,[D_new(49:50,:);D_new(end-1:end,:)]); %% 使用自己求解SVM对LDA处理后的iris数据二分类 D.Label = [D.Y1;D.Y2]; D.Data = [D.X1;D.X2]; figure(1) hold on scatter(D.X1(:,1),D.X1(:,2),'r'); scatter(D.X2(:,1),D.X2(:,2),'g'); ITER = 100; objf = +inf; for Times = 1:ITER x0 = rand(size(D.X1,1)+size(D.X2,1),1); obj = 0; for i = 1:size(D.Data,1) for j = 1:size(D.Data,1) obj = obj+1/2*(x0(i)*x0(j)*D.Label(i)*D.Label(j)*D.Data(i)*D.Data(j)'); end obj = obj-x0(i); end if obj<objf objf = obj; bestx0 = x0; end end [alpha,val] = fmincon(@obj_fun,bestx0,[],[],[D.Label'],0,zeros(size(D.X1,1)+size(D.X2,1),1),[],[],[]); % h = []; % for i = 1:size(D.Data,1) % for j = 1:size(D.Data,1) % h(i,j) = D.Data(i,:)*D.Data(j,:)'*D.Label(i)*D.Label(j); % end % end % f = -1*ones(size(D.Data,1),1); % [alpha,val] = quadprog(h,f,[],[],D.Label',0,zeros(size(D.Data,1),1),[]); alpha(alpha<1e-3) = 0; w = zeros(1,size(D.Data,2)); for i = 1:size(D.Label,1) w = w+alpha(i).*D.Label(i).*D.Data(i,:); end [row,~] = find(alpha~=0); b = D.Label(row(1))-w*D.Data(row(1),:)'; plot([0,-b/w(1)],[-b/w(2),0]) toc
Obj_fun
function f = obj_fun(x) global D Data = [D.X1;D.X2]; Label = [D.Y1;D.Y2]; sum = 0; for i = 1:size(Data,1) for j = 1:size(Data,1) sum = sum+1/2*(x(i)*x(j)*Label(i)*Label(j)*Data(i)*Data(j)'); end sum = sum-x(i); end f = sum;
其中注释段代码为使用二次规划求解,直接运行是先由100次蒙特卡洛模拟生成初始解,再将初始解代入非线性规划求得的,二者在运行时间上差了5倍,但为非二次规划问题提供思路。
值得注意的是,如果将两类的标签置为0和1则不能得到正确的结果,只有将标签置为1和-1时才能得到正确的SVM二分类结果
积累:是否可以不定义全局变量global D,而使用其他手段定义目标函数Obj_fun
这篇关于从零开始的机器学习--支持向量机的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-17机器学习资料入门指南
- 2024-12-06如何用OpenShift流水线打造高效的机器学习运营体系(MLOps)
- 2024-12-06基于无监督机器学习算法的预测性维护讲解
- 2024-12-03【机器学习(六)】分类和回归任务-LightGBM算法-Sentosa_DSML社区版
- 2024-12-0210个必须使用的机器学习API,为高级分析助力
- 2024-12-01【机器学习(五)】分类和回归任务-AdaBoost算法-Sentosa_DSML社区版
- 2024-11-28【机器学习(四)】分类和回归任务-梯度提升决策树(GBDT)算法-Sentosa_DSML社区版
- 2024-11-26【机器学习(三)】分类和回归任务-随机森林(Random Forest,RF)算法-Sentosa_DSML社区版
- 2024-11-18机器学习与数据分析的区别
- 2024-10-28机器学习资料入门指南