基于MATLAB的CNN-SVM多输入回归预测完整实现

简介：本资源是面向机器学习与智能预测方向研究者及MATLAB初学者的CNN-SVM混合模型实战方案，聚焦多输入单输出回归预测任务，适用于能源负荷预测、环境参数建模、工业过程软测量等实际场景。压缩包共9个文件，含4幅关键训练/预测结果可视化图（PNG）、2个预编译SVM核心函数（MEXW64）、1份详细实现说明文档（DOCX）、1个主程序脚本（M）和1个结构化样本数据集（XLSX），总大小929KB，目录组织清晰，便于理解模型流程与结果分析。已有3121人学习下载，资源提供完整可运行代码与真实多特征数据（7维输入→1维输出），涵盖CNN特征提取、SVM回归拟合、超参调优及预测评估全流程；特别针对MATLAB版本兼容问题给出解决方案，避免乱码困扰，助读者快速复现并拓展应用。 很多人一想到用MATLAB做回归预测，脑子里蹦出来的就是直接怼一个BP神经网络，或者套个LSTM。但真拿中低维度、样本量不算大、还带噪声的数据跑一圈就会明白，端到端深度模型在数据规模不够时，反而容易把训练集“背下来”，测试集上表现飘忽。SVM在这类问题上往往更稳，可SVM又不会自己找特征。于是CNN+SVM这种组合在工程和论文里都特别常见——CNN自动提特征，SVM负责把特征映射到回归目标，两边各干各擅长的事。这篇文章就基于MATLAB环境，把从数据预处理、CNN特征提取、SVM回归到结果评估的完整流程拆开讲清楚，重点是给出能直接改改就能用的源码和一套操作链路，适合正在做多输入回归预测、又不想在模型结构上耗太多时间的MATLAB使用者。

先把话说在前面：这里说的“CNN-SVM”不是把CNN和SVM糊在一起训一个端到端模型，而是两阶段串联——先用CNN把原始输入映射成高层特征向量，再把这个特征向量喂给SVM做回归。这种做法训练起来更可控，也方便你随时抽出特征做可视化或者喂给其他模型，实用性很强。

1. CNN与SVM组合：这种架构解决什么问题

1.1 单一模型的短板在哪里

如果你是拿原始的多维特征直接训练SVM（比如fitrsvm），效果往往取决于特征工程做得好不好。数据里经常有局部波动、相邻特征联动的信息，靠人工构造特征又累又容易漏。反过来，如果你直接训练一个CNN做回归，网络自己会学特征，但在样本量不大时，CNN最后的全连接输出层学到的回归映射可能会过拟合——训练集上loss降得很漂亮，测试集上一言难尽。

我见过不少案例，同样的数据，CNN-SVM的组合比纯CNN的RMSE能低10%到20%。原因不难理解：CNN在特征提取阶段有卷积核的归纳偏置，参数少、不容易被噪声带偏；而SVM用结构风险最小化做回归，在小样本下泛化边界通常更干净。两个模型各让一步，反而比一个模型从头扛到底更稳。

1.2 CNN在这里真正干了什么

严格地说，这个架构里的CNN不是在做最终预测，而是扮演“自动特征工程器”。卷积层通过滑窗扫描输入特征序列，提取局部模式；池化层把响应图降采样，保留主要激活、削弱位置敏感度。经过几轮卷积和池化，展平后得到的一组数值，可以理解为“机器认为这个样本最有辨识度的若干特征”。

打个生活化的比方：这就像你请了一个整理师，把杂乱的资料先分类、摘录、提炼成几页摘要，再交给一位擅长做判断的顾问去打分。CNN是整理师，SVM是顾问。

1.3 什么时候不要用这个方案

CNN-SVM不是万能药。如果你的特征只是十几个独立的表格字段，彼此之间没有相邻相关性，那一维卷积能提取的信息就很有限，不如直接用随机森林或纯SVM。另外，如果样本量极小（比如百条以内），CNN很容易学不到稳定特征，这时候老老实实用SVM加手工特征才是正路。适合这个方案的数据通常有两类：一类是时序多变量数据，比如传感器、气象、电力负荷；另一类是特征之间有局部联动关系的结构化表格数据。

实践里还有个判断小技巧：如果纯SVM在原始特征上的测试R²已经低于0.6，说明特征质量确实不行，这时引入CNN做特征提取，提升会比较明显；如果纯SVM已经超过0.85，CNN-SVM的边际收益有限，反而增加训练复杂度。

2. 数据预处理与归一化：最容易翻车却最影响结果的一步

2.1 多输入回归的数据长什么样

这篇文章对应的数据文件是Excel表格，格式非常直观：每行是一个样本，前几列是输入特征，最后一列是目标值。比如有9个输入特征，数据就是10列，其中前9列是X，最后一列是Y。这就是典型的“多输入单输出回归”。

示例数据结构如下：

2.2 为什么归一化参数必须在训练集上计算

很多人拿到数据，第一步直接全表mapminmax归一化，然后才划分训练集和测试集。这个顺序是错的，而且属于非常隐蔽的数据泄露——测试集的最大值和最小值在训练阶段就已经被模型知道了，测试集等于“开卷考试”，算出来的评估指标会虚高。

正确的顺序是：先按行随机打乱样本，划分出训练集和测试集，然后只在训练集上计算每个维度的最小值和最大值，再把训练集和测试集都按这组参数做归一化。代码可以这样写：

data = readmatrix('data.xlsx'); % 读数据 X = data(:, 1:end-1); % 多输入特征 Y = data(:, end); % 回归目标 rng(42); % 固定随机种子，保证可复现 idx = randperm(size(X, 1)); trainNum = round(0.8 * length(idx)); % 80%训练，20%测试 trainIdx = idx(1:trainNum); testIdx = idx(trainNum+1:end); X_train = X(trainIdx, :); Y_train = Y(trainIdx, :); X_test = X(testIdx, :); Y_test = Y(testIdx, :); % 只在训练集上获取归一化参数 [X_train_norm, X_ps] = mapminmax(X_train', 0, 1); [Y_train_norm, Y_ps] = mapminmax(Y_train', 0, 1); % 测试集用训练集的参数，重新归一化 X_test_norm = mapminmax('apply', X_test', X_ps); Y_test_norm = mapminmax('apply', Y_test', Y_ps);

注意mapminmax在MATLAB里默认是按行操作的，所以这里都对做了转置，归一化后再转回来用。这是一个非常容易记混的细节。

2.3 要不要做异常值清洗

回归任务里，目标值的极端离群点会严重拉扯SVM的回归超平面。你在跑之前最好用排序或箱线图扫一眼Y的分布，如果有个别值比其他数据大几个数量级，建议先用中位数绝对偏差（MAD）把离群点拉回合理范围，或者直接剔除。

我一般会先画个直方图看看Y分布，再用clip方法把超过p99和低于p1的值截断到边界。别看这步简单，对最终R²的影响可能比换模型还大。

3. 从多输入数据到卷积特征：CNN结构设计与训练细节

3.1 网络结构怎么搭

对于多输入的表格型数据，我把每个样本处理成一条“长度为特征数、通道数为1”的序列，然后使用一维卷积去滑窗。这样做的前提是你认为相邻特征之间存在局部相关性；如果你的特征没有顺序感，可以把特征随机重排后用同样的结构，效果差异也能说明卷积是否真的捕捉到了结构信息。

推荐的基础结构如下：

这里把第8层全连接层命名为'feature'，后面要在这里提取特征向量。64维特征通常已经比较够用，如果特征数原始就有几十个，这里可以放宽到128。

对应的MATLAB网络定义代码：

numFeatures = size(X_train, 2); layers = [ sequenceInputLayer(numFeatures) convolution1dLayer(3, 16, 'Padding', 'same') reluLayer maxPooling1dLayer(2, 'Stride', 2) convolution1dLayer(3, 32, 'Padding', 'same') reluLayer maxPooling1dLayer(2, 'Stride', 2) fullyConnectedLayer(64, 'Name', 'feature') reluLayer fullyConnectedLayer(1) regressionLayer ];

因为用了sequenceInputLayer，训练数据要整理成cell数组的形式，每个样本是一个向量：

XTrainSeq = num2cell(X_train_norm', 1); % 1xN的cell，每个cell是numFeatures x 1 YTrainSeq = Y_train_norm'; XTestSeq = num2cell(X_test_norm', 1); YTestSeq = Y_test_norm';

3.2 训练参数怎么定

训练CNN不用追求极致收敛，你的目标不是让CNN自己输出完美回归值，而是让中间层特征有区分度。所以损失函数只需要降到合理范围即可。推荐配置：

options = trainingOptions('adam', ... 'MaxEpochs', 150, ... 'MiniBatchSize', 32, ... 'InitialLearnRate', 1e-3, ... 'LearnRateSchedule', 'piecewise', ... 'LearnRateDropFactor', 0.5, ... 'LearnRateDropPeriod', 50, ... 'ValidationData', {XTestSeq, YTestSeq}, ... 'ValidationFrequency', 20, ... 'Plots', 'training-progress', ... 'Verbose', false); net = trainNetwork(XTrainSeq, YTrainSeq, layers, options);

几个参数我解释下：初始学习率1e-3是ADAM优化器比较安全的起点；学习率每50轮降一半，避免后期震荡；MiniBatchSize设32，如果你的样本量很小，可以降到16。训练过程中如果训练loss持续下降但验证loss在上升，就说明CNN在过拟合，可以提前终止。

提示：训练轮数不是越多越好。我实测这种两阶段模型，CNN训练150轮以内基本就够了，太久反而会把特征压缩到“只认训练集”的程度，后面SVM怎么调都救不回来。

3.3 关键一步：从CNN中抽特征

训练完成后，真正要用的是中间层的输出。用activations函数提取'feature'层的激活值：

featureLayer = 'feature'; features_train = activations(net, XTrainSeq, featureLayer, 'OutputAs', 'rows'); features_test = activations(net, XTestSeq, featureLayer, 'OutputAs', 'rows'); % 转成普通矩阵：样本数 x 特征维度 features_train = double(features_train); features_test = double(features_test);

这里的输出行数为样本数，列数为64，也就是每个样本被压缩成了一个64维的向量。之所以不直接取最后一层全连接输出，是因为最后一层是往单一数值上压，信息丢失太严重；'feature'层保留的64维特征更适合作为SVM的输入。

4. 中间层特征到SVM回归：核心衔接实现的完整代码

4.1 SVM回归到底在做什么

SVM做回归（SVR）的思路和做分类不完全一样。回归SVR允许预测值和真实值之间存在一个“不敏感带”，在这个带内的误差不计入损失，只惩罚超出带外的偏差。这就保证了模型在拟合数据的同时不会太激进，对噪声有天然容忍度。

fitrsvm里有三个参数直接影响结果：

• BoxConstraint（C）：越大越强调拟合训练数据，越小模型越平滑
• KernelScale（gamma的倒数形式）：控制RBF核的影响范围，越小越容易过拟合，越大模型越平缓
• Epsilon（ε）：不敏感带的宽度，越大允许的误差越大

初始值建议：BoxConstraint设为1，KernelScale设为'auto'，Epsilon设为0.1。后续你可以在网格搜索里让它们在一个量级范围内上下浮动。

4.2 核心训练代码

svmMdl = fitrsvm(features_train, Y_train_norm, ... 'KernelFunction', 'rbf', ... 'BoxConstraint', 1, ... 'KernelScale', 'auto', ... 'Epsilon', 0.1, ... 'Standardize', true, ... 'Verbose', 0);

这里Standardize一定要设成true。原因在于CNN提取出来的特征虽然经过了relu，但各维度数值范围可能还差得很远，SVM对特征尺度极其敏感，内部标准化之后能让RBF核的距离计算更合理。

预测和反归一化：

pred_norm = predict(svmMdl, features_test); pred_test = mapminmax('reverse', pred_norm', Y_ps); pred_test = pred_test'; Y_test_original = Y_test;

反归一化时用的还是之前训练集算出来的Y_ps，这一行代码能帮你绕开很多人踩过的“预测值范围和真实值对不上”的坑。

4.3 特征维度太大的兜底方案

如果输入特征确实很多，CNN的中间层又设得比较大，提取出的特征可能成百上千维，SVM训练会明显变慢。建议在喂给SVM之前先做一步PCA降维，通常保留前50到100个主成分就够：

[coeff, score, ~] = pca(features_train); features_train_pca = score(:, 1:80); features_test_pca = features_test * coeff(:, 1:80);

注意PCA只能在训练集上拟合，测试集用同一组coeff投影，原因和归一化一样，不能数据泄露。

5. 预测结果怎么评估：回归指标计算与可视化

5.1 四个指标一次算齐

回归评估光看RMSE还不够，最好把MAE、MAPE、R²一起算出来，从不同角度衡量误差。直接给代码：

% 计算指标 rmse = sqrt(mean((Y_test_original - pred_test).^2)); mae = mean(abs(Y_test_original - pred_test)); mape = mean(abs((Y_test_original - pred_test) ./ Y_test_original)) * 100; ss_res = sum((Y_test_original - pred_test).^2); ss_tot = sum((Y_test_original - mean(Y_test_original)).^2); r2 = 1 - ss_res / ss_tot; fprintf('RMSE: %.4f\n', rmse); fprintf('MAE: %.4f\n', mae); fprintf('MAPE: %.2f%%\n', mape); fprintf('R²: %.4f\n', r2);

这些指标里，RMSE对大误差敏感，MAE更直观，MAPE适合看相对误差，R²反映模型解释方差的比例。R²接近1最好，但千万别只看R²，两个样本量不同、数据波动程度不同的任务，R²不可直接横向比较。

5.2 画图示例

MATLAB画真实值和预测值对比图，是判断模型哪里漂移最高效的方式：

figure('Color', 'w'); plot(Y_test_original, 'b-o', 'LineWidth', 1.2, 'MarkerSize', 4); hold on; plot(pred_test, 'r-^', 'LineWidth', 1.2, 'MarkerSize', 4); legend('真实值', '预测值', 'Location', 'best'); xlabel('测试样本序号'); ylabel('目标值'); title('CNN-SVM回归预测结果对比'); grid on;

我习惯在图上直接标注RMSE和R²，方便汇报截图：

text(0.6, 0.85, sprintf('RMSE: %.4f R^2: %.4f', rmse, r2), ... 'Units', 'normalized', 'FontSize', 12, ... 'BackgroundColor', [1 1 1], 'EdgeColor', [0.3 0.3 0.3]);

5.3 结果不好时先从哪查起

如果测试集上R²很低，先别急着调SVM参数。按这个顺序排查：第一，看训练集和测试集的归一化过程是否用了同一组参数；第二，看CNN特征层的激活可视化，如果特征几乎都集中在一个值附近，说明CNN没有学到有效模式，需要加大网络容量或调整卷积核尺寸；第三，检查数据划分是否有明显分布差异，可以画出测试集真实值的直方图，看有没有训练集中未出现过的取值区间。

6. 从能跑通到能实战：多输出、调参与常见报错

6.1 多输出回归怎么处理

标题里说的是“多输入回归预测”，实际你可能会遇到多个输出列的情况，比如同时预测温度和湿度两个目标。fitrsvm本身只支持单输出，多输出有两种常见做法：一是对每个输出目标分别训练一个SVM模型，输入特征用同一组CNN特征；二是用fitrensemble或机器学习集成模型做多输出。第一做法更符合CNN-SVM的主题，操作也最简单，遍历目标列就行。

6.2 训练过程的常见报错与解法

我在实际跑代码时遇到过几个让我花了大半天排查的坑，列出来帮你排雷。

第一个坑是activations输出格式。如果使用sequenceInputLayer，训练数据是cell数组，activations默认可能返回带额外维度的数据，直接用size确认一下，如果维度是“特征维度 x 样本数 x 1”，需要用squeeze或reshape调整成“样本数 x 特征维度”。

第二个坑是mapminmax维度不匹配。常见报错是“Matrix dimensions must agree”，原因是给mapminmax传了列向量而不是行向量。所有传进去的数据都记得先转置。

第三个坑是MATLAB版本差异。R2021a之前的版本里，convolution1dLayer和maxPooling1dLayer的名字、参数名可能不完全一致，如果你的版本较老，可以把一维卷积换成convolution2dLayer，把输入reshape成“特征数 x 1”的图像形式，输出结构完全等价，只是稍慢一点。

第四个坑是训练时loss保持在NaN。绝大多数情况与学习率过大或输入含NaN有关。先检查原始数据里有没有NaN，再检查归一化后有没有inf，最后把学习率降到1e-4试试。

6.3 调参顺序和我的经验

CNN-SVM两阶段模型最大的好处是调参可以解耦。先固定SVM用fitrsvm默认参数，调CNN训练直到loss收敛；再固定特征提取层，调SVM的BoxConstraint和KernelScale；最后再回去轻微调整CNN的中间层维度，形成闭环。

我自己的习惯是先用一个粗糙的训练轮数快速跑通全流程，确认评估指标能算出来，再回来微调。不要一开始就追求最终精度，很多人在参数上耗太多时间，结果发现是数据划分或归一化的问题。

SVM参数搜索时，用交叉验证是比较可控的做法：

rng(42); cvMdl = fitrsvm(features_train, Y_train_norm, ... 'KernelFunction', 'rbf', ... 'OptimizeHyperparameters', {'BoxConstraint', 'KernelScale', 'Epsilon'}, ... 'HyperparameterOptimizationOptions', struct('Optimizer', 'bayesopt', ... 'MaxObjectiveEvaluations', 30, 'ShowPlots', false));

网格搜索Bayeopt在小数据集上很管用，通常迭代30次就能找到不错的参数组合。如果你的样本量过万，建议还是手动给定几个候选值，用K折交叉验证选最优，否则优化过程会很慢。

6.4 个人体会

这套流程我前后用了不少次，最大的体会是：CNN-SVM的收益不在“单个模型多能打”，而在“两个模型都干自己擅长的活”。CNN最怕小数据，SVM最怕烂特征，组合起来正好互相兜底。但这不是你忽略数据质量的借口——归一化顺序、离群点处理、随机种子这些基本功，任何一个翻车，后面再精巧的架构都白搭。

如果之后你想继续扩展这个项目，方向也很多：比如把CNN中间层特征和原始特征拼接起来作为增强特征集，或者用贝叶斯优化同时搜索CNN结构和SVM参数。这些玩法都是在今天这套代码上做加法。先把基础链路跑通，再去探索那些更花哨的部分。

本文还有配套的精品资源，点击获取