基于遗传算法优化XGBoost的多变量时间序列预测模型：参数优化与交叉验证的MATLAB实现

基于遗传算法优化算法优化XGBoost(GA-XGBoost)的多变量时间序列预测 GA-XGBoost多变量时间序列 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码 注暂无Matlab版本要求 -- 推荐 2016B 版本及以上 注采用 XGBoost 工具箱仅支持 Windows 64位系统最近在捣鼓多变量时间序列预测发现XGBoost虽然好用但参数调起来真是要命。今天分享个野路子——用遗传算法给XGBoost做自动化调参GA-XGBoost实测在电力负荷预测场景下MAPE降了2个百分点。先看效果再聊原理Matlab代码放最后自取。基于遗传算法优化算法优化XGBoost(GA-XGBoost)的多变量时间序列预测 GA-XGBoost多变量时间序列 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码 注暂无Matlab版本要求 -- 推荐 2016B 版本及以上 注采用 XGBoost 工具箱仅支持 Windows 64位系统数据准备阶段有个坑多变量时间序列记得做滑窗处理。假设我们有温度、湿度、电价三个特征预测用电量用下面这段生成时序特征矩阵lookback 24; % 看过去24小时 X []; for i lookback:size(data,1) X [X; data(i-lookback:i-1, :)]; end y data(lookback1:end, 1); % 预测目标列交叉验证要玩点花的传统时序split容易导致数据泄露这里用时间序列交叉验证TimeSeriesSplit。5折验证的矩阵生成代码cv cvpartition(length(y), Holdout, 0.2); % 20%验证集 trainIdx training(cv); testIdx test(cv);遗传算法核心在适应度函数。这个函数会评估每组参数的交叉验证得分function fitness ga_fitness(params) num_round round(params(1)); % 迭代次数 max_depth round(params(2)); % 树深度 eta params(3); % 学习率 model xgb_train(X(trainIdx,:), y(trainIdx),... num_round, num_round,... max_depth, max_depth,... eta, eta); pred xgb_predict(model, X(testIdx,:)); fitness -sqrt(mean((pred - y(testIdx)).^2)); % 负RMSE end参数搜索范围设置技巧迭代次数50-500整数树深度3-12整数学习率0.01-0.3指数分布options optimoptions(ga,PopulationSize,20,MaxGenerations,50); [best_params, fval] ga(ga_fitness,3,... [],[],[],[],... [50,3,0.01],... % 下限 [500,12,0.3],... % 上限 [],options);实战发现几个玄学点树深度超过8后预测波动变大建议用早停法学习率低于0.05时需要增加迭代次数加入特征重要性筛选能提速30%完整代码已测试通过需要安装xgboostwindowsv1.2某气象数据集上的特征重要性可视化importance xgb_importance(model); bar(importance); xlabel(特征索引); ylabel(重要性得分); title(GA-XGBoost特征重要性排名);最后说下硬件要求普通办公电脑i516G内存跑一代种群大概3分钟。如果遇到工具箱报错检查下Matlab是不是2016b之后的64位版本这个坑我踩过两次...