在数据量很少，用什么模型？（点击查看）中，我们总结过当数据量很少时如何选择模型和方法，以使得数据能够最大限度的得到利用。
其中有一个方法就是做交叉验证。
我有备选的模型G(x1, x2, x3)， G(x1, x5, x6), F(x1, x2, x3)，想知道哪一个预测的效果好。不能做样本内预测（就是用样本训练出模型，再用同样的样本代到模型中看准确度），样本量太少，再分成训练集和测试集就更少的可怜了，怎么办？
K折交叉验证可以充分利用少样本的信息。
K折交叉验证是将样本分成K个子样本集，拿出其中的K-1个子样本集来训练模型，用剩下的1个子样本集来对模型进行验证；再拿出K-1个训练模型，留下另外1个（与上一步的不同）子样本集进行验证......，如此交叉验证K次，每个子样本集验证1次，平均K次的结果作为一个模型的预测效果。
而本文想说的留一交叉验证（Leave-one-out cross validation, LOOCV）就是这种方法的极端情况：
假设只有10个样本（真的很小啊），每次拿出其中9个来训练模型，用剩下一个进行测试，得到一个测试结果（真实值与预测值的差异）；再拿出另外9个进行训练，留下另外一个进行测试......如此验证10次（每个样本都能轮到一次验证样本），将10次的预测效果平均，就可以评价这个模型的好坏。
留一交叉验证就是留下1个单样本，将其他所有样本拿来做训练。可以充分利用小样本的信息。
下面分享一下数说君留一交叉验证的SAS代码，样本量假设为30：
*样本量30;
%let K=30;
*为数据增加一个变量：index，标识出观测值的ID（从1到30）;
data sample;
set sample;
index = _n_;
run;
*用全30个样本建模看一下;
proc reg data=sample;
model y= x1 x2 x3;
run;
data sample_all;
set sample;
selected = .;
replicate = .;
run;
*每次模型将一个样本留作测试，其他用来训练样本，重复30次，那我们就建立30个数据集，并将这30个数据集合在一起;
%macro generateData;
%do i = 1%to &K;
*每次选择一个观测值，其selected=0，意为测试样本，其他29个均为1，意为训练样本。
data temp;
set sample;
if index = &i thenselected = 0;
else selected = 1;
replicate =&i;
run;
data sample_all;
set sample_all temp;
run;
%end;
data sampleOut;
set sample_all;
where selected ^= .;
run;
%mend;
*运行宏;
%generateData;
*slelected=0的样本意为一个数据集中的测试样本，我们看一下是否每个观测值都轮到一次测试;
proc print data=sampleOut;
where Selected=0;
var Selected id;
run;
data sampleOut;
set sampleOut;
if selected then new_y=y;
run;
*计算selected=0的样本、也就是测试样本的预测值;
proc reg data=sampleOut;
model new_y=x1 x2 x3;
by replicate;
outputout=out1(where=(new_y=.)) predicted=y_hat;
run;
data out2;
set out1;
d=y-y_hat;
absd=abs(d);
run;
*画出预测值与真实值的散点图;
proc gplot data=out2;
plot y*y_hat;
run;
proc summary data=out2;
var d absd;
outputout=out3std(d)=rmse mean(absd)=mae sum(d)=sumd;
run;
*计算y与y_hat的相关系数，以及y=y_hat的R方（这个常被用于评价模型的拟合好坏）;
proc corr data=out2 pearson out=corr(where=(_TYPE_=CORR));
var y ;
with y_hat;
run;
data corr;
set corr;
Rsqrd=y**2;
run;
参考资料：
http://altons.github.io/sas/2013/05/22/cross-validation-using-sas/
欢迎大家提出异议或留言交流，这里是数说工作室——数据分析师之家！
1. 关于数据分析的提问或求助直接在微信后台留言。
2. 转载、投稿、免费发布招聘、合作，请加数说君个人微信AnselT，或Email：jiayounet@163.com。
数说工作室
数据分析师之家 | 金融 生物 零售 互联网
微信ID：shushuojun
长按二维码关注数说工作室
