2.2 评估方法
习题2.3 教材2.2节介绍了多种评估方法.假定学习算法所产生的模型按照类别出现频率进行预测，将新样例预测为训练样例数较多的类别（训练样例数相同时进行随机猜测），考虑在以下两种情况下交叉验证法（cross validation）和留一法（Leave-One-Out，LOO）的差异，并给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果.
1.假设数据集包含100个样例，其中正负例各一半.
2.假设数据集包含100个样例，其中正例51个，负例49个.
解答
1.情况一：10折交叉验证法采取分层抽样，10份数据集中均包含一半正例和一半负例，10次训练中，每次训练集中的正负例样本数相等，进行随机预测，所以错误率期望为50%；留一法每次留出一个样例作为测试集，当留出负例时，训练集由50个正例、49个负例组成，正例样本占多数.模型将所有样本预测为正例，将剩余用于评估的一个负例样本预测错误，而当留出正例时，训练集由49个正例、50个负例组成，将剩余用于评估的一个正例样本预测错误，错误率始终是100%.
2.对于情况二，10折交叉验证法和留一法得到的错误率均为49%.
习题注释 本题考查对交叉验证法和留一法的理解.在一般情况下，交叉验证法和留一法均能够用于对模型泛化能力的评估，同时用于超参数的选择.本题为展示两种评估方法的不同，构造了两种特殊的情况.这说明并非某种评估方法在所有情况下一定比另一种评估方法有效，且其评估效果依赖于模型的假设空间.
留一法是k折交叉验证法在k等于样例数m时的一种特例.通过对比评估方法在两种情况下的结果可以发现，虽然留一法能够保持训练集的大小和原始训练集几乎一致，但它在评估过程中的计算开销较大，并且采样方式具有确定性（而k折交叉验证法中的分层采样具有随机性），每次去除一个样例形成训练集，无法进行分层抽样，在极端情况下，严重破坏了原始数据的分布，导致错误率高达100%.
习题2.4 教材2.2.3节描述了自助法（bootstrapping），下面使用自助法估计统计量，对自助法做进一步分析.考虑m个从分布p（x）中独立同分布抽取的（互不相等的）观测值x1，x2，…，xm，p（x）的均值为μ，方差为σ2.通过m个样例，可估计分布的均值
和方差
设
为通过自助法采样得到的结果，且
1.证明
且
2.计算
3.计算
和
4.计算
和
，可利用如下定理：
定理2.1（全期望公式（Law of Total Expectation））
设X，Y为同一空间中的随机变量，则
定理2.2（全方差公式（Law of Total Variance））
设X，Y为同一空间中的随机变量，则
5.针对上述证明分析自助法和交叉验证法的不同.
解答
1.通过如下方式证明
和
是分布均值和方差的无偏估计.
证明 针对
求期望，基于期望的线性性质，得到
要计算
的期望，首先将其展开，得到
其中第一项利用方差的性质
，得到
对于第二项，将
代入，得到
利用xi、xj的独立性.
最后一个等式利用了在m2组期望的乘积中，符合i≠j的共有m（m-1）组这一性质.式（2.7）中第三项可变化为
综上，代入式（2.8）、式（2.9）、式（2.10），式（2.7）变化为
2.利用方差的性质将
展开，并利用随机变量的独立性，有
利用样本独立性.
在自助法中，样本xi从{x1，…，xm}中独立同分布重采样，根据bootstrapping性质，计算条件期望时，将{x1，…，xm}视为定值.
3.根据
服从分布
，得到
即重采样样本的均值等于所获取的m个样本的样本均值.于是
因此，自助法的均值估计是无偏的.为了计算
，首先利用方差定义
根据自助法采样，
独立同分布，故
进一步根据方差的定义，以及式（2.2），有
得到
于是
同第2小题，再次利用样本独立性.
即通过自助法抽取的样本计算的样本方差是有偏的.
4.根据全期望公式（式（2.4）），有
内层期望刻画自助法采样的随机性，而外层期望刻画数据集从原始分布中抽样的随机性.
根据全方差公式（式（2.5）），有
5.根据上述计算结果，可以发现
另外，若采用k折交叉验证法的方式采样，类似地，有
k折交叉验证法是将m个样例均分为k份后随机选择k-1份，取出的样例约等于
个（“约等于”源于k无法整除m的情况），等价于从总体分布中随机采样
个样例.其方差为
综上所述，虽然通过自助法采样得到的示例均值仍然是总体均值的无偏估计，但是其方差变为原来的近两倍，而这相当于使用2折交叉验证法采样的效果，所以一般而言，自助法采样对数据分布的改变大于交叉验证法.
习题注释 本题考查使用自助法进行参数估计时估计结果期望、方差的变化.更多关于自助法的分析可参考文献[8].