在学习概率论与数理统计的相关知识时,大家肯定会听到”贝塞尔校正(Bessel's Correction)“这个名词,这是德国天文学家,数学家Friedrich Bessel在进行天体测量学研究时提出的一个方法。可能大家看到一个以人名命名的概念就会觉得很难,其实这只是一个与统计学的方差和标准差相关的一个修正方法而已。下面我们来具体讲解一下。
首先列出几个熟悉的公式:依次是
- 总体标准差(standard deviation)
- 样本标准差(sample standard deviation)
- 总体方差(standard variation)
- 样本方差(samplevariation)
以上方差与标准差的区别是,标准差是由方差取开平方得到的,公式中的具体含义在这里不多加讨论,我们主要说明为什么会出现 n-1 这一项。
当我们对数据总体进行统计时,由于每一个数据都被使用到,所以计算得到的标准差和方差是能够准确体现整个数据集特征的。而当从总体中提取出某个样本时,该样本当中的数据在一定程度上会集中在某个范围之中,由此计算出来的标准差和方差不能准确体现出数据总体的情况,通常来说得到的结果会比总体的要小。
举一个例子,如果一个数据集满足高斯分布(Normal Distribution),那当我们提取样本的时候,数据基本上会集中在中间的部分,而边缘值的数目可能会比较少,所以最后得到的样本方差和样本标准差会比总体要小。
为了修正这个偏差,在计算样本的方差和标准差时,我们将使用 n-1 代替 n。这样处理后最直接的结果是,公式中的分母变小,得到的结果将会变大,能够更加准确地通过该样本预测总体的情况。
但是,这里有几点需要特别注意的:
1. 这个校正方法会增大预测中的均方误差;
2. 通常使用样本估计总体时,我们也无法得到总体的平均值,所以运算使用的平均值一般是通过样本数据得到的。求该平均值时我们还是除以 n , 而不是 n - 1;
3. 通过上面第2点得到的对总体方差的预测属于带有偏差的方差估计。