减少统计误差,把统计误差控制在科学合理范围,是统计理论研究的重要内容, 也是统计实践的重要方面。在统计生产过程中,减少各个环节统计误差,对确保数据真实准确、提高统计数据质量至关重要。
目录
统计误差也称统计数据误差,是统计工作实际获取数据结果与相应客观真值之间的差距。根据统计生产的主要过程,统计误差可分为设计误差、调查误差和整理误差,调查误差是统计误差的主要来源,实际工作中,如果不加特别说明,统计误差通常指的是调查误差。根据统计误差产生的原因,统计误差可分为抽样误差和非抽样误差。根据误差的表现形式,统计误差又可分为绝对误差与相对误差。
统计误差的产生原因多种多样,既有技术性因素引起的误差,例如统计方法不科学、统计指标设计不合理造成的误差;也有非技术性因素导致的误差,例如统计对象故意谎报,人为干扰统计工作造成的误差。统计误差产生的原因可以概括为抽样误差和非抽样误差。
抽样误差是当采用随机原则从总体中抽取部分个体组成样本研究总体时,样本估计值与总体真值之间的差异。抽样误差是由样本抽取随机性导致的,而不是调查错误的结果,只要采用抽样调查,抽样误差就不可避免。全国大型抽样调查的抽样误差一般应控制在 5% 以内,才能保证调查结果的可靠性。例如,我国 2016年“公众生态环境满意度”抽样调查的抽样绝对误差的控制目标在3%以内。
非抽样误差是相对于抽样误差而言的,指除了抽样随机性以外,由于其他多种原因引起的调查结果与总体真值之间的差异。在抽样调查和全面调查(普查)中都可能存在非抽样误差,具体产生的原因包括:
(1)全面调查中由于统计指标、统计分组、调查方法设计不周、调查对象范围界定不清而产生的涵盖误差;
(2)抽样调查构造抽样框时,目标总体与抽样总体不一致所导致的抽样框误差;
(3)由于被调查对象无回答造成的无回答误差;
(4)统计人员填写调查表错误,以及数据录入、整理、处理等环节中存在错误所产生的计量误差。实践中,非抽样误差通常是上述全部或部分原因综合作用结果。例如,第六次全国人口普查事后质量抽查结果显示普查人口漏登率为 0.12%,这主要是普查中各种非抽样误差的综合结果。
统计误差是反映统计数据质量的重要指标。统计误差越大,准确性越低,统计数据质量越差;统计误差越小,准确性越高,统计数据质量越好。
首先,统计误差可以作为评判一项调查结果是否准确可靠的重要依据。当统计误差被控制在可接受范围内时,统计推断的结果才有意义。我国 2016 年“公众生态环境满意度”抽样调查在省级层面的绝对误差低于 3% 的控制目标,据此可认为抽样方案设计科学、合理,样本具有良好的代表性,估计精度能够同时满足全国和省级层面的数据使用需要。
其次,统计误差可以作为对比统计数据质量的重要依据。全国农业普查公报显示,数据填报综合差错率已经由 1996 年第一次普查的 4.9‰下降为 2016 年第三次普查的 3.3‰。这说明我国农业普查经过二十年的实践探索,数据质量在稳步提高。
均方误差模型可表示统计调查总误差,令总体参数真值为,统计调查值为, 调查值的数学期望为,则均方误差。式中,为调查方差,用来测量多种误差因素对调查结果产生的方差总和, 为净偏差,用来测量多种误差因素对调查结果产生的偏差总和。如图 1 所示,均方误差模型可用直角三角形的三边表示,从理论上描述了统计调查误差的数量关系,实践中统计误差的测量具体体现为对抽样误差和非抽样误差的测量。
图 1 均方误差、偏差及方差的数量关系
(一)抽样误差的测量
调查方差是抽样误差的具体形式。以简单随机抽样为例,若从某个包含 200户的村委会中采用不重复简单随机抽取 10 户家庭估计该村家庭户均人口规模为=4.3 人,10 样本家庭人口规模的方差为 2.23 人。该抽样调查的平均误差为:
(二)非抽样误差的测量
当总体参数真值为 ,统计调查值为 时,统计调查数据的绝对误差是, 相对误差是。在实际工作中,可将数据质量 相对较高的事后重复调查数据作为推算统计误差的真值标准。例如,人口普查中某普查小区调查登记的人口是1005 人,在事后质量抽查中被抽中为复查点,经过重新调查登记核对,最终确定该普查小区人口为 1000 人。那么,该小区普查登记的人口统计数据的绝对误差是5人,相对误差是 5‰。对于全面调查(普查)而言,非抽样误差是各种误差因素综合作用的结果,一般可通过事后重复调查进行推算,以绝对误差或相对误差的偏差形式予以表现,例如 , 第六次全国人口普查事后质量抽查估计的普查人口漏登率为 0.12%,即根据事后抽查测算结果,全国人口普查少登记了 1646620人。
对于全面调查,控制统计误差的主要措施有:
(1)提高统计设计的科学性。
(2)加强培训,提高调查员素质。
(3)降低被调查者的不回答率和回答误差。
(4) 采用先进的信息处理技术,降低数据汇总整理过程中的统计误差。
例如,第三次全国农业普查前制定了周全细致的试点方案,普查中开展广泛的培训与动员宣传、采用遥感信息技术和手持电子设备,普查登记后采用先进的计算机处理技术,切实防范和降低各种统计误差,有效地保证农业普查的数据质量。第三次全国农业普查公报显示农业普查登记户的漏报率为 0.19%,普查指标数据差异率为 0.4%。
对于抽样调查,重点是控制抽样误差,主要措施有:
(1)设计科学合理的抽样方法。全国大型抽样调查的抽样方法通常是简单随机抽样、分层抽样、整群抽样、系统抽样、多阶段抽样等多种方法的组合,保证从总体中抽取出有代表性的样本。
(2) 适当增加样本量。在其他条件相同的情况下,样本量越大,抽样误差越小,如图 2 所示,在确定样本量时还要考虑可承担的调查成本。
编辑图 2 抽样误差与样本量的关系