第12章 给出容错余地

优秀的调查和实验研究人员总是会包含一些衡量他们结果准确性的指标，以便信息的使用者能够正确理解结果。这个指标被称为误差边界（MOE）——它是样本统计量（总结样本的一个数字）预计与正在研究的总体参数（总结总体的一个数字）有多接近的度量。 （总体参数是总结总体的一个数字。在第4章了解更多有关统计和参数的信息。）值得庆幸的是，许多新闻记者也逐渐意识到了误差边界在评估信息时的重要性，因此开始出现包含误差边界的报道。但误差边界到底意味着什么，它是否能完整地讲述整个故事呢？

本章探讨了误差边界及其在帮助您评估统计信息准确性方面的作用，同时还研究了样本大小的问题；如果研究得当，您可能会惊讶于一个相对较小的样本如何能够很好地把握美国或世界的脉搏。

看清“加减法”的重要性

误差边界可能对你来说并不陌生。你可能以前就听说过这个术语，很可能是在调查结果的背景下。例如，你可能听说过有人报告：“这项调查的误差边界为正负三个百分点。” 你可能会想知道你应该如何处理这些信息，以及它到底有多重要。事实上，调查结果本身（没有误差边界）只是对被选中的个体样本对该问题的看法的一种度量；它们不反映整个人群在被问及时可能会有的看法。误差边界帮助你估计基于样本数据，你距离关于总体的真实情况有多近。

基于样本的结果不会与你对整个人群得到的结果完全相同，因为在抽样时，你无法从整个人群中获得每个人的信息。然而，如果研究做得正确（有关设计良好研究的更多信息，请参见第16章和第17章），样本的结果应该接近并代表整个人群的实际值，并且具有较高的置信水平。

误差边界并不意味着有人犯了错误；它只意味着你无法对人群中的每个人进行抽样，因此你期望你的样本结果与该人群有一定程度的差异。换句话说，你承认你的结果将随后的样本而变化，并且仅在一定范围内准确——这可以使用误差边界来计算。

考虑一下由一些领先的民意调查机构进行的调查的类型的一个例子，比如盖洛普组织。假设其最新的调查从美国抽样了1,000人，结果显示有520人（52%）认为总统做得不错，而48%不这么认为。假设盖洛普报告说这项调查的误差边界为正负3%。现在，你知道在这个样本中，大多数（超过50%）的人支持总统，但你能说大多数美国人都支持总统吗？在这种情况下，你不能。为什么？

你需要在你的结果中包含误差边界（在这种情况下是3%）。如果被抽样的52%的人支持总统，你可以预期所有美国人中支持总统的比例将为52%，加减3%。因此，所有美国人中支持总统的比例在49%到55%之间。这是你在抽样1,000人时能得到的最接近的结果。但请注意，这个范围的下限是49%，这代表了一个少数，因为它低于50%。因此，基于这个样本，你实际上不能说大多数美国人支持总统。你只能说你有信心在49%到55%之间的所有美国人支持总统，这结论可能或可能不是多数。

思考一下样本大小。有趣的是，从超过3.1亿人口的美国中抽取的仅有1,000个人的样本可以让你在调查结果上只有正负3%的范围。这太令人难以置信了！这意味着对于大人口，你只需对总体的一个小部分进行抽样，就能接近真实值（前提是你始终有好的数据）。统计学确实是了解人们对问题的看法的强大工具，这也可能是为什么那么多人进行调查，而你也经常被打扰要回应这些调查。

当你处理分类变量（记录某些特征而不涉及测量或计数的变量；参见第6章）时，获取比例的误差边界的一种快速且简便的方法，对于任何给定的样本大小（n），只需找到1除以n的平方根。以盖洛普民调为例，n = 1,000，其平方根大致为31.62，所以误差边界大致为1除以31.62，约为0.03，相当于3%。在本章的其余部分，你将看到如何获得更准确的误差边界测量。

寻找误差边界：通用公式

误差边界是与你的样本结果相关联的“正负”数量，当你从讨论样本本身转到讨论它所代表的整个人群时，这一点就变得明显。因此，你知道误差边界的通用公式前面包含一个“±”。那么，如何得出这个正负值（除了像上面所示的粗略估计）呢？本节将向你展示如何做到这一点。

测量样本的变异性

样本结果会变化，但变化多大呢？根据中心极限定理（参见第11章），当样本大小足够大时，样本比例（或样本均值）的抽样分布将遵循一个钟形曲线（或近似正态分布——参见第9章）。一些样本比例（或样本均值）高估了总体值，而一些低估了它，但大多数都接近中间值。

在这个抽样分布的中间有什么？如果你对所有可能抽样的结果进行平均，平均值就是分类数据情况下的实际人口比例，或数值数据情况下的实际人口平均值。通常情况下，你不知道人口的所有数值，所以你不能查看所有可能的样本结果并对其进行平均 —— 但了解所有其他样本可能性有助于你衡量你自己的样本比例（或平均值）预计会变化的程度。（有关样本均值和比例的更多信息，请参见第11章。）

标准误差是误差边界的基本组成部分。统计量的标准误差基本上等于总体标准偏差除以 n （样本大小）的平方根。这反映了样本大小对样本统计量在样本之间变化有很大影响的事实。（有关标准误差的更多信息，请参见第11章。）你必须添加或减去多少个标准误差以获得MOE，取决于你对结果有多大的信心（这被称为置信水平）。通常情况下，你希望有大约95%的信心，所以基本规则是添加或减去大约2个标准误差（确切地说是1.96）以获得MOE（你可以从经验法则中得到这个值；请参见第9章）。这使你能够考虑到通过重复抽样可能发生的所有可能结果中的大约95%。要达到99%的信心水平，你要添加和减去2.58个标准误差。（这假设了n很大的情况下是正态分布；标准偏差已知。请参见第11章。）

你可以更精确地确定在任何置信水平下你需要添加或减去多少个标准误差以计算MOE；如果条件适当，你可以使用标准正态（Z-）分布上的值。（有关详细信息，请参见第13章。）对于任何给定的置信水平，标准正态分布上的相应值（称为z*-值）表示要添加和减去的标准误差数量，以考虑到该置信水平。对于95%的置信水平，更精确的z*-值为1.96（大致等于2），对于99%的置信水平，确切的z*-值为2.58。一些更常用的置信水平（也称为百分置信水平），以及它们相应的z*-值，列在表12-1中。

为了找到类似表12-1中的z*-值，将置信水平添加到其中，使其成为小于概率，并在Z-表中找到相应的z值。例如，95%的置信水平意味着“在中间”的概率为95%，所以“小于”概率为95%加上2.5%（剩下一半），即97.5%。在Z-表的正文中查找0.975，找到z* = 1.96，对应于95%的置信水平。

计算样本比例的误差边界

当一项民意调查问题要求人们在一系列答案中进行选择时（例如，“你是否赞同或反对总统的表现？”），用于报告结果的统计量是样本中落入某个群体的人数的比例（例如，“赞同”群体）。

这被称为样本比例。你可以通过取样本中落入感兴趣群体的人数除以样本大小n来得到这个数字。

除了样本比例，你还需要报告一个误差边界。样本比例的误差边界的通用公式（如果满足某些条件）是

，其中p̂是样本比例，n是样本大小，z*是你所期望的置信水平的相应z*-值（来自表12-1）。以下是计算样本比例的误差边界的步骤：

找到样本大小n和样本比例p̂。

样本比例是落入感兴趣群体的样本中的人数除以n得到的。

将样本比例乘以(1-p̂)。将结果除以n。对计算得到的值取平方根。现在你有了标准误差将结果乘以所需置信水平的适当z*-值。

参考表12-1获取适当的z*-值。如果置信水平是95%，则z*-值为1.96。

看一下涉及美国人是否赞同总统的例子，你可以找到实际的误差边界。首先，假设你希望有95%的置信水平，因此z* = 1.96。在样本中表示赞成总统的美国人数量被发现为520。这意味着样本比例，，为520 ÷ 1,000 = 0.52。（样本大小n为1,000。）计算这个民意调查问题的误差边界的方法如下：

根据这个数据，你可以有95%的置信度得出结论，所有美国人中有52%赞同总统，误差范围为正负3.1%。

在使用样本比例误差边界公式中的z*-值时，需要满足两个条件：

你需要确保np̂是至少大于10。你需要确保n(1-p̂)是至少大于10。

在前述总统民意调查的例子中，n = 1,000，p̂= 0.52，而1-p̂= 1 – 0.52 = 0.48。现在检查这两个条件：np̂= 1,000*0.52 = 520，而n(1-p̂)= 1,000 ∗ 0.48 = 480。这两个数字都至少大于10，所以一切都没问题。

你遇到的大多数调查通常基于数百甚至数千人，因此满足这两个条件通常是轻而易举的事情（除非样本比例非常大或非常小，需要更大的样本大小来满足条件）。

样本比例是样本百分比的小数形式。换句话说，如果你有一个样本百分比为5%，在公式中你必须使用0.05，而不是5。要将百分比转换为小数形式，只需除以100。在所有计算完成后，你可以通过将最终答案乘以100%来转换回百分比形式。

报告结果

包括误差边界使你能够在样本之外对整个人群进行推断。在计算和解释误差边界之后，将其与调查结果一起报告。对于前面部分总统支持率调查的结果，你可以说：“基于我的样本，所有美国人中有52%赞同总统，误差边界为正负3.1%。我对这些结果有95%的信心。”

一个真实的民意调查机构如何报告其结果呢？以下是盖洛普的一个例子：

根据（此）调查中1,000名成年人的完全随机样本，我们有95%的信心，对于我们的抽样过程及其结果，误差边界不会超过±3.1个百分点。

听起来有点像汽车租赁广告结尾的那长串免责声明。但现在你能理解这些小字了！

永远不要接受没有研究误差边界的调查或研究结果。误差边界是估计样本统计量与你感兴趣的实际人口参数有多接近的唯一方法。样本结果会有所变化，如果选择了不同的样本，将会得到不同的样本结果；误差边界测量了这种差异的数量。

下次听到媒体关于进行的调查或民意测验的报道时，仔细看看是否提供了误差边界；如果没有，你应该问问为什么。一些新闻机构在报道调查的误差边界方面有所改善，但其他研究呢？

计算样本均值的误差边界

当研究问题要求你基于数值变量估计一个参数时（例如，“教师的平均年龄是多少？”），用于帮助估计结果的统计量是样本中所有人提供的回答的平均值。这被称为样本均值（或平均值 — 请参见第5章）。与样本比例一样，你需要报告样本均值的误差边界。

样本均值的误差边界的通用公式（假设满足某个条件）是

，其中σ是人口标准差，n是样本大小，z*是你所期望的置信水平的相应z*-值（可以在表12-1中找到）。

以下是计算样本均值的误差边界的步骤：

找到人口标准差σ，和样本大小n。将人口标准差除以样本大小的平方根。

得到标准误差。

乘以适当的z*-值（参考表12-1）。例如，如果你想要有大约95%的置信度，z*-值是1.96。

为了使用样本均值误差边界公式中的z*-值，需要满足以下条件之一：

1）原始人口从一开始就具有正态分布，或者

2）样本大小足够大，以便可以使用正态分布（即中心极限定理生效；请参见第11章）。通常情况下，样本大小 n 应该超过30，以满足中心极限定理。现在，如果是29，不要惊慌 — 30不是一个魔法数字，只是一个经验法则。（无论哪种方式，人口标准差都必须是已知的。）

假设你是一家冰淇淋店的经理，你正在培训新员工能够为大杯冰淇淋装上适当的冰淇淋量（每个10盎司）。你想要估计他们在一天内制作的冰淇淋的平均重量，并包含一个误差边界。你没有称量每个单独的冰淇淋，而是要求每位新员工随机抽查他们制作的一些大杯冰淇淋的重量，并将这些重量记录在记事本上。对于n = 50个被抽样的冰淇淋，发现样本均值为10.3盎司。假设总体标准差σ = 0.6盎司是已知的。

误差边界是多少？（假设你希望有95%的置信水平。）计算方式如下：

因此，为了报告这些结果，你可以说，基于50个冰淇淋的样本，你估计新员工在一天内制作的所有大杯冰淇淋的平均重量为10.3盎司，误差边界为正负0.17盎司。换句话说，估计（以95%的置信度）一天内制作的所有大杯冰淇淋的平均重量可能值的范围在10.30 – 0.17 = 10.13盎司和10.30 + 0.17 = 10.47盎司之间。新员工似乎提供了太多的冰淇淋（但我感觉顾客并不会感到冒犯）。

请注意，在冰淇淋筒的例子中，单位是盎司，而不是百分比！在处理和报告有关数据的结果时，始终要记住单位是什么。此外，确保统计数据以其正确的测量单位报告，如果没有，请询问单位是什么。

在n太小（通常少于30）无法使用中心极限定理的情况下，但你仍然认为数据来自正态分布时，你可以在公式中使用t*-值而不是z*-值。t*-值来自具有n - 1自由度的t分布。（第10章详细介绍了t分布的所有细节。）事实上，许多统计学家会一直使用t*-值而不是z*-值，因为如果样本大小很大，t*-值和z*-值近似相等。此外，在你不知道总体标准差σ的情况下，你可以用s，即样本标准差替代，然后在你的公式中使用t*-值而不是z*-值。

对结果的信心

如果你希望对结果的信心超过95%，你需要加减超过1.96个标准误差（见表12-1）。例如，为了获得99%的置信度，你需要加减2.58个标准误差来获得你的误差边界。然而，更高的置信度意味着更大的误差边界（假设样本大小保持不变）；因此，你必须问自己这是否值得。当从95%提高到99%的置信度时，z*-值增加了2.58 – 1.96 = 0.62（见表12-1）。大多数人认为增加和减少这么多的误差边界并不值得，只是为了在结果上多4%的置信度（99%与95%相比）。

即使包含了误差边界，你也永远无法完全确定你的样本结果是否真实反映了整体人口。即使你对结果有95%的信心，这实际上意味着如果你一遍又一遍地重复抽样过程，有5%的情况下，样本不会很好地代表人口，仅仅是由于偶然因素（而不是抽样过程或其他问题）。在这些情况下，你可能会失误。因此，所有结果都需要以此为前提来看待。

确定样本大小的影响

关于样本大小和误差边界的两个最重要的概念如下：

✓ 样本大小和误差边界呈反比关系。

✓ 在某一点之后，将n增加到已有的水平将带来递减的回报。

本节说明了这两个概念。

样本大小和误差边界

误差边界与样本大小之间的关系很简单：随着样本大小的增加，误差边界减小。这种关系被称为反比关系，因为它们是相反方向运动的。如果你仔细思考一下，这是有道理的，更多的信息通常会使结果更准确（换句话说，误差边界会变得更小）。当然，这是在数据被正确收集和处理的前提下。

在前一节中，你看到较大置信水平的影响是较大的误差边界。但是，如果增加样本大小，你可以抵消较大的误差边界并将其降至合理的水平！在第13章中了解更多关于这个概念的信息。

大并不总是更好！

以涉及总统支持率的民意调查为例（参见前文“为样本比例计算误差边界”一节），仅从美国超过3.1亿居民中抽取的1,000人样本的结果，如果所有人都被问到时，其结果与整个人口的回答相差约3%左右。

使用样本比例误差边界的公式，你可以看到误差边界在不同大小的样本中发生了巨大变化。假设在总统支持率调查中，n为500而不是1,000。（回忆一下这个例子中的 = 0.52。）因此，95%置信度下的误差边界是

，相当于4.38%。在相同的例子中，当n = 1,000时，95%置信度下的误差边界是

，相当于3.10%。如果n增加到1,500，误差边界（置信水平相同）变为

，或2.53%。最后，当n = 2,000时，误差边界是

，或2.19%。

从这些不同的结果中，你可以看到更大的样本大小会减小误差边界，但在某一点之后，你会有递减的回报。每次多调查一个人，调查的成本就会增加，从样本大小1,500增加到2,000仅使误差边界减少了0.34%（百分之三十四的一个百分点！）——从0.0253降至0.0219。为了获得误差边界的这种微小减小所付出的额外成本和麻烦可能并不值得。大并不总是更好！

但可能真正让你吃惊的是，更大有时实际上可能更糟糕！我将在下一节解释这一令人惊讶的事实。

保持对误差边界的正确看法

误差边界是衡量你期望样本结果能够代表整个研究人口的程度的一种指标。（或者至少它为你应该具有的误差上限提供了一个估计。）因为你基于一个样本得出对人口的结论，所以你必须考虑由于偶然因素导致的样本结果可能发生的变化有多大。

对误差边界的另一种看法是，它代表样本结果与实际人口结果之间的最大预期距离（如果你通过普查能够获得实际人口结果的话）。当然，如果你已经知道了人口的绝对真相，你就不会试图进行调查了，不是吗？

和了解误差边界测量了什么一样重要的是认识到误差边界没有测量到的内容。误差边界除了偶然变化之外，不测量任何其他因素。也就是说，它不测量在选取参与者、调查的准备或进行、数据收集和录入过程中，或数据分析和最终结论的制定过程中发生的任何偏倚或错误。

在审查统计结果时要记住的一句好口号是“垃圾进，垃圾出”。无论误差边界看起来多么好和科学，记住用于计算它的公式对误差边界所基于的数据的质量毫无概念。如果样本比例或样本均值是基于一个有偏的样本（偏向某些人而不是其他人）、糟糕的设计、糟糕的数据收集程序、有偏的问题，或记录中的系统性错误，那么计算误差边界就毫无意义，因为它不会起任何作用。

例如，50,000人的调查听起来很不错，但如果它们都是某个特定网站的访问者，那么这个结果的误差边界是虚假的，因为计算是基于有偏结果的！事实上，许多极大的样本是由于有偏的抽样程序而产生的。当然，有些人还是会报告它们，所以你必须查明公式中包含了哪些信息：是好信息还是垃圾？如果结果是垃圾，你就知道如何处理误差边界了。（有关调查或实验过程中可能发生的错误的更多信息，请参见分别的第16和17章。）

盖洛普组织在报告其调查结果时使用的一份免责声明中解释了误差边界到底测量了什么，以及没有测量到什么。盖洛普告诉你，除了抽样误差之外，调查还可能由于问题措辞和进行调查涉及的一些后勤问题（例如由于电话号码不再有效而导致的数据缺失）而产生其他误差或偏差。

这意味着即使在最好的意图和对细节和过程控制的最谨慎关注下，也会发生一些事情。没有什么是完美的。但你需要知道的是，误差边界不能测量这些其他类型错误的程度。而且如果一个非常可信的民意调查机构像盖洛普一样承认可能存在偏差，那么想象一下那些设计或进行得远没有那么出色的其他研究的真实情况。