民调为什么常常失准?如何读懂数字
一到选举季,新的数字几乎每天都会涌来。“A候选人48%,B候选人45%”这样一句话登上头条,人们试图凭这一行数字判断走势。可是等到实际结果出来时,和民调不一致的情况并不少见。那么,民调就是不可靠吗?并不一定。民调不是“未来预言”,更像是“在特定时间、用特定方法收集人们回答后,用统计方式概括出来的一张照片”。这张照片之所以会模糊,或拍摄角度出现偏差,是有明确原因的。本文将从结构上梳理这些原因,并总结如何不被数字牵着走。
| 小标题 | 核心摘要 |
|---|---|
| 导言 | 一到选举季,新的数字几乎每天都会涌来 |
| 用一小撮样本推断整体 | 向大约一千人提问,就能推断数千万人在想什么吗? |
| 名为误差范围的小字 | “48%对45%,误差范围±3.1个百分点 |
| 问题塑造答案 | 同一件事,提问方式不同,回答也会不同 |
| 为什么同一天的民调也会不同 | 看到相近时期发布的民调给出各不相同的数字,人们会更加困惑 |
| 读懂数字的实用检查清单 | 谁在何时、以何种方式做了调查? |
| 归根结底,我们该如何看待民调 | 民调看起来经常失准的真正原因,是我们把以“区间”形式呈现的估计,读成了一个“点”式预言 |
用一小撮样本推断整体
向大约一千人提问,就能推断数千万人在想什么吗?从统计学上说,可以。关键在于,这一千人必须是一个“像”整体的缩小版。这就像从一锅充分搅拌的汤里舀一勺,来判断整锅汤的咸淡。不过,只有汤被均匀搅拌后,这一勺才有意义。如果汤没有搅匀,从不同位置舀起,可能有的咸、有的淡。在民调中,相当于“搅拌均匀”的就是随机抽样。
问题在于,现实中很难做到完美随机。电话调查会偏向愿意接电话的人,自动语音应答调查,也就是ARS,会偏向愿意一路按键到最后的人,在线调查则会偏向加入该样本库的人。如果容易接触到的人和难以接触到的人想法不同,那么舀出的这一勺就不能代表整锅汤的味道。为了进行校正,调查机构会按照实际人口的性别、年龄和地区比例进行“加权”。但加权终究只是事后校正,无法把一开始就遗漏的群体的真实想法完全恢复出来。
名为误差范围的小字
“48%对45%,误差范围±3.1个百分点。”很多人只看前面的数字,却忽略后面的小字。然而,这些小字会彻底改变结论。如果误差范围是±3.1个百分点,那么48%的真实值可能大约落在44.9%到51.1%之间。45%同样可能在41.9%到48.1%之间。如果两位候选人的可能区间有如此大的重叠,那么3个百分点的差距在统计意义上并不是“领先”,而更接近“难分高下”。媒体常说的“误差范围内拉锯”或“极其胶着”,指的正是这种情况。
此外,误差范围只计算“抽取样本过程中产生的随机波动”。由于问题设计不当、某一群体整体拒绝回应,或受访者没有说出真实想法而造成的误差,并不包含在这个±数字里。也就是说,把实际不确定性看作总是大于标示的误差范围,会更稳妥。
问题塑造答案
同一件事,提问方式不同,回答也会不同。“你支持这项政策吗?”和“你支持这项可能增加税负的政策吗?”会引出完全不同的答案。选项呈现的顺序、候选人姓名读出的顺序,以及是否提供“不知道”选项,也会影响结果。这被称为“框架效应”和“顺序效应”。
人的心理也会介入其中。人们在面对访问员时,往往倾向于给出社会上“看起来合适”的答案,这就是社会期许偏差。此外,也存在“隐藏选票”:有人不愿表明自己的选择,推迟回答或回答“没有”,直到真正做决定的瞬间才拿定主意。一个人在调查时点和决定时点之间改变想法,并不是说谎,而是自然现象,也是照片变得模糊的另一个原因。
为什么同一天的民调也会不同
看到相近时期发布的民调给出各不相同的数字,人们会更加困惑。但这其实很自然。因为各机构的调查方式,如电话访问与ARS、样本规模、加权方法和问题表述都不一样。因此,专家建议不要为单个调查一喜一忧,而应把多项调查汇总起来,看“民调平均”所呈现的趋势线。比起一张模糊的照片,叠加多张照片得到的轮廓更接近真实。
读懂数字的实用检查清单
- 谁在何时、以何种方式做了调查?先确认委托机构、调查机构、调查时间和方式,如电话访问、ARS或在线调查。
- 样本数和回应率:样本少或回应率很低,不确定性就会相应增加。
- 比较误差范围和差距:如果两个数值的差小于误差范围,就应读作“胶着”,而不是“领先”。
- 查看问题表述:看看选项顺序或措辞是否向某一方倾斜。
- 查看“不知道、未回应”的比例:这个数值越大,结果在最后阶段波动的空间越大。
- 不要只看一项调查,而要看多项调查的平均和趋势。
大多数国家都有规定,公布民调结果时必须同时公开样本数、误差范围和调查方法等信息。如果缺少这些信息,就可以把这种“黑箱数字”视为难以信任的信号。
归根结底,我们该如何看待民调
民调看起来经常失准的真正原因,是我们把以“区间”形式呈现的估计,读成了一个“点”式预言。调查不是预测未来的工具,而是一张模糊但有用的照片。只有把照片当作照片看,才能看见其中的信息。认真读小字,也就是误差范围;不要只看单项调查,而要看趋势;并养成怀疑问题如何塑造答案的习惯。只要养成这三种习惯,我们就能从被每天涌来的数字左右的人,向能够批判性阅读数字的人迈进一步。