여론조사는 왜 자주 빗나갈까? 숫자를 읽는 법

선거철이 되면 매일같이 새 숫자가 쏟아진다. 'A 후보 48%, B 후보 45%' 같은 한 줄이 헤드라인을 장식하고, 사람들은 그 한 줄로 흐름을 읽으려 한다. 그런데 막상 결과를 받아보면 조사와 어긋나는 일이 적지 않다. 그렇다면 여론조사는 엉터리일까? 꼭 그렇지는 않다. 여론조사는 '미래 예언'이 아니라 '특정 시점, 특정 방법으로 모은 사람들의 응답을 통계로 요약한 사진'에 가깝다. 그 사진이 흐릿하거나 각도가 틀어지는 데에는 분명한 이유가 있다. 이 글은 그 이유를 구조적으로 살펴보고, 숫자에 휘둘리지 않고 읽는 법을 정리한다.

표본 한 줌으로 전체를 추정한다는 일

수천만 명의 생각을 천 명 안팎에게 물어 짐작한다는 게 가능할까? 통계적으로는 가능하다. 핵심은 그 천 명이 전체를 '닮은' 축소판이어야 한다는 점이다. 마치 잘 끓인 국 한 숟갈로 솥 전체의 간을 보는 것과 같다. 단, 국이 골고루 섞여 있어야 한 숟갈이 의미가 있다. 골고루 섞이지 않은 국에서는 어디를 떠 먹느냐에 따라 짠맛과 싱거운 맛이 갈린다. 여론조사에서 '골고루 섞기'에 해당하는 것이 무작위 추출(random sampling)이다.

문제는 현실에서 완벽한 무작위가 어렵다는 데 있다. 전화 조사는 전화를 받는 사람에게로, 자동응답(ARS)은 끝까지 버튼을 누르는 사람에게로, 온라인 조사는 그 패널에 가입한 사람에게로 표본이 쏠린다. 받기 쉬운 사람과 받기 어려운 사람의 생각이 다르다면, 떠 먹은 한 숟갈은 솥 전체의 간이 아니게 된다. 이를 보정하기 위해 조사기관은 성·연령·지역 비율을 실제 인구에 맞춰 '가중치'를 준다. 하지만 가중치는 어디까지나 사후 보정일 뿐, 애초에 빠진 집단의 속마음까지 되살려 주지는 못한다.

오차범위라는 작은 글씨

'48% 대 45%, 오차범위는 ±3.1%p'. 많은 사람이 앞의 숫자만 읽고 뒤의 작은 글씨를 흘려보낸다. 그러나 이 작은 글씨가 결론을 통째로 바꾼다. 오차범위가 ±3.1%p라면, 48%의 실제 값은 대략 44.9%에서 51.1% 사이 어딘가일 수 있다는 뜻이다. 45%도 마찬가지로 41.9%에서 48.1% 사이다. 두 후보의 가능 범위가 이렇게 크게 겹친다면, 3%p 차이는 '앞선다'가 아니라 통계적으로는 '우열을 가리기 어렵다'에 가깝다. 언론이 흔히 쓰는 '오차범위 내 접전' 또는 '초박빙'이라는 표현이 바로 이 상황이다.

게다가 오차범위는 '표본을 뽑는 과정에서 생기는 우연한 흔들림'만 계산한 값이다. 질문을 잘못 만들거나, 특정 집단이 통째로 응답을 거부하거나, 응답자가 속마음과 다르게 답하는 데서 오는 오차는 이 ±숫자에 들어 있지 않다. 즉 실제 불확실성은 표시된 오차범위보다 늘 더 크다고 보는 편이 안전하다.

질문이 답을 만든다

같은 사안도 묻는 방식에 따라 응답이 달라진다. '이 정책에 찬성하십니까?'와 '세금 부담이 늘어날 수 있는 이 정책에 찬성하십니까?'는 전혀 다른 답을 끌어낸다. 보기를 제시하는 순서, 후보 이름을 부르는 순서, '잘 모르겠다'는 선택지를 넣었는지 여부도 결과를 흔든다. 이를 '프레이밍 효과'와 '순서 효과'라고 부른다.

여기에 인간의 심리도 끼어든다. 사람은 면접원에게 사회적으로 '바람직해 보이는' 답을 하려는 경향이 있다(사회적 바람직성 편향). 또 자기 선택을 드러내기 꺼려 응답을 미루거나 '없음'이라 답했다가, 실제 결정의 순간에 마음을 정하는 '숨은 표'도 존재한다. 조사 시점과 결정 시점 사이에 마음이 바뀌는 것은 거짓이 아니라 자연스러운 일이며, 사진이 흐려지는 또 하나의 이유다.

왜 같은 날 조사가 서로 다를까

비슷한 시기에 발표된 조사들이 제각각 다른 숫자를 내놓는 것을 보면 더 혼란스럽다. 그러나 이는 오히려 자연스럽다. 조사 방식(전화 면접 대 ARS), 표본 크기, 가중치 방법, 질문 문구가 기관마다 다르기 때문이다. 그래서 전문가들은 한 건의 조사에 일희일비하기보다, 여러 조사를 모아 추세선을 보는 '여론조사 평균'을 권한다. 한 장의 흐릿한 사진보다, 여러 장을 겹쳐 본 윤곽이 진실에 가깝다.

숫자를 읽는 실전 체크리스트

1. 누가, 언제, 어떻게 조사했나 — 의뢰기관·조사기관·조사 기간·방식(전화면접/ARS/온라인)을 먼저 확인한다.
2. 표본 수와 응답률 — 표본이 적거나 응답률이 매우 낮으면 그만큼 불확실성이 커진다.
3. 오차범위와 격차를 비교한다 — 두 수치 차이가 오차범위보다 작으면 '앞섰다'가 아니라 '접전'으로 읽는다.
4. 질문 문구를 찾아본다 — 보기 순서나 표현이 한쪽으로 기울지 않았는지 본다.
5. '모름·무응답' 비율을 본다 — 이 값이 크면 결과가 막판에 출렁일 여지가 크다.
6. 한 건이 아니라 여러 조사의 평균과 추세를 본다.

대부분의 국가에는 여론조사 결과를 공표할 때 표본 수, 오차범위, 조사 방법 등을 함께 공개하도록 한 규정이 있다. 이런 정보가 빠진 '깜깜이 숫자'는 신뢰하기 어렵다는 신호로 받아들이면 된다.

결국 여론조사를 어떻게 대할 것인가

여론조사가 자주 빗나가는 것처럼 보이는 진짜 이유는, 우리가 '폭'으로 제시된 추정을 '점'으로 된 예언으로 읽기 때문이다. 조사는 미래를 맞히는 도구가 아니라, 흐릿하지만 유용한 사진이다. 사진을 사진으로 대할 때 비로소 그 안의 정보가 보인다. 작은 글씨(오차범위)를 챙겨 읽고, 한 건이 아니라 추세를 보고, 질문이 답을 어떻게 빚는지 의심하는 습관. 이 세 가지만 몸에 배도, 우리는 매일 쏟아지는 숫자에 휘둘리는 사람에서 그 숫자를 비판적으로 읽는 사람으로 한 걸음 옮겨갈 수 있다.