응답률 1%, 2%, 3%‥이런 여론조사 결과는 얼마나 믿을 수 있는 것일까요? 응답률과 여론조사의 신뢰도는 무관한 걸까요? 언론은, 유권자들은 응답률이 낮은 여론조사 결과를 어떻게 분석하고 받아들여야 하는 걸까요?
응답률이란?
말 그대로 옮기면 여론조사에 응답한 사람 수의 비율이 응답률입니다. 중앙선거관리위원회 여론조사심의위원회 홈페이지에 올라와 있는 설명을 그대로 옮기면 아래 표와 같습니다. 선거관련 여론조사에서 가장 많이 쓰는 전화조사의 경우, 전화를 받은 사람 중 끊지 않고 마지막까지 응답한 사람 수의 비율이 응답률이 됩니다.
"응답률"이란 해당 선거여론조사에서 접촉된 응답 적격 대상자 중 응답이 완료된 비율을 말하며, 다음의 산정식에 따라 산출한다.
이런 ARS 조사에 끝까지 응답하는 사람들은 정치에 대한 관심이 높은 정치 고관여층이거나, 특정 정당·후보를 강하게 지지하는 경우가 많은 것으로 조사학계는 보고 있습니다. ARS 조사는 편향성이 있다는 얘기인데, 그럼에도 불구하고 ARS 조사를 사용하는 이유는 뭘까요? 돈과 시간입니다. ARS조사는 면접방식에 비해 비용이나 시간이 훨씬 적게 들어갑니다. 조사인원 1천 명 기준으로 ARS 조사 비용은 300~500만원, 전화면접은 1천만원~1천 500만원이 드는 것으로 알려져 있습니다.
응답률은 얼마 이상이어야 할까?
중앙선거관리위원회 여론조사심의위원회 홈페이지를 찾아봤습니다. 여론조사 결과를 공표하려면 조사의뢰자, 조사방법, 표본의 크기, 응답률 등 17개 사항을 등록하라고 돼 있었습니다. 응답률이 얼마 이상이어야 한다는 기준은 없는 거죠. 그냥 공개하기만 하면 됩니다.
지금까지 나온 6.1 지방선거 여론조사를 보니 응답률이 1.5%, 1.7%, 1.8%, 2.2%‥10%에 크게 못 미치는 경우가 많았습니다.
1%보다 더 낮은 경우도 있을까? 지난 2018년 지방선거때 등록된 여론조사를 살펴보니 응답률이 0.8%, 0.9%인 경우도 있었습니다.
그런데 우리나라 응답률은 국제 기준이 아니다?
여론조사심의위원회 홈페이지는 ※ 표시 다음에 이런 설명을 하고 있습니다. 국제기준 응답률이 되려면 우리나라 여론조사의 응답률에다 접촉률을 곱해야 된다는 겁니다. 이게 무슨 소리인지‥우리나라 응답률 개념과 국제기준이 다르다는 얘기인가? 왜? 직접 곱하기를 해보라는 이유는 뭔지? 여러 가지가 궁금했습니다.
일단 접촉률(contact rate)부터 알아봤습니다. 접촉률의 정의는 표본 추출틀(무선전화번호 RDD, 휴대전화 가상번호, 유선 RDD 등)로 뽑은 대상자 중, 적격하다고 판단된응답자들에게 접촉한 비율입니다. 비적격은 뭐냐? 결번(없는 전화번호)이거나 팩스 번호거나, 개인이 아닌 사업체 전화번호인 경우입니다. 접촉률이 높다는 건 조사에 적격한 응답자들을 많이 접촉했다는 얘기입니다.
(중앙선거관리위원회 선거여론조사기준)
응답률 낮아도 상관없나?‥"낮아도 너무 낮다"
선거 여론조사를 전공하는 교수님들께 물어봤습니다. 서강대 정치외교학과 하상응 교수는 “교과서적으로만 이야기한다면, 표본의 틀이 잘 갖추어져 있고, 다른 조건이 충분히 만족된다면 응답률이 낮아도 여론조사가 가능할 수도 있다. 다만 1% 응답률인 조사의 경우 표본틀과 다른 조건들이 응답률 말고 다른 이유로 망가졌을 가능성을 배제할 수 없다”고 말했습니다. 그러면서 “국제기준 (AAPOR) 응답률로 5~30% 정도면 받아들일만 하다고 보는데, ARS 조사는 응답률 말고도 다른 문제들이 많아 신뢰성이 담보되어 있지 않다는 의견들이 있다”고 덧붙였습니다.
또 다른 교수님의 답변도 비슷한 맥락이었습니다. 국민대학교 정치외교학과 장승진 교수는 이론상으로는 응답률이 낮다고 그 여론조사를 믿을 수 없다고 단언할 수는 없지만 “한국에서 발표되는 여론조사 응답률은 낮아도 너무 낮다”고 말했습니다. 미국 등 민주주의 국가에서 전반적으로 여론조사 응답률이 떨어지는 추세이기는 한데 우리나라 응답률은 국제적으로 사용하는 기준을 적용하면 심각할 정도로 낮아진다는 겁니다. 응답률이 지나치게 낮아지면 해당 여론조사 응답자들이 과연 모집단인 전체 유권자들을 대표할 수 있는지 의문이 제기될 수 있습니다.
여론조사는 여론을 대표하는 걸까? 왜곡하는 걸까?
여론조사를 하는 이유는 민심을, 여론을 들여다보기 위해서입니다. 그런데 여론을 제대로 보기는커녕, 전체 유권자들을 대표할 수 없는 편향된 조사 결과로 인해 1등 후보에게 민심이 쏠리는 밴드왜건 효과(bandwagon effect)를 유발시킨다면 문제가 될 수 있습니다. 왜곡된 여론조사결과가 선거전에 활용되고, 그에 따라 대세론이 형성되고 표심이 좌우된다면 민주주의를 심각하게 훼손하는 결과를 낳을 수 있기 때문입니다.
최근 여론조사 결과를 보도한 기사들을 찾아봤습니다. 대다수의 기사가 기사 제목과 첫머리에서 어느 후보가 몇 %, 다른 후보는 몇 %라고 보도합니다. 사실 시청자들과 국민들은 이 숫자만 기억하게 됩니다. 기사의 맨 끝에 가서야 몇 명을 대상으로 어떻게 조사했고 표본오차는 95% 신뢰수준에 ± 몇 %p인데, 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다고 되어 있습니다. 웬만해서 여기까지 관심을 기울이기는 쉽지 않습니다.
전문가들의 제언
그렇다면 어떻게 해야 할까?
먼저 연세대 언론홍보영상학부 백영민 교수의 제언을 그대로 옮겨보겠습니다.
여론조사 결과를 인용할 때는 기사의 꼬리가 아닌 첫머리에 조사 업체와 조사 방식을 반드시 밝힌 후 결과를 보도하도록 하며, ARS 조사에는 잠재적 편향성이 존재한다는 점을 독자들에게 일깨워 수용자가 여론조사 결과를 비판적으로 판단하도록 하는 보도 기준을 마련하고 정착시키는 것이다. 아울러 여론조사 결과를 활용한 기사 혹은 칼럼의 경우도 조사 결과를 밝힐 때는 반드시 조사 업체와 조사 방식을 명기하도록 하고, ARS 조사기법인 경우 편향성이 존재할 수 있다는 것을 명기할 것을 제안한다. 아마도 쉽지 않을 듯하며 무엇보다 이해관계자들의 반발도 적지 않을 것이다. 그러나 현재와 같은 여론조사와 언론 보도가 계속되는 한, 저질 여론조사 결과 때문에 국민의 언론 불신은 더 심각해질 것이고, 여론조사 업체 역시 저가 경쟁에 매몰될 수밖에 없을 것이며, 우리 사회는 여론을 둘러싼 사회적 불신으로 인한 분열과 갈등을 감내할 수밖에 없을 것이다.
〈ARS 조사에 의존하는 여론조사 보도 조사 업체·조사 방식·편향 가능성 명확히 밝혀야〉
(신문과 방송, 2021년 https://www.kpf.or.kr/front/news/articleDetail/592277.do )
여론조사 많아도 너무 많다‥
국민대 장승진 교수는 "여론조사를 너무 많이 하다 보니 여론조사에 응답하지 않고 전화를 끊어버리는 악순환이 반복된다"고 지적했습니다. 언론사 입장에서는 단시간에 빨리 여론조사를 해서 시청자나 독자들의 눈길을 끌고 싶겠지만, 유권자들의 피로감만 증대시킬 수 있다는 겁니다. 장 교수는 우리 사회 전체를 생각한다면 되도록 여러 언론사가 공동으로 비용을 부담해서 돈과 시간이 들더라도 양질의 여론조사를 하는 것이 바람직하다고 권했습니다.
여론조사 회사를 평가하자
5월 현재 선관위 여론조사심의위원회에 등록된 여론조사회사는 90개입니다. 서강대 하상응 교수는 여론조사회사가 결과를 공표할 때 그 여론조사를 어떤 방식으로 했는지 최대한 자세하게, 비밀없이 공개하도록 하자고 제안했습니다. 조사방법을 투명하게 밝히고, 조사기준을 준수하는 정도에 따라 여론조사 회사에 평점을 주는 방법도 고려해볼 만하다고 말했습니다. 전화를 어떤 방식으로 걸었는지, 몇 시에 몇 명이 응답했는지, 콜백(전화를 안 받았을 때 다시 시도)은 몇 번이나 했는지, 가중치는 어떻게 만들었는지 등을 종합적으로 판단하고 평점을 주자, 그러면 자연스럽게 부실 여론조사 기관은 퇴출되고 정확한 여론조사가 이뤄질 수 있도록 유도할 수 있다는 논리입니다.
여론조사 어떻게 해석해야 할까
중앙선거관리위원회의 의견을 그대로 옮겨 보겠습니다.
조사방법, 유·무선 혼합비율, 피조사자 접촉현황(접촉률, 거절률, 응답률) 등에 따라서 조사결과에 차이가 있을 수 있으니 해석할 때는 조사기관, 의뢰자까지 종합적으로 고려해야 한다는 겁니다.
당신의 의견을 남겨주세요