[뉴스외전 포커스] 모든 여론조사 종합 분석 결과는?

'들쭉날쭉' 여론조사‥어디까지 믿어야 하나?

"1천 명 조사, 격차 6.2%p 넘어야 '통계적 유의미'"

"박빙 선거‥'여론조사-여론' 차이 있을 수도"


MBC-서울대 박종희 교수
여론조사 분석 사이트 '여론M' 운영 (http://poll-mbc.co.kr)

'여론M, 여론조사를 조사하다'
'추세·성향' 고려‥여론조사 자체를 분석

조사 방법·성별·연령별 지지 추이 등 정보 제공


'전화 면접' vs 'ARS 조사'‥차이는?

"ARS 조사, '정치 고관심층' 응답률 높아"

◀ 앵커 ▶

뉴스외전 포커스 오늘은 MBC에서 여론조사를 종합 분석한 여론 M사이트를 운영하고 있는 장슬기 데이터 전문기자와 여론조사에 대해 자세히 알아보겠습니다. 어서 오세요.

◀ 장슬기 데이터 전문기자 ▶

안녕하세요?

◀ 앵커 ▶

일단 어떤 사이트인가요? 간단히 설명하고 갈까요?

◀ 장슬기 데이터 전문기자 ▶

여론조사를 조사하다 여론M이라는 사이트는요. 지금까지 나온 모든 여론조사를 한 데 모아서 조사기관의 성향과 그리고 여론의 추세를 분석을 해서 모두 종합해서 요약해서 정리해줘서 보여주는 그런 사이트.

◀ 앵커 ▶

모든 여론조사를 종합해서 보여준다, 이렇게 표현하면 되는 건가요?

◀ 장슬기 데이터 전문기자 ▶

맞습니다.

◀ 앵커 ▶

그러면 굉장히 의미가 있을 것같은데요. 요새 여론조사를 보면 잘 이해가 안 간다는 분들이 많아서요. 일단 왜 여론조사 기관마다 후보 지지율이 들쑥날쑥한가요?

◀ 장슬기 데이터 전문기자 ▶

일단 많은 이유가 있는데요. 그거 짚고 넘어가기 전에 한 가지 오해를 풀고 가야 할 게 있습니다. 우리가 누구 몇 퍼센트, 누구 몇 퍼센트 이렇게 할 때 그 지지율 딱 퍼센트 말고요. 한 가지 더 기억할 게 있습니다. 바로 6.2%포인트라는 숫자인데요. 보통.

◀ 앵커 ▶

오차 범위 말씀이시죠?

◀ 장슬기 데이터 전문기자 ▶

맞습니다. 보통 우리 여론조사 보도 말미에 95%신뢰 수준의 플러스마이너스 3.1% 오차 범위다, 이렇게 오차 범위를하는데요. 이 3.1% 곱하기 2를 한 게 6.2%포인트이지 않습니까? 그래서 이거를 이 안에 6.2%포인트를 벗어나지 않는 이상 이 조사에서는 1등과 2등을 사실 가릴 수 없습니다. 그러니까 이번 주 나온 여론조사 차이를 한번 같이 그려봤는데요. 그래프 한번 보시겠습니다. 보시면 오늘 이번 주에 나온 조사중에서 대부분 차이가 6.2%포인트 안으로 들어옵니다. 조사 하나 빼고. 0%부터 10%까지 차이가 나기는 하지만요. 그래서 이 숫자만 보면 매우들쑥날쑥해 보이지만 사실 7개의 조사 중에서 6개는 사실 오차 범위 안에 있기 때문에 모두 같은 결과다라고 보실 수 있는 겁니다.

◀ 앵커 ▶

누가 이기고 지고는 오차범위 내에서 의미가 없다 이렇게 해석하는 건가요?

◀ 장슬기 데이터 전문기자 ▶

맞습니다. 그렇기 때문에 6.2%포인트가 넘지 않는차이가 6.2%포인트가 넘지 않는 조사는 두 후보자 간에 차이가 없다고 보시면 됩니다.

◀ 앵커 ▶

없다. 그러면 윤석열 후보가 전부 어떤 오차범위 내일지도 앞서가고 있는 일관성은 있는 거 아닌가요?

◀ 장슬기 데이터 전문기자 ▶

그런 일관성은 있습니다. 그런 일관성은 있지만 1000명, 우리가 유권자를 1000명 정도 조사를 하는데요. 그 1000명 안에 누가 들어오느냐에 따라서 사실 뒤집힐 수 있는 부분도 있습니다. 그러니까 3.1%포인트 위아래로 간다는 건 30%가 나오면 26.9%부터 33.1% 사이에 어디에인가 위치할 수 있다는 조사 결과거든요. 그러니까 사실상 모른다는 게 더정확한 해석입니다.

◀ 앵커 ▶

그러니까 오차범위 내에 있는 우열은 의미가 없다. 이렇게 단정적으로 해석해도 된다는말씀이시죠?

◀ 장슬기 데이터 전문기자 ▶

맞습니다.

◀ 앵커 ▶

그렇다면 여론조사를 모두 종합하고계신데요. 어떻습니까? 종합한 결과도 비슷한 흐름을 나타내고 있는 건가요?

◀ 장슬기 데이터 전문기자 ▶

비슷한 결과를 나타내고 있는데요. 저희 지금 저희가 요약하는 방식을 한번 같이 보여드리겠습니다.

◀ 앵커 ▶

볼까요?

◀ 장슬기 데이터 전문기자 ▶

그래서 지난해 12월부터 나온 여론조사를 점으로 찍어봤는데요. 가로축은 시간이고요. 세로축은 여론조사의 퍼센트를 나타냅니다. 이재명 후보의 지지율이고요. 지지율을 하나하나 나타낸 거고. 빨간 점은 윤석열 후보의 지지율을 나타낸 겁니다. 그런데 보시면 점이 위아래로 넓게 퍼져 있을수록 여론조사 결과가 들쭉날쭉하다는 이야기인데 보시면 윤석열 후보가 조금 더 위아래로 더 퍼져 있는 모습을 보실 수 있을겁니다. 그래서 윤석열 후보의 지지율이 조금더 많이 들쭉날쭉 했고요.

◀ 앵커 ▶

진폭이 크다 이렇게 볼 수 있는건가요?

◀ 장슬기 데이터 전문기자 ▶

맞습니다. 이렇게 보시면 되고요. 이런 조사들을 다 모아서 저희가 이걸 한 줄로 요약을 합니다. 그래서 여론M에서 수많은 여론조사의 추세와 그러니까 여론조사기관의 성향을 분석한 뒤에 매일매일 이렇게 여론조사 사이트를 업데이트를 해서 이렇게 지지율을 공개하고 있는데요. 오늘까지 조사를 다 모아서 종합해 본 결과 여론M은 이재명 36.3%, 윤석열 42%, 안철수 8.4%, 심상정 3.7%로조사됐습니다.

◀ 앵커 ▶

그런데 이 차이는 아까 말씀드렸지만 오차범위 내라서 큰 의미는 없다 이렇게 해셕하시는 건가요?

◀ 장슬기 데이터 전문기자 ▶

저희 사실 여론M 사이트에서는 더 많은 조사를 모았기 때문에 저희는 신뢰 구간이라고 부르는데 조금 더작습니다.

◀ 앵커 ▶

그렇습니까?

◀ 장슬기 데이터 전문기자 ▶

그래서 저희 여론M 사이트에서는 두 후보 차이가 조금 벌어져 있는 상태입니다.

◀ 앵커 ▶

그렇다면 윤석열 후보의 우세가 분명한 우리 사이트에서 전부 종합한 거에 따르면 우세는 분명하다, 이렇게 볼 수 있다는 이야기군요.

◀ 장슬기 데이터 전문기자 ▶

우세는 분명하다고 볼 수 있지만 또 이게 많이들 시청자분들이 알고 계시는 게 전화 면접과 ARS가 다르다 이렇게말씀을 하시는데요. 지금 전화 면접과 ARS도 저희여론M에서 따로따로 분석하고 있습니다. 그래프도 한번 가지고 와봤는데요. 전화 면접 같은 경우는 37:34, 그리고ARS 같은 경우는 45:38로 차이가 생각보다 크죠. 지금 전화 면접 같은 경우는 신뢰 구간을 보면 두 후보의 차이를가릴 수 없습니다. 그런 상황이고요. 지금 보시면 ARS와 전화 면접의 차이가 어떤 특징이 있는지 보이시나요? 빨간선을 보면 윤석열 후보를 나타내는 지지율인데요. 빨간선이 ARS에서 훨씬 더 높게 위치해 있습니다. 사실 파란선의 위치는 크게 다르지. 비슷합니다. 그런데 빨간선이 왔다 갔다 하는 걸 보실 수 있는데요. 이게 ARS의 응답하는 사람들이 어떤 특징을 가지고 있느냐. 이런 부분입니다.

◀ 앵커 ▶

어떤 특징을 가지고 있는 건가요? 그러니까 어떤 이른바 샤이 그런 성향이 반영됐다고 보는 건가요? ARS가?

◀ 장슬기 데이터 전문기자 ▶

일부 그렇게 해석하시는 분들이 있는데 샤이 OO 이렇게 하는 것들은 보통 후보자들을 지지하는 것이 사회적으로 바람직하지 않다, 이런 것들을 반영을 하는 건데요. 사실 이번 대선에서는 딱히 한쪽이 그런 경향을 가지고 있는 것 같지는 않습니다.

◀ 앵커 ▶

양쪽 다 그렇다는 말씀이시죠?

◀ 장슬기 데이터 전문기자 ▶

그렇습니다. 그렇기 때문에 보통 우리가 가장 합리적 혹은 대표적으로 이야기하는 건 ARS의 좀 더 정치 고반영 측이 많이 반영이 된다. 저도 ARS 조사를 한번 해봤는데요. 기계음을 듣고 10문항 정도의 문항을 하는 게.

◀ 앵커 ▶

끝까지 끊지 않고 끝까지응답해준다는 것이 대단히 열의가 있는 분들이다.

◀ 장슬기 데이터 전문기자 ▶

쉽지 않습니다. 게다가 어느 정도냐 하면 버튼을 딱 누르면 뒤로 넘어가는 문항의 속도가 굉장히 빨라요. 특히 어르신들 같은 경우는 계속 듣고 여러 번씩 듣고 응답을 하신다고 하시더라고요. 그러니까 기계가 묻는 것에 3분, 4분씩 쏟아내실 수 있는 분들은 상당히 관심이 많으신 분들, 굉장히 정치에 열의가 많으신 분들이잖아요. 그런데 그런 분들 사이에서 조금 더 윤석열 후보가 조금 지지율이 높은 것 같다 이렇게 해석할 수 있는 거고요.

◀ 앵커 ▶

지금 말씀하셨지만 윤석열 후보 지지자들 중에 어떤 강한 열성 지지자들이 더 많다, 이렇게 해석할 수 있는 건가요?

◀ 장슬기 데이터 전문기자 ▶

맞습니다. 비슷한, 그렇게 해석할 수 있는데요. 정치에 더 관심이 많은 층은 사실 이번에는 윤석열 후보 지지자들이 많지만사실 선거마다 그리고 때마다 다릅니다. 그러니까 지난 2017년에는 촛불정국이었잖아요. 당시에는 진보 쪽의 후보였던 문재인 후보가 ARS에서 더 많은 지지율을 얻었어요. 그러니까 항상 샤이 보수 이런 게 있는게 아니고, 샤이 진보 이런 게 있는 게 아니고 때마다 그리고 철마다 조금씩 달라지는 게 있다고 보시면 되겠습니다.

◀ 앵커 ▶

지금까지 종합한 거로 보면 추세선은어떻습니까? 여론조사는 추세가 굉장히 중요한 거 아닌가요?

◀ 장슬기 데이터 전문기자 ▶

맞습니다.

◀ 앵커 ▶

지금 추세선은 어떻습니까? 어느 별, 후보별로. 어떤 후보가.

◀ 장슬기 데이터 전문기자 ▶

지금 사실은 윤석열 후보가 앞서고 있는 건 사실인데요. 그렇게 된 지가 1월 6일부터입니다. 1월 6일 혹시 기억하시나요?

◀ 앵커 ▶

1월 6일이요? 정확히 기억이 안 나는데.

◀ 장슬기 데이터 전문기자 ▶

그날이 이준석 대표와 윤석열 후보가원 팀.

◀ 앵커 ▶

그날은 기억납니다.

◀ 장슬기 데이터 전문기자 ▶

마지막 화해한 날. 그날입니다. 그날 이후부터 윤석열 후보가 다시 반등을 시작해서 그 이후부터는 평행선을 쭉 유지를 하고 있습니다. 그러니까 그렇게 차이가 안 나고있어요. 그뒤로도 김혜경 씨 의전 논란이라든가 등등 많은 논란이 있었는데도 불구하고 크게 여론이 요동치지는 않는 상황입니다.

◀ 앵커 ▶

1월 6일, 이준석 대표와의 파동이 가라앉은 후부터는 두 후보가 추세 상승이나 추세 하락이 있는 것이아니고 비슷한 상황을 계속 유지하고 있다.

◀ 장슬기 데이터 전문기자 ▶

맞습니다.

◀ 앵커 ▶

그렇다면 추세는 무엇이고 성향은 뭔가요? 여론조사기관의 성향이라는 건뭔가요?

◀ 장슬기 데이터 전문기자 ▶

성향이라는 걸 정치적 성향이라고 보시면 안 되고요. 조사기관이 했던 노하우라고 보시면 되겠습니다.

◀ 앵커 ▶

여론조사기관이 진보냐 보수냐 이게아니고.

◀ 장슬기 데이터 전문기자 ▶

전혀 아닙니다. 전혀 아니고 여론조사 기관은 사실 굉장히 여론을 측정하는 데 있어서 굉장히 진지합니다. 왜냐하면 본인들도 틀리면 다음 선거에 문제가 생기기 때문에 진지하게 임하고 있는데요. 그렇다 보니까 이 회사들이 나름의 고유의 레서피를 가지고 있는 겁니다. 그러니까 요리법을 갖고 있는 건데 그 요리법에 따라서 우리가 김치찌개를 끓이더라도 매운맛도 다르고. 신맛도 조금씩 다르잖아요. 여론조사도 기관마다 약간 맛이 다른데 측정하는 그 맛이 약간 다른 것을 저희가 성향이라고 보고 그것을 통계학적으로 측정을 하고 있습니다.

◀ 앵커 ▶

그러니까 그 성향 때문에 어떤 절대적 지지율에는 차이가 나는데 한 여론조사의 추이를 보면 그건 거의대동소위하다 이렇게 볼 수 있는 건가요?

◀ 장슬기 데이터 전문기자 ▶

그렇죠. 그런데 요즘에 들어서는 그 공식도 좀깨졌습니다.

◀ 앵커 ▶

그렇습니까?

◀ 장슬기 데이터 전문기자 ▶

같은 전화 면접 조사고 같은 날에 했는데도 심지어 같은 회사가 했는데도 두 여론조사가 같은 여론조사기관에서 한 조사가 굉장히 다른 결과를 낸 경우가 지난 한 2주에 걸쳐서있었거든요. 그래서 아마 여론조사에 관심이 많으신 분들은 기사를 보셨을 텐데요. 그러면서 여론조사 믿어도 되냐, 여론조사 이렇게 왜 이렇게 다르지, 이렇게 걱정하시는 분들이 많이생겼습니다. 그런데 사실 업계분들도 왜 이렇게 다르게 나오는지 설명을 잘 못 하고 있어요.

◀ 앵커 ▶

왜 그런 같은 방식 그러니까 같은 성향을 가진 같은 회사가 조사하는데 방식도 똑같이 했는데도 왜 들쭉날쭉한가에 대한 해석을 아직 할 수 없다는 말씀이시죠?

◀ 장슬기 데이터 전문기자 ▶

그래서 조사 자체에 한계도 분명히 있습니다. 1000명을 조사하는 게 조금 부족하다는말도 있고요. 지금 전 연령, 지역을 고려해서 여론조사를 하고 있는데.

◀ 앵커 ▶

지금 시간은 다 됐는데요. 잠시 후 인터넷에서 다시뵙겠습니다.

◀ 장슬기 데이터 전문기자 ▶

알겠습니다.

◀ 앵커 ▶

시간이 오늘 꽉 찼습니다. 오늘 여기까지 듣겠습니다. 감사합니다.

◀ 장슬기 데이터 전문기자 ▶

감사합니다.

기사 본문의 인터뷰 내용을 인용할 경우, [MBC 뉴스외전]과의 인터뷰라고 밝혀주시기 바랍니다.


MBC 뉴스는 24시간 여러분의 제보를 기다립니다.

▷ 전화 02-784-4000
▷ 이메일 [e-mail]
▷ 카카오톡 @mbc제보