[펌] 세종시 수정안 여론조사의 불편한 진실 - 리얼미터 이택수 대표.
- 작성일
- 10-01-22 12:44
http://www.realmeter.net/Issue/view.asp?Table_Name=S_News6&N_Num=32&file_name=20100118142714.htm
며칠후 민주당 정책연구소 조사결과와 폴리뉴스-모노리서치 조사결과가 원안 추진의견이 더 높게 나타났다고 발표가 됐지만, 언론에서 거의 받아 써주지 않은 탓에, 이글을 쓰는 오늘도 네이버 세종시 뉴스 섹션에는 리얼미터 조사결과만 세종시 수정추진에 반대하는 조사결과를 발표한 기관으로 엄중 포위되어 있는 상황입니다.
그렇다면 왜 세종시 조사결과가 이렇게 들쑥날쑥하게 나타나서 혼란을 주고 있는 것일까요? 정부안 발표 후 몇몇 기자분들께서 저를 포함한 여론조사 전문가들에게 인터뷰를 요청하여 다음날 기사가 나가기도 했지만, 대부분의 해석이 "세종시 여론이 아직 정착되지 않아서였다"는 추정 정도였습니다. 여론이 정착되려면 2~3일 걸린다고 말이죠. 그런데 정말 단지 그 이유만이었을까요? 대체 왜 세종시 여론조사 결과가 들쑥날쑥하게 나타나고 있는 걸까요?
수정안이 발표된 11일 이후, 이명박 대통령이나 박근혜 전 대표도 잠을 설치시고 있겠지만, 저 역시 며칠동안 잠을 설쳤습니다. 밥을 먹으면서도, 자면서도, 사람들을 만나면서도 오로지 세종시 여론조사 결과만 생각하고 또 관련 자료를 찾아보면서, 나름대로 몇 가지 지나쳤던 것들을 발견하게 되었습니다. 그래서 여론조사업 종사자로서 그 원인이 무엇인지 기자분들과 정치인분들, 그리고 국민들에게 차근히 설명을 드려야겠다고 결심했습니다. 물론 여론조사 종사자분들 중에도 이러한 사실에 대해 지나쳤던 분들이 있었을 텐데, 그 분들에게도 도움이 됐으면 좋겠습니다.
물론 제 글이 맞는 말일 수도 있고, 전혀 틀린 말일 수도 있으니, 이글을 읽고 계신 여러분들께서는 제 나름대로의 설명을 듣고 잘 판단을 해 주시고, 필요하시면 격려, 조언, 반박을 해주시면 감사하겠습니다. ''선플'', ''악플'' 다 수용하겠습니다. 서론이 길었는데, 이제 각설하고 본론으로 들어가도록 하겠습니다.
Let's talk turkey!
선생님께서는 정답이 없는 문제를 풀어보신 적이 있으십니까? 의도적으로 정답이 없는 문제는 보기에 ''정답은 없다''고 있을 것이고, 비의도적으로 정답이 없는 문제의 경우에는 간혹 수능시험에서 그렇듯, 응시자 전원이 모두 맞춘 것으로 처리되기도 합니다. 여론조사는 시험과는 달라서 정답이 없는 질문이지만, 자기의견과 부합하지 않는 경우에는, ''기타'' 또는 ''모름/무응답''이라는 보기를 넣어줘서 퇴로를 열어줘야 합니다. 그렇지 않다면 '문제 있는 문제'가 되는 것이죠.
시험에서도 그렇지만 여론조사에서도 가장 중요한 것이 설문 문항, 즉 질문입니다. 아울러 그에 못지 않게 중요한 것이 바로 ''모름/무응답''에 해당하는 부동층 분석입니다. 부동층 분석을 하기 위해 여론조사 기관들은 판별분석 등 여러 통계방법을 동원해 추정을 하고 있지만, 부동층 분석이 쉽지 않은 일이기에, 선거 예측이 간혹 틀리는 경우가 발생하기도 합니다.
부동층 또는 유보층은 영어로 DK그룹(Don''t Know)이라고 하는데, 여론조사에서 차지하는 DK그룹의 중요한 의미 때문에 관련된 논문도 어렵지 않게 찾아볼 수 있습니다. 세종시 관련 들쑥날쑥한 여론조사의 비밀도 역시 바로 DK그룹과 관련이 있었습니다.
여러 여론조사들의 세종시 관련 조사가 완벽했을까요? 완벽하지 못했다면, 어떠한 문제점이 있었을까요? 표집과 관련된 오차는 대부분의 조사기관들이 동일한 표집방법으로 조사하고 있기 때문에, 표집오차보다는 비표집오차에서 비롯됐을 가능성이 높고, 비표집오차 중에서는 설문 구성(문항순서, 워딩)과 DK그룹 분석과 관련됐을 가능성이 높습니다. 오늘은 그중 DK그룹을 집중적으로 보도록 하겠습니다.
먼저 각 조사기관별 DK그룹(답변 유보층)의 분포를 볼까요?
원안추진 의견이 많았던 리얼미터와 민주당 조사는 DK그룹이 20% 안팎이었고, 나머지 다섯 기관의 평균 DK그룹은 10%가 채 되지 않아 절반에 미치지 못했습니다. 심지어 매일경제는 3%로 거의 모든 응답자들로부터 수정안 찬반에 대한 답변을 받아 냈습니다. 같은 조사기관이 실시한 동아일보, MBC 조사가 수정안 찬반의 격차가 상이하게 나타난 것도 사실 DK그룹의 분포 격차 때문이었습니다.
리얼미터와 민주당이 DK그룹이 20% 안팎인 것은, 자동응답 방식의 조사로 ① 수정, ② 원안, ③ DK를 시간차이 없이 연속해서 성우가 불러주기 때문이고, 나머지 조사기관이 채택한 전화면접 조사에서는 수정, 원안을 우선 불러주고, 답변을 꺼리거나 못하는 사람들에게 재차 답변을 유도하기 때문에 DK그룹이 10% 안팎, 심지어 3%까지 낮아지는 것입니다. 거시적으로 보면 이 문제를 자동응답 전화조사와 전화면접의 조사의 차이로 볼 수도 있겠지만, 미시적으로 보면 결국 DK그룹을 어떻게 처리하느냐에 차이이기 때문에, DK그룹에 대해 집중적으로 논의하고자 합니다.
여기서 잠깐.
집중적인 논의에 앞서 저희 회사에 대한 선입견이 있을지 몰라 한마디 부연설명을 드리겠습니다. 저희 리얼미터는 국내에서는 유일하게 정치사회 관련 조사를 매일 1,000명씩 실시하고 있는데, 정치조사에 있어서는 신뢰도가 높고 비용의 효율성이 높아 자동응답 방식을 채택하고 있습니다. 때문에 리얼미터가 ARS 조사 전문기관으로 인식이 되고 있으나, 리얼미터의 최근 매출에서 ARS조사는 전체 매출에서 10% 미만으로 점유율이 크지 않고, 다른 주요 조사기관들처럼 대인면접, 전화면접, FGI 조사가 주요 매출이라는 점을 양지해 주시길 부탁드립니다. 매일 1천명씩 실시하는 조사를 ARS 방식으로 하는 것이 절대로 비용때문이 아니라는 점을 밝힙니다. 비용을 절약하려 했다면 저희 전화 면접원들이 대부분의 ARS 응답자들에게 검증 전화를 직접 하지 않겠지요. 엄밀히 말하면 ARS 실사 + 전화면접 검증조사인 셈입니다. 비용만 따지면 사실 일반 전화면접 조사보다 더 많이 지출하고 있습니다.
정치 조사를 함에 있어서 ARS 조사를 선택한 이유는 앞서 말씀드린대로 높은 신뢰도를 갖고 있기 때문인데, 2008년 총선당시 SBS에서 105개 지역을 ARS조사로는 처음으로 예측조사에 활용한 바, 당시 실사를 맡은 리얼미터의 조사결과를 경쟁 방송국이 전화면접으로 실시한 동일 지역 조사결과와 비교해 보면, 당선자 실제 득표율과 여론조사 예측치의 평균 격차가, 경쟁 방송국의 전화면접 조사에 비해 2배 가량 정확하게 나타났던 것에서도 근거를 찾을 수 있습니다. 당시 SBS의 105개 지역 ARS 조사결과는 표집오차 범위내에서 대부분 당선자 득표율에 근접하게 예측했고, 경쟁 방송국의 동일 지역 전화면접 조사결과는 표집오차 이상의 오차, 즉 비표집오차까지 개입된 격차가 개표방송을 통해 공개된 바 있습니다. 의심이 되시는 분들은 2008년 4월 총선 당일 저녁 개표방송 때 일제히 발표된 각 방송사들의 예측조사 결과를 보시기 바라며, 필요한 분들은 자료요청을 하시면 보내드리도록 하겠습니다.
다만 ARS 조사가 조사업계에서 정치조사의 정확한 도구로 여전히 안착하지 못하고 있는 것은 조사의 신뢰도 때문이기 보다는, 오히려 매출액 대비 수익률이 현저히 낮기 때문입니다. 이건 정말 현실적인 문제로 저희 리얼미터의 대차대조표만 봐도 그렇습니다. ARS 조사는 별로 돈이 안 된다는 거죠. 이러한 사실은 수년전에 우리나라 메이저 조사기관 대표님께서 저에게 직접 저녁식사 자리에서 코치해주셨던 부분이기도 합니다. "ARS 조사가 정치사회 조사에 뿌리내리면 조사가 정확하든 안하든, 조사업계 전체가 장사 못하게 된다"고 말이죠. 그런 일을 리얼미터가 2005년부터 하고 있습니다. 장사를 떠나 정치조사에 있어서는 정확하니까 말이지요. 그분에게는 정말 죄송스럽습니다. 다만 ARS 조사도 조사설계가 잘 되어야 한다는 전제는 반드시 필요합니다. 그게 사실 어렵기 때문에 엉터리 ARS 조사 업체가 많은 것 또한 현실입니다.
다시 곁길에서 본론으로 들어와 세종시 여론조사와 DK그룹 얘기를 하겠습니다. Let''s talk turkey again!
여론조사를 함에 있어서 조사기관들은 통상 DK그룹을 가급적 줄이고 어떻게든 응답자들로부터 솔직한 답변을 얻어내기 위해 많은 노력을 합니다. 다만 조사의 주제와 목적이 무엇이냐에 따라, DK그룹을 인위적으로 줄이지 말고 있는 그대로 해석해야하는 상황도 사실 있습니다. 마치 투표할 때 투표용지에 기권 보기를 넣어야 한다는 일부의 의견이 있듯이, 인지도가 낮고, 정치 쟁점화되어버린 세종시 관련 이슈는 특히 DK그룹을 애써 줄이기보다는, 있는 그대로의 여론을 정책 입안자에 보여주는 것이 옳다고 생각을 합니다.
DK그룹에 포함되는 응답자들은 실제로 해당 주제에 대해서 몰라서 모른다고 응답하는 경우도 있고, 알더라도 여러 가지 이유로 응답을 하지 않는 경우가 있을 수 있을텐데, DK 보기가 없이 무조건 찬반양론 중에 하나를 선택하게 한다면, 특정 응답으로 기울 수 있다는 것입니다. 가령 홍사덕 의원이나 원희룡 의원이 내세운 절충안에 공감하는 유권자, 즉 일부 부처가 내려가야 한다고 생각하는 유권자는 수정안도 싫고, 원안도 싫기 때문에 찬반 양론 외에는 선택할 보기가 없어 DK로 분류되어야 하는 것이고, 김문수 지사의 주장에 동조하는 유권자들은 역차별 때문에 수정안도 싫고 원안도 싫어서 DK로 분류되어야 하는 것입니다.
더구나 세종시 수정안에 대한 인지도는 매우 낮습니다. 한국일보-미디어리서치 조사에 의하면 국민의 절반은 세종시 수정안에 대해서 잘 모른다고 응답을 한 것으로 나타났습니다. 2명중 1명이 세종시 수정안 대해 잘 모르는 상황에서, 주요 언론조사가 발표한 조사결과를 보면 10% 안팎이 DK그룹으로 매우 적게 잡혀 있고, 심지어는 3%까지 적게 나타난 조사도 있으니, 수정안 반대를 주장하는 야당측에서는 여론조작을 주장할 만합니다.
한국일보-미디어리서치가 최근 발표한 정당지지율 조사에서 DK그룹이 30%에 육박하는 것과 비교할 때, 세종시 관련 여러 조사기관들의 조사가 DK그룹이 상대적으로 매우 적게 잡혀 있는 것에 대해 야당과 충청도민은 충분히 이의를 제기할 수 있는 것입니다. DK그룹에 대한 수많은 연구에서, 통상 찬반양론으로 묻는 질문이, 그렇지 않은 질문에 비해 DK그룹 비율이 많은 것이 정설인데, 이번 세종시 조사는 정반대로 나타났기 때문입니다.
정리하자면 수정안에 대한 인지도가 낮고, 찬반양론으로만 되어 있는 문항이 선택의 폭이 적기 때문에, 당연히 모름/무응답이라는 DK그룹이 존재의 가치가 있을진대, 재질문이나 프로빙(probing) 등을 통해 DK그룹을 대폭 줄이다보니, 조사기관별로 다른 양태의 조사결과나 나타난 것입니다.
즉, 리얼미터를 포함한 모든 조사기관의 조사결과가 "원안 또는 수정 반대" 의견에 있어서는 40% 안팎으로 거의 비슷하게 나타나 표준편차가 오차범위내로 나타난 반면, "정부안 찬성 즉 수정안 의견" 퍼센트와 DK그룹 퍼센트는 모든 조사가 판이하게(최고치는 매경 58.8%, 최저치는 민주당 정책연구소 37.5%) 나타나, 그 표준편차가 오차범위 밖으로 벗어나게 된 것입니다. 심지어는 같은 조사기관이 실시한 두번의 결과값(KRC)에서도 DK그룹의 편차가 있었던 것이지요.
필자는 DK그룹의 유무 또는 대소에 따라 세종시 수정안이 어떤 결과 차이가 있는지 지난 16일 오후 검증을 해보기 위하여, 자체 비용을 들여 DK그룹이 없는 폐쇄형으로 자동응답 방식으로 세종시 수정안과 원안에 대한 입장을 500명에게 조사를 해봤는데요. 15일 DK그룹을 포함한 3개의 척도와 비교해 볼 때, 수정안이 원안보다 훨씬 높게 나타났습니다.
15일 리얼미터 세종시 조사에서는 ① 수정안 43.6%, ② 원안 36.4%, ③ 모름/무응답(DK) 19.9%였는데(위 그래프), 16일 DK를 빼고 폐쇄형으로 질문을 했더니 ① 수정안 59.8%, ② 원안 40.2%(아래 그래프)으로 수정안 쪽으로 무게 중심이 확 쏠리는 것을 볼 수 있었습니다. (수정안 발표후 리얼미터가 총 4회를 조사했는데, 처음에는 원안이 더 많았으나 여러 신문, 방송의 여론조사 보도가 일제히 수정이 많다고 보도가 된후, 2차 조사에서는 접전, 3차, 4차 조사에서는 수정이 많아져 여론조사 보도에 의한 밴드웨건 효과가 개입됐을 가능성을 시사해 주었고, 의도적이든 비의도적이든 여론조사에 의한 여론전에서는 일단 정부의 노력이 효과를 보고 있다는 생각이 듭니다)
정치공학적으로 이 문제를 친이, 친박 공식에 대입해 볼까요?
설문지에 DK그룹을 넣었을 경우에는 친박이 되고, DK그룹을 배제하면 친이 설문지가 됩니다. 이는 2007년 한나라당 대선 경선시 선호도(한나라당 후보로 누가 낫다고 생각하느냐?)로 질문하면 친이고, 지지도(한나라당 후보로 누구를 지지하십니까?)로 질문하면 친박이었던 것과 일맥상통하는 것이지요. 당시 박관용 경선관리위원장은 그래서 선호도와 지지도가 결합된 "한나라당 대통령 후보로 누구를 뽑는 게 좋다고 생각하십니까?’라는 오묘한 절충안을 냈었지요. 몇 년 안 된 일이라 기억들 나실 겁니다.
결국 세종시 설문조사에 있어, 찬반양론으로 묻는 경우 DK그룹이 있느냐 없느냐, 혹은 DK그룹을 얼마나 최소화 하느냐에 따라 세종시 여론은 수정이 될 수도, 원안이 될 수도 있는 것입니다. 필자는 세종시 수정안 추진을 여론조사로, 또는 국민투표로 하자는 일부의 주장에 물론 미디어법 처리 당시와 마찬가지로 반대 입장이기 때문에, 여론조사에 너무 과중한 의미를 두는 것에 경계를 하면서도, 적어도 여론조사를 함에 있어서는 학자들과 업계 전문가들, 정책 추진자들과 공조하여 진짜 여론이 무엇인지에 대한 고민이 선행되어야 한다고 생각을 합니다. 여론조사가 이미 정치권에 과도한 영향을 미치게 됐고, 돌이킬 수 없는 상황이라면 여론조사 업계 내부에서 보다 엄밀한 조사가 이뤄져야 한다는 것이죠. 서로들 경쟁 상대로만 볼 것이 아니라, 여론조사 전문가들, 그리고 전담 기자들이 국가를 위해 중지를 모아야 합니다.
리얼미터의 경우 작년 하반기 설문구성시 원안, 수정 양론으로 묻는 것에 많은 고심을 했지만, 대국민 인지도가 낮고 관여도가 낮은 상황에서는 여론 수렴 차원에서 최대한 간단한 설문이 필요하다고 봤고, 그래서 ① 수정, ② 원안, ③ DK로 수개월간 물었는데, 향후 조사에서부터는 ① 이명박 정부의 수정안, ② 노무현 정부의 원안, ③ 두 정부안의 절충안 ....DK 등으로 세분화해야 되겠다는 생각에, 지난주말부터 설문지 재구성 작업에 착수했습니다.
돌이켜보면 리얼미터가 지난번 미디어법 파동 때는 친여 여론조사 기관이 되었다가, 이번일로 네티즌들 표현에 의하면 오랜만에 다시 좌빨 조사기관이 되었습니다. 오른쪽으로 갔다가 왼쪽으로 갔다가... 그런데 저희는 그냥 제자리에 있는데 세상이 왼쪽, 오른쪽으로 움직이는 건 아닐까요?
필자가 미디어법 파동 당시 여론조사 활용과 관련해 야당 의원분들에게 주의를 부탁드렸고 저의 의견을 당시 여당 의원분들과 보수언론에서 많이 인용들 하셨는데, 아니나 다를까 이번에는 몇 개월 되지도 않아 현 정부와 여당이 여론으로 세종시 수정안을 더욱 세게 밀어붙이려 하는 모습을 보이고 있고, 반대로 야당은 여론조사로 정책을 결정하면 안된다고 하니, 여의도에 있는 다람쥐 쳇바퀴가 다른 동네보다 빨리 돌아가고 있는 것이 아닌가 싶습니다. 이쯤되면 리얼미터는 가만히 있는데, 여야가 좌우로 왔다갔다 하는 거, 맞는거 아닌가요?
최근 공중부양을 하셨던 강기갑 민노당 대표에 대한 법원 판결을 두고 기교사법(技巧司法)이라는 용어가 유행인데요. 여론조사가 기교여론(技巧輿論)이 안되기 위해서는 조사를 하는 조사기관이나 보도를 하는 언론사나 비표집오차에 대해서 각별한 주의를 기울여야할 듯 합니다. 저희 리얼미터도 앞으로 기교 안부리고 계속 노력하겠습니다. 긴 글 읽어 주셔서 감사합니다.
여의도에서 리얼미터 이택수 대표
최근 세종시 관련 여론조사로 많은 국민들이 헷갈렸습니다. 국민들뿐만 아니라 정치인, 기자분들도 많이 헷갈렸고, 여론조사
회사들도 헷갈렸습니다. 11일 정부의 수정안 발표 다음날 발표된 한국일보-미디어리서치 조사와 저희 리얼미터 조사가 하필이면 전혀 상반된 결과를
나타냈기 때문입니다.
수정안 발표후 가장 먼저 12일 오전 발표된 미디어리서치 조사결과는 수정 찬성 의견이 많았고, 12일 오후 발표된 리얼미터의 자체
조사결과는 원안 추진 의견이 많았습니다. 포털 1위 네이버 뉴스 섹션에서 12일 오후 가장 많이 읽은 정치 뉴스가 바로 리얼미터 조사결과였기
때문에, 그날 오후 정말 많은 분들로부터 전화를 받았습니다. 격려반, 우려반의 목소리로 말이죠.
며칠후 민주당 정책연구소 조사결과와 폴리뉴스-모노리서치 조사결과가 원안 추진의견이 더 높게 나타났다고 발표가 됐지만, 언론에서 거의 받아 써주지 않은 탓에, 이글을 쓰는 오늘도 네이버 세종시 뉴스 섹션에는 리얼미터 조사결과만 세종시 수정추진에 반대하는 조사결과를 발표한 기관으로 엄중 포위되어 있는 상황입니다.
그렇다면 왜 세종시 조사결과가 이렇게 들쑥날쑥하게 나타나서 혼란을 주고 있는 것일까요? 정부안 발표 후 몇몇 기자분들께서 저를 포함한 여론조사 전문가들에게 인터뷰를 요청하여 다음날 기사가 나가기도 했지만, 대부분의 해석이 "세종시 여론이 아직 정착되지 않아서였다"는 추정 정도였습니다. 여론이 정착되려면 2~3일 걸린다고 말이죠. 그런데 정말 단지 그 이유만이었을까요? 대체 왜 세종시 여론조사 결과가 들쑥날쑥하게 나타나고 있는 걸까요?
수정안이 발표된 11일 이후, 이명박 대통령이나 박근혜 전 대표도 잠을 설치시고 있겠지만, 저 역시 며칠동안 잠을 설쳤습니다. 밥을 먹으면서도, 자면서도, 사람들을 만나면서도 오로지 세종시 여론조사 결과만 생각하고 또 관련 자료를 찾아보면서, 나름대로 몇 가지 지나쳤던 것들을 발견하게 되었습니다. 그래서 여론조사업 종사자로서 그 원인이 무엇인지 기자분들과 정치인분들, 그리고 국민들에게 차근히 설명을 드려야겠다고 결심했습니다. 물론 여론조사 종사자분들 중에도 이러한 사실에 대해 지나쳤던 분들이 있었을 텐데, 그 분들에게도 도움이 됐으면 좋겠습니다.
물론 제 글이 맞는 말일 수도 있고, 전혀 틀린 말일 수도 있으니, 이글을 읽고 계신 여러분들께서는 제 나름대로의 설명을 듣고 잘 판단을 해 주시고, 필요하시면 격려, 조언, 반박을 해주시면 감사하겠습니다. ''선플'', ''악플'' 다 수용하겠습니다. 서론이 길었는데, 이제 각설하고 본론으로 들어가도록 하겠습니다.
Let's talk turkey!
선생님께서는 정답이 없는 문제를 풀어보신 적이 있으십니까? 의도적으로 정답이 없는 문제는 보기에 ''정답은 없다''고 있을 것이고, 비의도적으로 정답이 없는 문제의 경우에는 간혹 수능시험에서 그렇듯, 응시자 전원이 모두 맞춘 것으로 처리되기도 합니다. 여론조사는 시험과는 달라서 정답이 없는 질문이지만, 자기의견과 부합하지 않는 경우에는, ''기타'' 또는 ''모름/무응답''이라는 보기를 넣어줘서 퇴로를 열어줘야 합니다. 그렇지 않다면 '문제 있는 문제'가 되는 것이죠.
시험에서도 그렇지만 여론조사에서도 가장 중요한 것이 설문 문항, 즉 질문입니다. 아울러 그에 못지 않게 중요한 것이 바로 ''모름/무응답''에 해당하는 부동층 분석입니다. 부동층 분석을 하기 위해 여론조사 기관들은 판별분석 등 여러 통계방법을 동원해 추정을 하고 있지만, 부동층 분석이 쉽지 않은 일이기에, 선거 예측이 간혹 틀리는 경우가 발생하기도 합니다.
부동층 또는 유보층은 영어로 DK그룹(Don''t Know)이라고 하는데, 여론조사에서 차지하는 DK그룹의 중요한 의미 때문에 관련된 논문도 어렵지 않게 찾아볼 수 있습니다. 세종시 관련 들쑥날쑥한 여론조사의 비밀도 역시 바로 DK그룹과 관련이 있었습니다.
여러 여론조사들의 세종시 관련 조사가 완벽했을까요? 완벽하지 못했다면, 어떠한 문제점이 있었을까요? 표집과 관련된 오차는 대부분의 조사기관들이 동일한 표집방법으로 조사하고 있기 때문에, 표집오차보다는 비표집오차에서 비롯됐을 가능성이 높고, 비표집오차 중에서는 설문 구성(문항순서, 워딩)과 DK그룹 분석과 관련됐을 가능성이 높습니다. 오늘은 그중 DK그룹을 집중적으로 보도록 하겠습니다.
먼저 각 조사기관별 DK그룹(답변 유보층)의 분포를 볼까요?
원안추진 의견이 많았던 리얼미터와 민주당 조사는 DK그룹이 20% 안팎이었고, 나머지 다섯 기관의 평균 DK그룹은 10%가 채 되지 않아 절반에 미치지 못했습니다. 심지어 매일경제는 3%로 거의 모든 응답자들로부터 수정안 찬반에 대한 답변을 받아 냈습니다. 같은 조사기관이 실시한 동아일보, MBC 조사가 수정안 찬반의 격차가 상이하게 나타난 것도 사실 DK그룹의 분포 격차 때문이었습니다.
리얼미터와 민주당이 DK그룹이 20% 안팎인 것은, 자동응답 방식의 조사로 ① 수정, ② 원안, ③ DK를 시간차이 없이 연속해서 성우가 불러주기 때문이고, 나머지 조사기관이 채택한 전화면접 조사에서는 수정, 원안을 우선 불러주고, 답변을 꺼리거나 못하는 사람들에게 재차 답변을 유도하기 때문에 DK그룹이 10% 안팎, 심지어 3%까지 낮아지는 것입니다. 거시적으로 보면 이 문제를 자동응답 전화조사와 전화면접의 조사의 차이로 볼 수도 있겠지만, 미시적으로 보면 결국 DK그룹을 어떻게 처리하느냐에 차이이기 때문에, DK그룹에 대해 집중적으로 논의하고자 합니다.
여기서 잠깐.
집중적인 논의에 앞서 저희 회사에 대한 선입견이 있을지 몰라 한마디 부연설명을 드리겠습니다. 저희 리얼미터는 국내에서는 유일하게 정치사회 관련 조사를 매일 1,000명씩 실시하고 있는데, 정치조사에 있어서는 신뢰도가 높고 비용의 효율성이 높아 자동응답 방식을 채택하고 있습니다. 때문에 리얼미터가 ARS 조사 전문기관으로 인식이 되고 있으나, 리얼미터의 최근 매출에서 ARS조사는 전체 매출에서 10% 미만으로 점유율이 크지 않고, 다른 주요 조사기관들처럼 대인면접, 전화면접, FGI 조사가 주요 매출이라는 점을 양지해 주시길 부탁드립니다. 매일 1천명씩 실시하는 조사를 ARS 방식으로 하는 것이 절대로 비용때문이 아니라는 점을 밝힙니다. 비용을 절약하려 했다면 저희 전화 면접원들이 대부분의 ARS 응답자들에게 검증 전화를 직접 하지 않겠지요. 엄밀히 말하면 ARS 실사 + 전화면접 검증조사인 셈입니다. 비용만 따지면 사실 일반 전화면접 조사보다 더 많이 지출하고 있습니다.
정치 조사를 함에 있어서 ARS 조사를 선택한 이유는 앞서 말씀드린대로 높은 신뢰도를 갖고 있기 때문인데, 2008년 총선당시 SBS에서 105개 지역을 ARS조사로는 처음으로 예측조사에 활용한 바, 당시 실사를 맡은 리얼미터의 조사결과를 경쟁 방송국이 전화면접으로 실시한 동일 지역 조사결과와 비교해 보면, 당선자 실제 득표율과 여론조사 예측치의 평균 격차가, 경쟁 방송국의 전화면접 조사에 비해 2배 가량 정확하게 나타났던 것에서도 근거를 찾을 수 있습니다. 당시 SBS의 105개 지역 ARS 조사결과는 표집오차 범위내에서 대부분 당선자 득표율에 근접하게 예측했고, 경쟁 방송국의 동일 지역 전화면접 조사결과는 표집오차 이상의 오차, 즉 비표집오차까지 개입된 격차가 개표방송을 통해 공개된 바 있습니다. 의심이 되시는 분들은 2008년 4월 총선 당일 저녁 개표방송 때 일제히 발표된 각 방송사들의 예측조사 결과를 보시기 바라며, 필요한 분들은 자료요청을 하시면 보내드리도록 하겠습니다.
다만 ARS 조사가 조사업계에서 정치조사의 정확한 도구로 여전히 안착하지 못하고 있는 것은 조사의 신뢰도 때문이기 보다는, 오히려 매출액 대비 수익률이 현저히 낮기 때문입니다. 이건 정말 현실적인 문제로 저희 리얼미터의 대차대조표만 봐도 그렇습니다. ARS 조사는 별로 돈이 안 된다는 거죠. 이러한 사실은 수년전에 우리나라 메이저 조사기관 대표님께서 저에게 직접 저녁식사 자리에서 코치해주셨던 부분이기도 합니다. "ARS 조사가 정치사회 조사에 뿌리내리면 조사가 정확하든 안하든, 조사업계 전체가 장사 못하게 된다"고 말이죠. 그런 일을 리얼미터가 2005년부터 하고 있습니다. 장사를 떠나 정치조사에 있어서는 정확하니까 말이지요. 그분에게는 정말 죄송스럽습니다. 다만 ARS 조사도 조사설계가 잘 되어야 한다는 전제는 반드시 필요합니다. 그게 사실 어렵기 때문에 엉터리 ARS 조사 업체가 많은 것 또한 현실입니다.
다시 곁길에서 본론으로 들어와 세종시 여론조사와 DK그룹 얘기를 하겠습니다. Let''s talk turkey again!
여론조사를 함에 있어서 조사기관들은 통상 DK그룹을 가급적 줄이고 어떻게든 응답자들로부터 솔직한 답변을 얻어내기 위해 많은 노력을 합니다. 다만 조사의 주제와 목적이 무엇이냐에 따라, DK그룹을 인위적으로 줄이지 말고 있는 그대로 해석해야하는 상황도 사실 있습니다. 마치 투표할 때 투표용지에 기권 보기를 넣어야 한다는 일부의 의견이 있듯이, 인지도가 낮고, 정치 쟁점화되어버린 세종시 관련 이슈는 특히 DK그룹을 애써 줄이기보다는, 있는 그대로의 여론을 정책 입안자에 보여주는 것이 옳다고 생각을 합니다.
DK그룹에 포함되는 응답자들은 실제로 해당 주제에 대해서 몰라서 모른다고 응답하는 경우도 있고, 알더라도 여러 가지 이유로 응답을 하지 않는 경우가 있을 수 있을텐데, DK 보기가 없이 무조건 찬반양론 중에 하나를 선택하게 한다면, 특정 응답으로 기울 수 있다는 것입니다. 가령 홍사덕 의원이나 원희룡 의원이 내세운 절충안에 공감하는 유권자, 즉 일부 부처가 내려가야 한다고 생각하는 유권자는 수정안도 싫고, 원안도 싫기 때문에 찬반 양론 외에는 선택할 보기가 없어 DK로 분류되어야 하는 것이고, 김문수 지사의 주장에 동조하는 유권자들은 역차별 때문에 수정안도 싫고 원안도 싫어서 DK로 분류되어야 하는 것입니다.
더구나 세종시 수정안에 대한 인지도는 매우 낮습니다. 한국일보-미디어리서치 조사에 의하면 국민의 절반은 세종시 수정안에 대해서 잘 모른다고 응답을 한 것으로 나타났습니다. 2명중 1명이 세종시 수정안 대해 잘 모르는 상황에서, 주요 언론조사가 발표한 조사결과를 보면 10% 안팎이 DK그룹으로 매우 적게 잡혀 있고, 심지어는 3%까지 적게 나타난 조사도 있으니, 수정안 반대를 주장하는 야당측에서는 여론조작을 주장할 만합니다.
한국일보-미디어리서치가 최근 발표한 정당지지율 조사에서 DK그룹이 30%에 육박하는 것과 비교할 때, 세종시 관련 여러 조사기관들의 조사가 DK그룹이 상대적으로 매우 적게 잡혀 있는 것에 대해 야당과 충청도민은 충분히 이의를 제기할 수 있는 것입니다. DK그룹에 대한 수많은 연구에서, 통상 찬반양론으로 묻는 질문이, 그렇지 않은 질문에 비해 DK그룹 비율이 많은 것이 정설인데, 이번 세종시 조사는 정반대로 나타났기 때문입니다.
정리하자면 수정안에 대한 인지도가 낮고, 찬반양론으로만 되어 있는 문항이 선택의 폭이 적기 때문에, 당연히 모름/무응답이라는 DK그룹이 존재의 가치가 있을진대, 재질문이나 프로빙(probing) 등을 통해 DK그룹을 대폭 줄이다보니, 조사기관별로 다른 양태의 조사결과나 나타난 것입니다.
즉, 리얼미터를 포함한 모든 조사기관의 조사결과가 "원안 또는 수정 반대" 의견에 있어서는 40% 안팎으로 거의 비슷하게 나타나 표준편차가 오차범위내로 나타난 반면, "정부안 찬성 즉 수정안 의견" 퍼센트와 DK그룹 퍼센트는 모든 조사가 판이하게(최고치는 매경 58.8%, 최저치는 민주당 정책연구소 37.5%) 나타나, 그 표준편차가 오차범위 밖으로 벗어나게 된 것입니다. 심지어는 같은 조사기관이 실시한 두번의 결과값(KRC)에서도 DK그룹의 편차가 있었던 것이지요.
필자는 DK그룹의 유무 또는 대소에 따라 세종시 수정안이 어떤 결과 차이가 있는지 지난 16일 오후 검증을 해보기 위하여, 자체 비용을 들여 DK그룹이 없는 폐쇄형으로 자동응답 방식으로 세종시 수정안과 원안에 대한 입장을 500명에게 조사를 해봤는데요. 15일 DK그룹을 포함한 3개의 척도와 비교해 볼 때, 수정안이 원안보다 훨씬 높게 나타났습니다.
15일 리얼미터 세종시 조사에서는 ① 수정안 43.6%, ② 원안 36.4%, ③ 모름/무응답(DK) 19.9%였는데(위 그래프), 16일 DK를 빼고 폐쇄형으로 질문을 했더니 ① 수정안 59.8%, ② 원안 40.2%(아래 그래프)으로 수정안 쪽으로 무게 중심이 확 쏠리는 것을 볼 수 있었습니다. (수정안 발표후 리얼미터가 총 4회를 조사했는데, 처음에는 원안이 더 많았으나 여러 신문, 방송의 여론조사 보도가 일제히 수정이 많다고 보도가 된후, 2차 조사에서는 접전, 3차, 4차 조사에서는 수정이 많아져 여론조사 보도에 의한 밴드웨건 효과가 개입됐을 가능성을 시사해 주었고, 의도적이든 비의도적이든 여론조사에 의한 여론전에서는 일단 정부의 노력이 효과를 보고 있다는 생각이 듭니다)
정치공학적으로 이 문제를 친이, 친박 공식에 대입해 볼까요?
설문지에 DK그룹을 넣었을 경우에는 친박이 되고, DK그룹을 배제하면 친이 설문지가 됩니다. 이는 2007년 한나라당 대선 경선시 선호도(한나라당 후보로 누가 낫다고 생각하느냐?)로 질문하면 친이고, 지지도(한나라당 후보로 누구를 지지하십니까?)로 질문하면 친박이었던 것과 일맥상통하는 것이지요. 당시 박관용 경선관리위원장은 그래서 선호도와 지지도가 결합된 "한나라당 대통령 후보로 누구를 뽑는 게 좋다고 생각하십니까?’라는 오묘한 절충안을 냈었지요. 몇 년 안 된 일이라 기억들 나실 겁니다.
결국 세종시 설문조사에 있어, 찬반양론으로 묻는 경우 DK그룹이 있느냐 없느냐, 혹은 DK그룹을 얼마나 최소화 하느냐에 따라 세종시 여론은 수정이 될 수도, 원안이 될 수도 있는 것입니다. 필자는 세종시 수정안 추진을 여론조사로, 또는 국민투표로 하자는 일부의 주장에 물론 미디어법 처리 당시와 마찬가지로 반대 입장이기 때문에, 여론조사에 너무 과중한 의미를 두는 것에 경계를 하면서도, 적어도 여론조사를 함에 있어서는 학자들과 업계 전문가들, 정책 추진자들과 공조하여 진짜 여론이 무엇인지에 대한 고민이 선행되어야 한다고 생각을 합니다. 여론조사가 이미 정치권에 과도한 영향을 미치게 됐고, 돌이킬 수 없는 상황이라면 여론조사 업계 내부에서 보다 엄밀한 조사가 이뤄져야 한다는 것이죠. 서로들 경쟁 상대로만 볼 것이 아니라, 여론조사 전문가들, 그리고 전담 기자들이 국가를 위해 중지를 모아야 합니다.
리얼미터의 경우 작년 하반기 설문구성시 원안, 수정 양론으로 묻는 것에 많은 고심을 했지만, 대국민 인지도가 낮고 관여도가 낮은 상황에서는 여론 수렴 차원에서 최대한 간단한 설문이 필요하다고 봤고, 그래서 ① 수정, ② 원안, ③ DK로 수개월간 물었는데, 향후 조사에서부터는 ① 이명박 정부의 수정안, ② 노무현 정부의 원안, ③ 두 정부안의 절충안 ....DK 등으로 세분화해야 되겠다는 생각에, 지난주말부터 설문지 재구성 작업에 착수했습니다.
돌이켜보면 리얼미터가 지난번 미디어법 파동 때는 친여 여론조사 기관이 되었다가, 이번일로 네티즌들 표현에 의하면 오랜만에 다시 좌빨 조사기관이 되었습니다. 오른쪽으로 갔다가 왼쪽으로 갔다가... 그런데 저희는 그냥 제자리에 있는데 세상이 왼쪽, 오른쪽으로 움직이는 건 아닐까요?
필자가 미디어법 파동 당시 여론조사 활용과 관련해 야당 의원분들에게 주의를 부탁드렸고 저의 의견을 당시 여당 의원분들과 보수언론에서 많이 인용들 하셨는데, 아니나 다를까 이번에는 몇 개월 되지도 않아 현 정부와 여당이 여론으로 세종시 수정안을 더욱 세게 밀어붙이려 하는 모습을 보이고 있고, 반대로 야당은 여론조사로 정책을 결정하면 안된다고 하니, 여의도에 있는 다람쥐 쳇바퀴가 다른 동네보다 빨리 돌아가고 있는 것이 아닌가 싶습니다. 이쯤되면 리얼미터는 가만히 있는데, 여야가 좌우로 왔다갔다 하는 거, 맞는거 아닌가요?
최근 공중부양을 하셨던 강기갑 민노당 대표에 대한 법원 판결을 두고 기교사법(技巧司法)이라는 용어가 유행인데요. 여론조사가 기교여론(技巧輿論)이 안되기 위해서는 조사를 하는 조사기관이나 보도를 하는 언론사나 비표집오차에 대해서 각별한 주의를 기울여야할 듯 합니다. 저희 리얼미터도 앞으로 기교 안부리고 계속 노력하겠습니다. 긴 글 읽어 주셔서 감사합니다.
여의도에서 리얼미터 이택수 대표
본문이 길지만 한 번 꼼꼼하게 읽어볼만한 글입니다.
통계에 대해서 잘 몰라서 그런 그렇지 않을까 생각만 했던 부분에 대해서 전문가 입장에서 꼼꼼하게 보여주는 것 같습니다.
;)
