출구조사의 오차 발생요인과 극복방안

1. 출구조사의 오차 발생요인과 극복방안 김창영 (코리아리서치센터) KOSOMAR 세미나

2. Ⅰ. 연구의 배경 • 16대 대선 이후 예측조사에서 출구조사가 전화조사를 대체하는 경향이 가속화될 것으로 예상 • 예측조사에서 얻은 성과를 바라보는 조사회사 안과 밖의 시각에 큰 차이가 있음 • 출구조사는 연구자에게 방법론상의 승리의 나팔이 아니라 또 하나의 도전/과제 • 현재 조사회사에서 실시되고 있는 출구조사의 특성 파악과 정밀화 방안 마련 필요 內 外 KOSOMAR 세미나 A2-

3. Ⅱ. 선거여론조사의 변화 과정 1. 태동 단계 2. 발전 단계 3. 성숙 단계 • 1989년(13대 대선) ~ 1995년(1회 지방선거) • 1996년(15대 총선) ~ 2000년(16대 총선) • 2002년 지방선거 이후 • 방문조사(13,14대 대선) + • 전화조사(95년 지방선거) • 전화조사(96 총선, 97대선, 98 지방선건) + 출구조사(16대 총선) • 전화조사 + 출구조사 • 전국단위 여론조사 중심 • 95년 지방선거 최초 실시 • 방법론적 측면 시험단계 • 전화조사 방법의 활성화 • 전화조사의 보편화 • 방법론적 연구의 발전 단계 • 대규모 총선조사/ 예측실패 • 출구 조사 처음 시행 • 광역단위 출구조사 시행 • 당락오차 중심 정교화 • 출구조사 방법론의 정교화 • 새로운 조사기법의 등장 KOSOMAR 세미나 A2-

4. Ⅲ. 전화조사 vs 출구조사 1. 국회의원 선거 • 2000년 총선에서의 출구조사는 방법론상으로 한계점이 있지만, 출구조사가 도입되면서 전화조사에 비해 1,2위 오차가 감소하는 경향을 보여주고 있음 15대 총선 (전화조사) 39개 지역 예측실패 KRC 1,2위 오차 평균 6.4%point 16대 총선 (전화+출구) 20개 지역 예측실패 KRC 1,2위 오차 평균 전화  4.3%point 출구  2.4%point • 한국신당과 민노당, 민국당은 제외 KOSOMAR 세미나 A2-

5. 2. 지방 선거 • 2002년 광역단체장 선거에서는 전화조사와 출구조사를 동시에 실시했으며, 출구조사는 전화 조사와비교해 1,2위 오차가 1%대로 감소하는 경향을 보이고 있음 1~3회 지방선거 1,2위 오차 평균(%) • 1998년 KBS-SBS 조사 : KRC-MRI • 2002년 지방선거 출구조사 : KBS 6개, SBS 4개 시도 KOSOMAR 세미나 A2-

6. 3. 대통령 선거 • 출구조사가 본격적으로 도입된 2002년 16대 대선에서 출구조사는 전화조사 결과와 비교해1,2위 오차가 현저하게 낮은 것으로 나타남 16대 대선 KOSOMAR 세미나 A2-

7. Ⅲ. 조사방법별 장단점 비교 • 출구조사는 전화조사에 비해 많은 단점이 있으나, 투표자를 조사대상으로 한다는 특성때문에 결과의 정확성에서 우세를 보임  출구조사의 안정화를 위해서는 단계별 오차 최소화 방안 마련 필요 전화조사 출구조사 Sampling Frame • 가구 기준  전화번호부에 의한 체계적인 샘플링 가능 • 투표소 기준  대표동/무작위/클러스터 추출 등 다양한 방법 적용 면접원 교육/관리 • 숙련된 면접원에 대한 체계적인 관리 시스템 도입 / 운영 • 학생들에 대한 단기간 교육으로 면접원의 질적 수준에 차이 발생 가능 조사대상 • 선거 이전 투표 의향자 기준 조사 • 선거 당일 투표 완료자 조사 면접과정 • 면접과정에 대한 감청과 검증 가능하며, 다양한 관리 시스템 도입 가능 • 투표 완료자에 대한 체계적인 추출이 원칙이나 그에 대한 관리방안 미흡 결과 분석 • 태도 유보층에 대해 판별분석 등 다양한 분석 방법 적용 가능 • 태도 유보층에 대한 추가 분석 어려움 KOSOMAR 세미나 A2-

8. Ⅳ. 출구조사의 오차 발생 요인 1. 표본 오차와 비표본 오차 표본 오차 • 조사 대상 투표소를 추출하는 과정에서 발생하는 오차 • 조사대상 투표소에서 응답자를 선정하는 과정에서 발생하는 오차 • 지역별 자료를 집계하는 과정에서 발생하는 오차 등 • 면접원들의 조사 진행 과정상에서 발생하는 오차 • 조사 대상자의 응답 과정에서 발생할 수 있는 오차 • 면접원들의 조사 결과 집계/전송 과정에서 발생하는 오차 등 비표본 오차 KOSOMAR 세미나 A2-

9. 2. 표본 오차 –투표소 추출 1) 투표소 추출 방법 • 최근까지 다양한 방식의 투표소 추출방식이 시도되었으며, KRC에서는 대표동 추출방식을 주로이용하고 필요에 따라 클러스터 추출방식이나 PPS 방식을 선택적으로 사용 대표동 추출 • 한 지역 내에는 그 지역을 대표할 수 있는 읍/면/동이 존재한다는 가정 하에 과거선거를 기준으로 해당지역 전체 결과와 각 읍/면/동 결과간 오차 제곱의 합이 가장적은 곳을 선정  투표소 변동이 심할 경우 추출 투표소의 대표성이 약화될 수 있음 클러스터 추출 • 전체 지역을 특성이 유사한 하위 지역으로 다시 층화 하는 방식으로 클러스터 추출 방식은 하위 지역에서 대표동 추출 방식이나 PPS 방식과 결합할 수 있음  클러스터링 하는 특정 시점의 결과에 따라 변동이 많아 폭 넓게 사용하는 데 한계가 있음 PPS 추출 • 전체 지역 내의 읍/면/동 단위를 유권자 수 기준으로 정렬한 다음 PPS 방식에 의해 추출하는 방식  추출되는 읍/면/동의 경향성을 고려하지 않을 경우 오차 발생 가능성이 매우 높을 수 있음 KOSOMAR 세미나 A2-

10. 2) 투표소 추출 결과 분석 • KRC 대표동 추출방식에서는 15대 대선 기준으로 1위와 2위의 오차가 적은 지역을 일차적으로 선정 • 지역별 1위 오차가 0.0%였던 대전지역과 2.2%였던 경북지역을 비교할 경우, 대전지역은 지역별편차가 1% 내에서 고른 반면 경북지역은 지역별 편차가 12.1%까지 매우 크게 나타남 대전지역 15대/16대 1위 오차 경북지역 15대/16대 1위 오차 • 1위 오차 : 노무현 실제 득표율 –노무현 실제(예측) 득표율 • 1위 오차 : 이회창 실제 득표율 –이회창 실제(예측) 득표율 KOSOMAR 세미나 A2-

11. 2. 표본 오차 –응답자 선정 16개 지역별 예측 결과 및 오차 • 응답자 선정은 기본적으로 등간격을 유지하기 때문에 체계적 표본 추출이 가능함 • 그러나, KRC 기준 지역별 오차를 분석한 결과, 충청권을 제외하고 출구조사 결과에서 1위 후보의예측치가 실제 결과에 비해 높게 나타남 • 충청지역이 이번 선거에서 경합 지역이었던 점을 감안한다면, 출구조사에서 열세후보 지지층의 거절률이 상대적으로 높은 경향을 보이고 있음 KOSOMAR 세미나 A2-

12. 3. 표본 오차 –결과 집계 16개 지역별 예측 오차 • 대선예측을 위한 출구조사에서 KRC는 16개 지역별 예측 결과를 종합해 전체 결과를 예측하는 방식을 적용함 • KRC는 이번 선거에서 투표소 기준으로 최대 규모의 출구조사를 실시해, 지역단위의 예측에서는 가장 정확한 결과를 보이고 있음 • 그러나, 지역별 결과를 집계하는 과정에서 발생하는 오차로 인해 전체 결과예측에서는 두드러진 정확성을 보이지 못함 KOSOMAR 세미나 A2-

13. Ⅴ. 출구조사의 오차 극복 방안 1. 표본 오차 • 출구조사에서 대표동 추출방식을 주로 사용할 경우에는 투표소 추출에 따른 오차 발생 가능성이 클 것으로 판단됨  투표소 추출방식에 대한 깊이 있는 연구 필요 투표소 추출 • 이전 선거의 1,2위 오차를 우선적으로 고려하는 현재의 대표동(읍/면) 추출방식은동(읍/면)별 투표 성향의 변동에 따라 영향을 받을 수 있음 • 누적 자료를 바탕으로 지역별 대표성을 지수화하여 선거에 따른 변동을 최소화할수 있는 방법론 개발 필요 응답자 선정 • 지역별로 열세에 있는 후보 지지자의 거절률이 상대적으로 높게 나타남 • 일차적으로 투표자의 응답률을 최소활 수 있는 방안을 마련하고, 거절자의 성향을 분석할 수 있는 방안(성별/연령별 특성 반영) 마련 결과 집계 • 현재의 결과집계방식은 정확한 지역별 투표율을 알 수 없어 과거 투표율을 근거로 한추정치를 사용함 • 과거 투표 경향과 투표 당일의 시간대별 투표율을 결합하여 실제에 가까운 투표율을 추정하여 가중치로 사용 KOSOMAR 세미나 A2-

14. 2. 비표본 오차 • 출구조사의 특성상 면접원 동원과 교육, 현장 조사진행 과정 등 조사 전반에서 비표본 오차가 발생할 가능성이 매우 높음  비표본 오차에 대한 지속적인 관리 /개선 노력 필요 면접원의 수준 제고 • 출구조사 과정 및 방법을 정확하게 이해하기 위한 교육 매뉴얼을 만든다 • 조사에 대한 관여도가 높은 연구원을 중심으로 교육을 수행한다 ( 자료 참고) • 교육 내용의 표준화를 위한 체크 리스트를 활용하여 반복 연습 교육을 실시한다 • 조별 교육을 활용해 연구원간에 교육 내용을 상호 검증할 수 있는 시스템을 갖춘다 • Role Playing을 적극적으로 활용하여 교육 내용의 이해도를 체크 한다 조사진행 관리 • 지역별 관리자를 통해 투표소를 지속적으로 관리할 수 있는 시스템을 구축한다 • 출구조사에 대한 경험이 있는 면접원을 조장으로 선발한다 • 조장에 대한 추가적인 교육과 사명감 고취 등을 통해 자체 관리를 유도한다 • 조장/조원 구성 시 조 내부에서 갈등이 발생할 수 있는 소지를 미연에 차단한다 돌발상황 대처 • 조사과정에서 발생 가능한 문제에 대해 응대 요령을 숙지 시켜 초기 대응능력을 제고한다 • 지역별 관리 책임자를 두어 면접원 단위의 대처가 불가능한 상황에 대해 대처한다 • 지역별 관리 전담 연구원을 편성하여 현장의 문제상황에 대해 민첩하게 대응한다 KOSOMAR 세미나 A2-

15. 교육관련 참고 자료 자료 1 자료 2 조원 구성 및 역할에대한 설명 조원 역할배정 및 모의 상황에 대한 대처요령 설명 자료 4 자료 3 문제상황에 대한 추가 설명 및 보충 투표자에 대한 등간추출 및 응답과정모의 연습 KOSOMAR 세미나 A2-