CVR 분석 방법론을 활용한 인과지도 개발 및 타당성 확보 방안

1. CVR 분석 방법론을 활용한 인과지도 개발 및 타당성 확보 방안 박 상 현 한국정보화진흥원 책임연구원 (Ph.D) 2010. 9. 30(목)

2. 사 건 (Events) 문제 정의 및 브레인 스토밍 행태의 역사적 결과와 패턴분석 행 태 (Behavior) 인과모형과 시뮬레이션 설계 및 구현 구 조 (Structure) 인과지도란? 인과지도는 대상 시스템 관련 변수들의 피드백 구조를 바탕으로 문제 인식, 공유 및 해결 방안을 모색하는 도구 • 대상 시스템 관련 변수가 동태적 관계 발견 용이 • 개인 또는 팀의 공유 멘탈 모델 도출 및 정리 용이 • 피드백 구조를 바탕으로 정책 레버리지 발견 용이 • 인과지도 사고 체계 • 인과지도 개념 및 구조 • 사실적 • 사고 • 동태적 • 사고 • 피드백 • 사고 A B C

3. 인과지도의 한계 인과지도는 문제를 규명하고 해석하는 강력한 도구, 하지만… “A mental model of a dynamic system is a relatively enduring and accessible, but limited, internal conceptual representation of an external system (historical, existing or projected) whose structure is analogous to the perceived structure of that system.” Doyle etal. 동태적시스템의 멘탈 모델은 비교적 오랫동안 기억되고 이해하기 쉽지만 제한적이고, 내적인 개념의 표현방식이다.

4. 인과지도의 한계 인과지도는 문제를 규명하고 해석하는 강력한 도구, 하지만… “Although successes in addressing complex problems have been attributed to the use of causal-loop diagrams, they have also been criticized. A major limitation is that, due to the cognitive limitations of the human brain” Bruce Campbell 인간 두뇌의 인지적 제약은 인과지도의 가장 큰 한계이다.

5. 인과지도의 한계 경험, 지식, 신념, 지위, 시간과 공간의 차이 등이 인간 두뇌의 인지적 차이를 만든다. “차이가 차이를 만든다.” “아는 만큼 보인다.” “입장이 바뀌면 생각도 바뀐다.” “열길 물속은 알아도 한길 사람 속은 모른다.” “생각은 시시각각 변한다.” “내 맘을 나도 모르겠다.” “그건~ 당신 생각이고….”

6. 외부 시스템과 내부적 인지 프로세스 Source: Martin Schaffernicht

7. 인과지도 작성 프로세스

8. 대안 제시 : CVR 분석 집단적 사고의 종합화를 통한 객관성 확보로 변수 도출, 변수간 관계 규명, 인과지도 타당성 검증 • CVR 분석이란? • CVR(Content Validity Ratio, 내용 타당도 비율) 분석은 전문가 패널에게 각 측정지표의 항목별로 반드시 필요하다, 관련은 있으나 반드시 필요하진 않다, 불필요하다로 구분하여 질문을 수행 (Lawshe, 1975) • 즉, 타당하다고 응답한 경우가 전체 응답자의 50% 이상일 때, 해당 문항은 내용 타당도가 어느 정도 존재함을 인정 • 따라서 CRV 값은 타당하다는 응답이 50% 보다 적을 때 음수, 50% 일 때 0, 100%일 때 1이 되며 50%~100% 사이 일 때 0과 1 사이로 계산 • 이러한 CVR 값은 Schipper가 제시한 데이터에 의해 델파이 조사에 참여한 패널의 수에 따라 최소값을 결정하며유의도는.05 수준에서 전문가 패널 수에 따른 최소값 이상의 CVR값을 가진 항목들만 내용 타당도가 있다고 판단

9. CVR 분석 방법 여기서 Ne는 타당하다고 응답한 패널의 수 즉, 3점 척도에서는 3으로 응답한 패널의 수, 5점 척도에서는 4, 5에 응답한 패널의 수, 7점 척도인 경우에는 5, 6, 7점으로 응답한 패널의 수를 의미 N은 연구에 참여한 전체 델파이 패널의 수 • CVR 최소 허용값

10. 합의도와 수렴도 분석 • 일반적으로 다수의 패널간 의견차를 좁히고 공유된 의견으로 수렴하기 위해 CVR 분석을 위한 델파이 조사는 2회 이상 실시 • 2회의 설문을 통해 의견이 어느 정도 합의되고 수렴되었는지를 판단하는 기준으로 합의도와 수렴도 분석 • 합의도는1사분위(Q1)와 3사분위(Q3) 가 일치할 때 1의 값을 가지며 편차가 커질수록 값이 커지며 .75 이상이면 긍정적으로 판단 (Mdn은 중위수) • 반면 수렴도는 의견이 한점에 모두 수렴됐을 때 0의 값을 가지며 편차가 커질수록 값이 커지며 0.5 이하이면 긍정적으로 판단

11. 예시 질의 1. 시민불편이 증가하면 민원제기가 증가한다. 2. 주차부족 해결 민원 신청이 증가하면 공용 주차장이 증설된다. 3. 주차장이 증설되면 주차장 수용 공간이 증가한다. 4. 주차장 수용 공간이 증가하면 차량 이용 및 유입이 증가한다. 5. 차량 이용 및 유입이 증가하면 교통체증이 심화된다. 6. 교통체증이 심화되면 시민 불편이 증가한다. 7. 주차장 수용 공간이 증가하면 시민 불편이 감소한다. 전혀 아니다 아니다 보통 그렇다 매우 그렇다 1 2 3 4 5

12. + + - + + - + + 예시 모델 시내 교통 체증 R 시민 불편 주차장 수용 여력 시내 유입 차량 B 민원 제기 B 주차장 증설

13. 요약 및 결론 • 시스템 다이내믹스는 연구 대상 시스템을 동태적 관점에서 전체적으로 조망하여 문제를 인식하고 해결방안을 모색으로 복잡한 문제에 대한 분석 및 연구에 매우 유용 • 인과지도는 시스템 사고를 도와주고 시스템에 대한 이해를 공유하기 위해 유용한 분석 도구 • 그러나 다수의 연구자들이 인과지도의 주관적/인지적 분석이 가지고 있는 한계를 지적하고 있으며 잘못된 사용 사례도 다수 발견 • 현실적으로 인과지도 모델링 과정에 객관성과 보편성을 보완하고 다수의 의견이 반영되어 집단지성이 인과지도로 구현될 수 있도록 새로운 접근 방법에 대한 연구 필요 • CVR 등과 같은 통계적 방법론의 접목은 인과지도 작성을 도와주고 설명력을 높여주기 위한 보완적 방안이 될 것으로 기대 • 이를 위해 인과지도 작성 및 활용에 대한 심도 깊은 연구 필요