담당 / 진행 : 국 순 신 디스이즈게임닷컴 경영기획 실장 연세디지털게임교육원 겸임 교수

1. Focus Group Test | Focus Group Interview | Focus Group Test | Focus Group Interview | Focus Group Test Co-project : Thisisgame.com & Yonsei Digital Game Institute FocusGroupTest&Interview FGT/FGI 제안서 : 디스이즈게임닷컴과연세디지털게임교육원 공동 제공 담당 / 진행 : 국 순 신 디스이즈게임닷컴경영기획 실장 연세디지털게임교육원 겸임 교수

2. Focus Group Test 란? (1/4) 1. FGT/FGI 란? 게임 개발에 도움! 학생들에게 도움! TIG에게 무엇을?? 트렌드 통찰력 다양한 경험 축적 리뷰의 노하우 커뮤니티 운영 최신 PC 구입 멀티미디어 강의 다수의 게임 경험 학습된 유저 디스이즈게임닷컴 연세디지털게임교육원 꿈의 FGT 구현!! 2007년 9월에 탄생한 FGT는 디스이즈게임의 『 기획력과 노하우 』 연세디지털게임교육원의『 기자재와 학생 』 의 결합된 산학협력 모델입니다. [사진 설명] 온라인 게임에 대한 참가자의 성향 조사 전체 참가자 뿐만 아니라 성향에 따라 유저를 분류하고 일부 항목에 데이터를 적용함.

3. Focus Group Test 란? (2/4) 2. But, 현실은…… 1. 제 멋대로인 참가 학생들. 자발적이며 적극적인 참여 유도가 힘들었음. 2. PC사양은 좋으나 인터넷 환경이 쾌적하지 않아 게임 집중에 어려움. 3. 게임마다 효율적인 데이터를 찾지 못함. 매 번마다 새 마음으로 작업. 4. 깊이 있고 게임 개발에 도움이 되는 데이터 추출에 어려움. 그 외에 수백 가지 문제..문제.. 3. 진화만이 살길!! 07년 09월, 사전 테스트 : 학생들의 성향 및 역량 분석 (3개월간) 08년 02월, 최신 PC 구입 및 설치 08년 03월, 본 테스트 시작 / 사전 클라이언트 설치 도입 (효율적인 시간 관리) 08년 04월, 기존 케이블에 PC방 용 광케이블 증축 (인터넷 환경 최적화) 08년 04월, (첫인상/첫 플레이/일주일 후) 3단계 평가 시스템 도입 08년 05월, 각 게임 별 변수에 대한 참가자들의 평가 도입 08년 06월, 총 14개 분야의 세부 항목별 평가 도입 08년 07월, 게임 별 평균값 추출, DB 활용 개시 08년 08월, NDS용 게임 알파 테스트 단계 2차례 테스트 (디버깅/게임 기획 중심) 08년 09월, 평가 후, 사후 인터뷰 제도 운영 08년 10월, 유사 장르 게임과의 비교 분석 (3주간 연속 테스트) 08년 10월, 유저 성향 별 게임 데이터 비교 분석 시작 08년 11월, 알파 테스트 단계의 게임, 3일 연속 집중 테스트. (게임 기획 중심) [사진 설명] 3단계 분류에 의한 게임 평가 시간의 흐름을 3단계로 분류하고 유저들의 평점이 어떻게 변화했는지 예측하는 그래프. 아래는 지금까지 테스트한 평균 게임들의 변화 추이로 그래프의 과도한 이동값을 보다 나은, 그리고 보다 체계적인 분석 툴을 갖추고 도움이 될 수 있는 데이터를 쌓기 위해 노력하고 있습니다.

4. Focus Group Test 란? (3/4) FGT/FGI의 개요 장 소 : 연세디지털게임교육원(연세대학교공학원4층) 일 시 : 매주 목요일 오전 9시부터 오후 6시까지 소요시간 : 총 3시간 (총 3시간, 3차례에 걸쳐 실시) 참 가 자 : 게임 기획 전공 1-3학년 (80명) 진 행 : 국순신(디스이즈게임닷컴경영기획실장) 3. FGT 진행 게임 (08년 11월) 공개/비공개 게임 수 게임개발사 협력 프로젝트 장르별 분류

5. Focus Group Test 진행 (4/4) : 시간대 별 진행 FGT의 시간대 별 진행과정 단 하루의 양질의 테스트! 그리고 단 한번의 양질의 결과물!! 사전 테스트 와 첫플레이 테스트 그리고 일주일 후 설문 등 총 3단계에 걸쳐 다양한 방식으로 참가자의 참여를 유도하고 양질의 설문을 모으고 있다. 이를 위해 한 번의 테스트를 진행하기 위해 총 18일간의 시간이 소요된다. 참관 업체가 해야 할 일! 게임 최종 확정 일주일 후, 진행될 게임을 최종 확정됨. 날짜가 수정되지 않으므로 진중히 진행되어야 함. 업체가 주요 질의 내용 최종 전달 참가자들이 중점적으로 파악했으면 하는 내용과 참가자들에게 직접적으로 물어 보고픈 내용 전달 FGT / FGI 실시 (현장 참관) 참가자들에게 간식 제공 각 수업 마다 질의 응답 제공 전체 데이터 수령 참관업체가 실제 FGT의 데이터를 확인할 수 있음.

6. Focus Group Test 의 특징 (1/6) : 3단계 시간 별 분류 3단계 시간 별 분류 ‘설레임’과 ‘충격’ 그리고 ‘이미지’에 대한 테스트 게임을 해보고 싶다는 ‘설레임’, 첫 플레이의 그래픽과 게임이 안겨 주는 ‘충격’, 그리고 게임을 해본 뒤에 게임에 대해서 잔상으로 남아 있는 이미지에 대한 분석을 주목적으로 진행하고 있음. 3단계의 세부 평가 항목 즉흥적인 부분과 시스템적인 부분으로의 연계 고리 확인 ‘게임은 재미있는데 왜 접속하기 싫을까?’라는 막연한 질문에 대한 구체적인 답을 찾기 위한 노력에서 고민이 시작. 동기 부여 및 게임 생명과 직접적으로 연결됨. [사진 설명] 3단계 시간별 분류 시간별3단계를 평균 및 유사 게임과의 비교를 통해 유저들의 만족도 변화를 눈으로 확인할 수 있음.

7. Focus Group Test 의 특징 (2/6) : 세부 항목별 게임 평가 시스템 세부 항목별 게임 평가 시스템 각 항목별로 평균에 비해 게임이 어떤 평가를 받고 있나? 첫 플레이와 일주일 후, 그래픽, 사운드, 캐릭터, 조작감 등 다양한 부분에 대해 유저 만족도는 어떠한지에 대해서 평가하고 평균값과 비교함. [사진 설명] 각 항목별 점수 분포도 각 질문 문항별로 유저들의 응답 분포도를 확인할 수 있다. [사진 설명] 첫플레이와 일주일 후 그래픽 변화 비교 각 항목별로 첫플레이와 일주일 후와의 변화를 확인할 수 있다. 또 항목별 평균점수와도 비교가 가능하다..

8. Focus Group Test 의 특징 (3/6) : 게임 특징에 따른 유저 응답 평가 게임 특징 별 유저 응답 시스템 게임성을 돋보이기 위한 장치들에 대한 유저들의 평가는 무엇? 게임 시스템을 비롯한 다양한 편의 장치를 유저들이 제대로 인지하고 있으며 잘 사용하고 있는지 확인할 수 있는 데이터. 패널집단의 사전 테스트와 토의를 통해 질문이 완성된다. [사진 설명] 게임 내 시스템에 대한 유저들의 평가 각 첫 플레이 직후, 게임 내 각종 시스템에 대해 유저들의 편의 장치를 판단하고 그 내용을 정확히 인지했는지를 확인한다.

9. Focus Group Test 의 특징 (4/6) : 유사 장르와의 비교 평가 유사 장르와의 비교 평가 유사한 장르의 다른 게임과 비교해보면 어떻게 달라질까? 최근 출시한 유사한 게임과의 직접적인 데이터 비교가 가능하므로 시장에 진입할 경우 시장에서 얼마나 생존할 수 있는 지 가늠할 수 있다. [사진 설명] 시간별 만족도 변화 그래프 시간대 별로 게임의 평균 데이터와의 비교 뿐만 아니라 유사한 장르 게임과의 비교를 통해 그래프의 변화를 눈으로 확인할 수 있다.

10. Focus Group Test 의 특징 (5/6) : 유저 성향 별 비교 평가 유저 성향 별 비교 평가 평균은 나의 타깃 포인트가 아니라면 그와 유사한 성향의 타깃과 비교 RPG는 RPG 유저에게, 그리고 FPS는 FPS 유저에게 유저의 성향을 파악하고 그에 맞춰 게임에 대한 평가를 눈으로 확인할 수 있다. 타깃과 비타깃과의 격차를 보며 시장의 상황을 예측 가능케 한다. [사진 설명] 주요 항목에 대한 유저 성향별 비교 그래프 RPG 의경우, RPG 유저가 보는 시점과 다른 유저가 보는 시점의 차이가 간혹 발생하기도 한다. 타깃 유저가 예상범위 내에서 움직이는 지 확인할 수 있다.

11. Focus Group Test 의 특징 (6/6) : 블로그 네트워크 참가자들의 리뷰 블로그 작성 참가자들이 리뷰 블로그를 작성함으로써 게임에 대한 내용을 타인에게 알림 현재 참가자들 중에는 25여 개의 블로그를 작성하고 양질의 블로그를 작성하는 유저 가 약 20-25명에 달함. 평균 40-60개의 블로그가FGT 후에 작성되고 있다. [사진 설명] 블로그 데이터와 해당 게임 검색화면 각 별점 순으로 블로그의 데이터들이 정렬되어 있으며 포털 사이트에 아래와 같이 노출된다.

12. Focus Group Test 상품 (0/6) : 참관 업체가 할 일 & 받을 것 FGT 참관 업체의 지원과 보상 진행하기 어려웠던 FGT! 이젠 쉽게 할 수 있다. 디스이즈게임닷컴과연세디지털게임교육원이 진행하는 FGT를 참관&지원하면 FGT/FGI의 다양한 데이터와 함께 30여 차례에 걸친 테스트의 노하우도 직접 눈으로 확인할수 있습니다. CBT 실시 마케팅 비용 홈페이지 제작 데이터 정리 참관 업체의 지원 1. 게임 최종 확정 및 일정 확인 :스케줄에 따라 일정을 확인하면 됨 2. 주요 질의 내용 전달 : 유저들의 질문에 성의껏 응답하면 됨. 3. FGT에서 간식 제공 : 성장기 학생들에게 간식을 제공하면 됨. 4. 장학금 지원 : 공개/비공개에 따라 결정됨. FGT/FGI 디스이즈게임닷컴 연세디지털게임교육원 유저 간담회 장소 섭외 설문지 준비 여론 관리 FGT 제공 리스트 QA 관리 디버깅 정리 불편 및 개선점 데이터 정리 • 1. FGT의 현장 분위기 확인 • 시간대 별 참가자들의 표정/ 질의 응답을 통한 피드백을 통해 공개했을 후, 유저들의 반응을 즉각적으로 파악할 수 있음. • 2. 참가자들의 첫 플레이의 소감 • 소규모 참가자들의 첫 플레이의 소감과 장단점에 대한 솔직 담백한 멘트 확인 • 3. 불편 사항 및 개선점 • 플레이 과정에서 불편 사항과 개선점을 각 항목별로 모아서 정리함. • 4. FGT 데이터 : 두말할 필요가 없는 FGT의 각종 데이터를 눈으로 확인 • 5. 사후 인터뷰 : FGT 데이터를 수령한 뒤, 유저들에게 궁금 사항을 물어 볼 수 있음.

13. Focus Group Test 사례 (1/3) : MMORPG의 알파테스트 개요 불편 및 개선 사항 200여 개의 건의 사항 제시. 주로 인터페이스 개선과 화면 50여 개가 검토 대상에 오름 프로젝트 : MMORPG 대작의 알파 테스트 일시 : 2008년 11월 (3일간, 총 17시간) 목적 : 온라인 게임의 국내 유저의 호응도와 불편 및 개선 사항 확인 FGT 테스트 일정 이 테스트는 3일간 연속적 진행됐음. 1일차 : 참가자 75명을 대상으로 비공개 FGT를 실시 2일차 : 미리 선별된 20명을 대상으로 첫 소감 및 추가 플레이의 문제점 확인 3일차 : 게임의 주요 킬러 콘텐츠를 경험한 후, 동기 부여 및 관련된 집중 토론 경쟁작과 관계 FGT/FGI를 통해 게임의 흥행성을 가늠하고 잠재적 문제점을 진단. 주요 진행 포인트 동일 장르 및 유사 게임들에 대한 사전 테스트 실시 - 현재 온라인 MMORPG의 수준을 가늠하기 위해 최신 MMORPG를 2개 연속 테스트하면서 유저들의 MMORPG의 눈높이를 상위로 끌어올림. - 이 게임의 데이터를 기존의 2개의 RPG와의 비교를 통해 직관적으로 이해토록 함. 유저들의 세부 분류 - 유저들의 성향을 RPG의 경험도와 특정 게임의 선호도에 따른 나눔. - 이에 따라 시장 내에서 유저의 타깃에 대한 사전 기대와 만족도를 짐작토록 함. 디버깅 및 불편 사항 개선에 집중 노력 - 외산 게임의 국내 시장 진입 시 문제점을 사전 진단 함. 확실한 QA 게임의 소감과 사후 인터뷰를 통해 유저와의 긴밀도를 높임 마케팅 타깃의 전환 시장내 주요 타깃의 인식 변화

14. Focus Group Test 사례 (2/3) : 비디오게임의 알파테스트 개요 불편 및 개선 사항 50명이 각자 10건 이상 디버깅 및 개선사항 건의. 1차 테스트에서만총 500건에 달함. 이 후, 2차 테스트에서도 100여건의 의견 제시 프로젝트 : 비디오게임 퍼즐 장르 B의 알파 테스트 일시 : 2008년 8월 (2일간, 총 18시간) 목적 : 비디오 게임의 디버깅 및 게임의 재미를 높이기 위한 다양한 의견 수렴 FGT 테스트 일정 위 테스트는 3주 간격으로 2차례에 걸쳐 실시됐음. 1회차: 참가자 50명을 대상으로 비공개 1차 FGT를 실시 2회차: 기존 참가자들을 대상으로 비공개 2차 FGT를 실시 주요 진행 포인트 2차례의 디버깅 테스트로 게임 완성도 향상에 기여 - 3주 간격으로 실시된 디버깅에서 1,2차 참가자들의 만족도를 확인할 수 있음. - 2차례 디버깅으로 게임에 대한 심도 깊은 QA가 가능했음. 새로운 장르에 대한 유저 참여의 재미 요소 고민 - 새로운 장르의 게임이므로 게임 기획을 참가자들이 정확히 인지했는지 확인 - 참가자들이 조작이나 게임의 이해에 어려움이 많았는지를 확인. 기획 및 난이도 조절 유저들이 게임을 보다 쉽게 즐길 수 있도록 하기 위해 유저 편의성이 높도록 난이도 수정

15. Focus Group Test 사례 (3/3) : 웹보드 게임의 CBT 개요 유저 성향의 분류에 따라 게임 타깃 및 흥행성 검토 기존 게임의 경험 유무에 따라 참가자들을 양분함. 이에 따라 참가자들의 사전 기대 요소와 성향 그리고 만족도를 세분화하였으며 그 결과, 기 경험자들이 게임의 재미 포인트와 기대심리를 파악할 수 있었음. 프로젝트 : 웹보드 게임 C의 알파 테스트 일시 : 2008년 11월 (1일간, 총 9시간) 목적 : 게임에 대한 인터페이스의 이해 및 플레이의 재미 요소 분석 FGT 테스트 일정 위 테스트는 1차례에 걸쳐 진행됐음. 1회차: 참가자 80명을 대상으로 비공개 1차 FGT를 실시 주요 진행 포인트 새로운 방식의 게임에 대한 이해 - 기존의 게임과 달리, 새로운 방식과 장르의 게임이므로 참가자들이 게임 진행 과정을 이해하고 기획 의도에 맞춰 게임의 재미를 인지했는지 확인함. 기존 게임에 따라 유저의 성향을 분류함. - 예전의 게임을 이해했는지가 이 게임의 타깃을 정하는데 관건임에 따라서 기존의 게임의 경험 유무에 따라 참가자의 성향과 만족도를 세분화 함. 게임 인터페이스 및 진행 수정 유저들의 게임 이해도를 높이기 위해 게임 인터페이스와 진행과 관련된 200건의 의견 제출

16. 문의/연락처 감사합니다. 궁금한 점이 있거나 추가로 확인할 내용이 있다면 e메일이나 전화로 연락 주세요. 정성껏 알려 드리겠습니다. 문의 및 연락처 담당 진행/ 국 순 신 (디스이즈게임닷컴경영기획실장/ 연세디지털게임교육원겸임교수) e-mail : nature@thisisgame.com