9 장 가상환경과 멀티미디어

1. 9장 가상환경과 멀티미디어 9.1 가상현실의 소개 9.2 가상현실 기술의 실현환경 9.3 가상현실의 활용 9.4 증강현실 9.5 사이버스페이스 9.6 웹에서 가상현실 기술의 활용

2. 9.1 가상현실의 소개 가상현실의 개념 가상현실의 종류

3. 9.1 가상현실의 소개 가상현실의 소개 • 가상현실의 개념 • 가상현실(Virtual Reality) 이란? • 가상현실의 세계란 상상의 세계를 현실과 같이 만들어 내고 인체의 감각기관(눈, 코, 귀, 입, 피부 등)이 인위적으로 창조한 세계에 몰입됨으로서 자신이 그 곳에 있는 것처럼 느낄 수 있는 공간을 의미 • 가상현실 세계에서는 현실 세계에 대한 시뮬레이션 뿐만아니라  현실세계에서 불가능한 체험을 가능하게 함 • 멀티미디어 기술의 발전은 가상현실의 실현에 큰 영향을 끼침

4. 9.1 가상현실의 소개 • 가상현실 시스템의 요구사항 • 임장감(Presence)과 몰입감(Immersion) • 상호작용성(Interactivity) • 자율성(Autonomy) 가상현실 시스템의 요구사항

5. 9.1 가상현실의 소개 가상현실의 종류 (1) 몰입형 가상현실 시스템(Immersive VR System) • 컴퓨터에 의해 만들어진 3차원 환경에 HMD 등의 몰입형 장비를 착용하여 가상의 세계를 경험하고 상호 대화식으로 정보를 주고받는 시스템 • 사용자가 현실과는 완전히 차단된 가상 환경만을 볼 수 있도록 하는 것으로 가장 이상적인 형태 • 고가의 장비를 필요로 하기 때문에 주로 연구 실험용으로 사용 • CAVE(Cave Automatic Virtual Environment) 환경 • 방과 같은 공간의 벽에 입체영상을 투시 가상공간에 몰입하고 있는 참여자 CAVE 모델의 예  

6. 9.1 가상현실의 소개 (2) 비몰입형 시스템(Non-immersive VR System) • 탁상형 가상현실 시스템(Desktop VR System) 이라고도 부르며, 모니터 화면에 나타난 영상을 사용자가 보면서 가상현실을 체험하는 방식. • 가상 세계에 대한 몰입감이 떨어지는 등 부족한면은 많으나 PC등 저가의 장비를 이용해 쉽게 사용이 가능하여  현재 대중적으로 많이 보급되어 있음

7. 9.1 가상현실의 소개 (3) 증강 현실(Augmented Reality) • 실 세계와 가상의 이미지가 중첩되는 복합형 가상현실 시스템(Hybrid VR System) • 사용자가 보는 현실 세계와 부가 정보를 갖는 가상세계를 합쳐 하나로 보여 주는 것으로 최근 활발한 연구가 진행되고 있는 분야 • 가상현실 기술만으로 현실 세계를 완벽하게 대체하기 보다는 현실 세계를 가상세계로 보완해주는 개념 장비를 착용하고 수술에 임하는 의사 AR안경을 통해 보이는 화면

8. 9.2 가상현실 기술의 실현 환경 가상현실 시스템의 구성 가상현실 저작 소프트웨어

9. 9.2 가상현실 기술의 실현 환경 가상현실 시스템의 구성 • 가상현실 시스템은 크게 렌더링(Rendering) 시스템, 입력장치, 출력장치, 가상현실 응용 개발 소프트웨어, 3차원 모델링(Modeling) 소프트웨어로 구성 • 입력장치는 참여자의 위치, 방향 및 행위로 인한 이벤트 정보를 전송 • 출력장치는 입력정보에 대응하는 3차원 영상, 음향, 촉각(Force Feedback) 등의 출력을 전달 • 렌더링 시스템은 참여자의 정보를 월드 데이터베이스에 반영하여 실시간으로 새롭게 변화된 3D 영상과 음향을 재생 • 월드 데이터베이스는 가상현실과 관련된 데이터를 저장, 관리 가상현실 시스템의 처리과정

10. 9.2 가상현실 기술의 실현 환경 (1) 그래픽 렌더링 시스템 • Silicon Graphics 워크스테이션 - 전문적인 VR application을 개발하기 위해 가장 많이 사용되는 장비로서  성능이 뛰어난 만큼 매우 고가 • SGI 워크스테이션에서는 실시간 그래픽 렌더링을 위해서 RISC 프로세서, 비디오 가속보드 및 대용량의 RAM을 사용  • 자연스런 영상을 얻기 위해서는 적어도 초당 25 ~ 30 fps 수준의 실시간 렌더링 요구. • 대표적인 SGI 워크스테이션으로는 Fuel, Tezro, Octane 등 (2) 3D 그래픽 가속 보드(3D Graphic Accelerating Board) • PC용 데스크탑 VR 시스템을 구성하기 위해서는 VRML 또는 3차원 그래픽 라이브러리(OpenGL, Direct 3D 등)를 지원하는 그래픽 가속보드가 필요 • 대표적인 OpenGL 가속보드는 3D Labs 사의 FireGL, Permedia 시리즈, ATI 사의 Rage 시리즈, RivaTNT, Voodoo등

11. 9.2 가상현실 기술의 실현 환경 (3) 입력장치 • 데이터 글러브(Data Glove) : 섬유굴절 케이블을 이용하여 각 손가락의 굽힘과 뻗침을 측정 • 3D 마우스(3D Mouse), 스페이스 볼(Spaceball) : 3차원 위치와 방향 좌표 입력이 가능한 장치 데이터 글러브, 3D 마우스, 스페이스 볼

12. 9.2 가상현실 기술의 실현 환경 (4) 출력장치 • HMD(Head Mounted Display) ㆍ 가상공간에서 강제적인 몰입효과를 얻을 수 있는 디스플레이 장치 ㆍ HMD를 착용하고 있는 사용자의 주시방향을 탐지하여 지속적으로 가상환경을 변화시키는 추적기능을 갖음 ㆍ 단점으로 착용감과 해상도가 떨어지며, 장시간 착용시 멀미(Motion Sickness)를 유발 • 크리스털 아이(CrystalEyes) ㆍ 컴퓨터 스크린 상의 이미지를 3차원 입체화상으로 보여주는 입체안경 ㆍ 완전한 몰입감은 느낄 수 없지만 2차원 화면과 3차원 입체화면의 전환이 용이하고 센서 범위 내의 여러 사람이 동시에 사용 가능

13. 9.2 가상현실 기술의 실현 환경 • 시각전달뿐 아니라 몰입감을 더욱 높이기 위한 청각, 촉각 및 후각 정보를 사용자에게 전달하는 것들이 있음 ㆍ 청각: HRTF(Head-Related Transfer Function) 계산법을 이용하여 실제세계에서 들리는 것처럼 생동감 있게 전달 ㆍ 촉각: 센서 글러브(Sensor Glove)등 촉각이나 압력에 대한 감각을 제시할 수 있는 장치인 햅틱장치(Haptic Device)를 이용 햅틱장치로 3차원 물체를 제작 ㆍ 후각: 시도되고 있으나 향후 많은 개발이 필요함

14. 9.2 가상현실 기술의 실현 환경 가상현실 저작 소프트웨어 • VR 소프트웨어 • 3차원 모델링 소프트웨어 • VR응용개발 소프트웨어 (1) 3차원 모델링 소프트웨어 • 가상세계를 구성하는 3차원 물체를 생성, 편집 • 영화, 광고용 3차원 애니메이션 제작에 많이 사용

15. 9.2 가상현실 기술의 실현 환경 (2) VR응용 개발 소프트웨어 • VR 시스템의 구성요소들을 통합하고 관리하는 작업을 수행.

16. 9.3 가상현실의 활용 설계/건설 분야 사이버 쇼핑몰 원격존재(Telepresence) 교육, 훈련, 엔터테인먼트 네트워크 통신

17. 9.4 가상현실의 활용 가상현실 기술의 활용 (1) 설계/건설 분야 • 건물의 시공 전에 가상의 모델하우스를 구축하여 설계 상의 오류나 인테리어 디자인에 대한 소비자의 반응을 미리 예측 가능 • 소비자는 가상 모델하우스에서 벽지, 조명등을 바꾸어가며 취향에 맞는 분위기를 선택 가능 • 구축 사례 : 삼성건설, 동아건설, 현대산업개발, 한샘 등 가상 모델하우스도시거리에서의 시뮬레이션

18. 9.4 가상현실의 활용 (2) 사이버 쇼핑몰 • 3차원 공간상에 쇼핑몰을 만들어 놓고 각종 시설물과 상품을 배치하여 내부에서 자유로운 쇼핑 가능 • 전자상거래 시스템과 연결되어 실제 홈쇼핑을 가능 (3) 원격존재(Telepresence) • 원자력 발전소나 제철소, 3D 분야에서 가상현실을 이용하여 원격지 오퍼레이팅 룸에서 작업장에 투입된 로보트를 제어 로봇의 원격제어 장면 미래의 원격수술 장면

19. 9.4 가상현실의 활용 (4) 교육, 훈련, 엔터테인먼트 • 실내 운전연습기(Driving Simulator), 비행 훈련시스템(Flight Simulator), 게임 등 비행 훈련시스템의 내부 모습 3차원 축구게임

20. 9.4 가상현실의 활용 (5) 네트워크 통신 • 네트워크를 통한 가상세계를 구축 • 최근 들어 인터넷의 폭발적인 확산과 대중화로 많은 컴퓨터들이 네트워크로 연결되면서 서로 정보를 주고받는 분산과 공유 기능의 중요성이 부각 • 원거리의 사람들이 동시에 네트워크를 통해 가상공간에서 대화하고 일할 수 있는 환경이 구축되어 실시간적으로 상호 작용이 가능 가상환경에서 회의에 참여하고 있는 모습

21. 9.4 증강현실 증강현실의 개념 증강현실 기술의 활용

22. 9.4 증강현실 증강현실의 개념 • 증강현실 (Augmented Reality) • VR 의 확장된 개념 • 실세계와 컴퓨터가 생성한 가상세계가 동시에 존재하여 사용자가 실세계 위에 가상세계의 이미지를 겹쳐서 바라봄 • 모바일환경 이동중에 단말기를 통해 현실세계와 연관하여 컴퓨터가 생성한 이미지와 정보를 활용 가능, 현실세계와 가상세계가 invisible 인터페이스를 통해 통합된 형태로 다가옴 실세계와 가상세계로부터 새로운 환경을 실현하는 혼합현실(VR)

23. 9.4 증강현실 • 증강현실 (Augmented Reality) • 사용자가 보는 현실세계에 컴퓨터가 만들어 낸 가상세계 정보를 합성하여 보여줌 → 현위치나 상황을 인식할 수 있는 센싱장치 필요 • 실세계 이미지나 정보의 수준을 증강시키는 역할 • 시스루(See-through) 디스플레이 • 현실세계 장면 위에 증강현실 정보를 겹쳐서 디스플레이 • 상호작용성을 지원하여 현위치나 외부 상황정보를 증강현실 시스템에게 실시간에 제공하는 기능이 요구 가상현실 환경 증강현실 환경

24. 9.4 증강현실 증강현실 기술의 활용 • 증강현실(AR) 기법을 이용하여 실세계에 부가적 정보를 추가 • 제조분야, 의료분야 도면 증강 현실 AR 도움을 통한 자동차 수리

25. 9.4 증강현실 • 관광정보, 박물관이나 도서관에서 휴대단말기, • 교육, 훈련, 시뮬레이션, 협업 등 • 웨어러블 시스템(Wearable System) • 군사영역에서전장 주변 정보 • 소방대원이나 응급구조사에게 정보 제공 건물주변의 부가정보 협업을 통한 빌딩 프로젝트 네비게이션을 위한 모바일AR

26. 9.5 사이버스페이스 네트워크 환경에서의 가상공간 사이버스페이스와 아바타 사이버스페이스의 예

27. 9.5 사이버스페이스 네트워크 환경에서의 가상공간 • 컴퓨터를 매개로 한 커뮤니케이션 발달 단계 • 사이버스페이스에서는 아바타를 통하여 다른 사용자와 실시간으로 의사소통이 가능 • 기존의 의사소통 방법과는 다른 새로운 방법이 존재 가능 • Online-BODY : 언어로만 제한되어 있는 의사소통 수단을 아바타의 정서적 표현으로 보완하는 방법 프리챌 3D에서 아바타의 다양한 감정 표현

28. 9.5 사이버스페이스 • 가상도시의 개념 • 가상도시에서는 사람과 사람이 만나 정보를 공유하는 커뮤니케이션형의 서비스가 핵심으로, 온라인 쇼핑 등의 편리성을 추구하는 비니지스형의 서비스와 게임과 영화 등 놀이를 연출한 엔터테인먼트형의 서비스를 제공 • 정기적인 이벤트를 개최하여 일정 시간과 장소에서만 얻어지는 정보를 공유할 수 있고, 게임, 영화, TV, 잡지 등의 각종 미디어를 삽입하여 종합적인 미디어 세계를 실현하는 것을 목표 • 참여자는 아바타를 이용하여 비언어적 표현을 포함하는 커뮤니케이션을 실현하고, 나아가 텍스트, 음성, 동작 등에 의한 커뮤니케이션 채널의 확장과 각 미디어의 특성을 활용하여 보다 효과적인 사용자 인터페이스를 실현

29. 9.5 사이버스페이스 사이버스페이스와 아바타 • 아바타의 개념 • 아바타는 원래 고대 인도에서 ’땅으로 내려온 신의 화신‘을 지칭하는 말 • 인터넷 시대에는 사이버스페이스에서 사용자를 대리하는 사이버캐릭터(Cyber Character)의 의미 • 가상환경 내에서 다른 참여자들이게 자신을 나타내는 중요한 역할 담당 • 과거에는 2차원 그림으로 표현되었으나 최근에는 3차원 아바타가 활발히 개발되어 이용 • '자기표현’ 수단으로 인식돼 왔던 아바타가 최근에는 효과적인 마케팅 수단으로 이용

30. 9.5 사이버스페이스 • 최근에는 가상공간에서 인공지능을 갖고 스스로 행동하는 인공생명(Artificial Life)이나 가상공간 속에서 학습하며 스스로 진화해 가는 디지털 생명체(Digital Life)에 관한 연구가 진행

31. 9.5 사이버스페이스 • 아바타 활용 서비스 • 포털사이트의 아바타 서비스는 사용자가 아바타의 의상, 표정 등을 자신의 취향에 맞게 바꾸어 자신의 개성을 나타낼 수 있도록 함 • 마이크로소프트의 MS Agent처럼 컴퓨터를 이용한 문서작업과 같이 일상적인 분야에 다양하게 활용됨 • 전자상거래, 사이버교육, 데이터방송에서도 유용하게 쓰임

32. 9.5 사이버스페이스 사이버스페이스의 예 • Virtual City의성격 • 네트워크로 분산된 다수의 참여자가 3차원 가상공간을 공유 • 다수의 사용자가 상대방을 서로 인지하면서 텍스트, 음성을 통한 의사소통 예) SecondLife

33. 9.6 웹에서 가상현실 기술의 활용 QuickTime VR VRML/X3D의 소개 VRML/X3D의 노드

34. 9.6 웹에서 가상현실 기술의 활용 QuickTime VR 기술 • Apple사의 QuickTime VR은 이미지 기반 가상현실 분야에서 업계의 표준으로 사용되며 다양한 활용분야가 존재 • 특징 • 3차원 모델링 데이타를 사용하지 않고 연속적인 이미지로 구성 • 방을 대상하는 경우 방안 내부를 사진으로 연속적으로 찍어 이미지들을 파노라마(Panorama) 형식으로 연결시켜 놓고 확대(Zoom-in), 축소(Zoom-out), 회전(Rotation) 기능을 통하여 방안을 둘러 보는 효과를 연출 • 파노라마와 객체(Object)를 구성요소로 하는 이 기술은 엄밀한 의미에서 동화상과는 차이가 있으며, 사용자의 입력에 따라 장면 또는 특정 객체를 360도 회전하면서 둘러볼 수 있음

35. 9.6 웹에서 가상현실 기술의 활용 (1) 파노라마(Panorama) QuickTime VR • 한 장소에 서서 주위의 모습을 둘러볼 수 있는 방식 • 파노라마 QuickTime VR 제작시 주의할 점은 카메라 렌즈가 회전을 할 때 반드시 배경과 수직이 되어야 한다는 것과 가능하면 장면을 작게 나누어 사진들을 둥글게 만들 때 생기는 왜곡을 최소화시켜야 함 (2) 오브젝트(Object) QuickTime VR • 하나의 사물을 여러 각도에서 볼 수 있게 하는 방식으로 파노라마 방식과는 다른 특수한 장비가 필요 • 파노라마 방식은 관찰자가 좌우로만 배경을 움직일 수 있는 반면, 오브젝트 방식에서는 좌우는 물론 상하로도 물체를 움직여 볼 수 있음

36. 9.6 웹에서 가상현실 기술의 활용 QuickTime VR과 동영상의 비교

37. 9.6 웹에서 가상현실 기술의 활용 VRML의 발전 • VRML/X3D의 정의와 역사 • VRML이란 "Virtual Reality Modeling Language"의 약어 • VRML을 이용하여 웹 문서 안에  3차원 공간을 구축할 수 있음 • 현재 VRML 2.0은 54가지 기능의 다양한 노드(Node)들을 제공하여 3차원 물체를 생성하고 애니메이션 및  사용자와의 상호작용 기능을 이용하여 가상세계를 구축할 수 있음 • 사이버 쇼핑몰, 사이버 오피스, 3차원 채팅 사이트, 가상 학교, 그밖에 다양한 시뮬레이션 등 많은 분야에 활용 가능 • X3D는 1999년 Web3D 컨소시엄에서 처음 발표 • 2000년 7월 최종 드래프트 발표

38. 9.6 웹에서 가상현실 기술의 활용 VRML의 역사

39. 9.6 웹에서 가상현실 기술의 활용 X3D(eXtensible 3D) • VRML 정보는 단순히 3D 그래픽 데이터일 뿐, 재사용, 재활용되지 못하는 한계성이 있음 • X3D는 웹상에서 3D 그래픽스 구현을 위한 차세대 개방형 표준안 • 3D 그래픽스 컨텐츠 저작도구, 브라우저, 다른 3D 그래픽스 응용과 상호 그래픽 데이터의 임포트, 엑스포트를 지원하기 위한 확장된 구조 제공 • 스트리밍 또는 렌더링 확장기능 및 XML을 통한 웹브라우저와의 통합이나 다른 응용과의 통합이 쉽게 이뤄질 수 있는 컴포넌트 구조  

40. 9.6 웹에서 가상현실 기술의 활용 VRML/X3D의 특성 (1) VRML의 특징 • 사용자 입력에 의한 상호작용과 네비게이션이 가능 • 웹을 기반으로 함 • 인터넷을 통한 다중 참여자를 지원하는 가상환경 시스템 구축 가능 • 웹의 사용을 전제로 설계됨 • VRML 플러그인 만 설치하게 되면 웹 사용이 가능한 어떤 시스템에서도 볼 수 있음 • 빠른 전송을 위해서 아스키 파일 형태로 되어 있음 • 다른 VRML 문서, HTML 문서와 연결되어 사용 • 텍스트 화일 형식으로 되어 있으며 제공하는 정보의 양에 비하여 화일의 크기가 작음  • VRML 파일은 평균 이미지 파일의 크기와 비슷하고 압축할 경우에는 5분의 1로 줄일 수 있음

41. 9.6 웹에서 가상현실 기술의 활용 VRML 문서에서 다른 문서로의 연결 HTML 문서에서 VRML 문서 부르기

42. 9.6 웹에서 가상현실 기술의 활용 VRML과 다른 멀티미디어 매체의 비교

43. 9.6 웹에서 가상현실 기술의 활용 (2) X3D의 특징 • VRML과 호환성 유지 ㆍ X3D는 기존의 VRML 컨텐츠 및 브라우저와의 호환성을 제공 • XML 과의 통합 ㆍ XML의 표현 방식을 통하여 X3D의 호환성 및 확장성을 보장 할 수 있음 • 구성요소화 (Componentization) ㆍ 기본적인 기능을 코어(core)로 제공 ㆍ 사용자가 필요할 EO마다 코어에 새로운 노드와 그에 상응하는 실행 코드를 추가하여 확장이 가능

44. 9.6 웹에서 가상현실 기술의 활용 VRML/X3D 콘텐츠 저작도구 (1) VRML 저작도구 • 텍스트 에디터 • 저작도구 ㆍ 노드에 대한 복잡한 지식 없이도 쉽게 VRML 월드를 구현할 수 있음 ㆍ WYSIWYG(What You See Is What You Get)기능 제공 • 네이티브(Native) 저작도구 - 처음부터 VRML 저작을 목표로 만들어짐 -V-Realm Builder, Cosmo Worlds 등이 있음 - 아이콘과 노드를 통한 노드의 삽입과 편집 - 오브젝트 라이브러리의 제공 - 애니메이션을 위한 키프레임 기능 - 스크립트 에디팅

45. 9.6 웹에서 가상현실 기술의 활용 (2) X3D 저작도구 • 현재 Web3D 컨소시엄에서 X3D 편집을 위한 X3D Edit라는 소프트웨어를 소스코드와 함께 배포 • 기존 VRML 파일을 불러들여 X3D 형식으로 변환이 가능하며 X3D의 씬그래프(Scene Graph)의 직접 수정이 가능 • VRML/X3D 월드의 탐험

46. 9.6 웹에서 가상현실 기술의 활용 VRML/X3D의 노드 • 장면의 구성 • 사물 • 빛 • 시점 • 이벤트 → 노드를 통해서 이러한 요소를 표현 • VRML에는 총 54개의 노드가 있음 • 3차원 물체 생성 • 물체의 매질 지정 • 센서 노드 • 광원 효과 지정 • 3차원 사운드 • 텍스쳐 매핑 • 인터폴레이션 애니메이션 VRML의 중요한 노드들

47. 9.6 웹에서 가상현실 기술의 활용 (1) Shape 노드 • VRML에서 물체를 표현하는데 쓰이는 대표적인 노드 • 직육면체(Box), 원기둥(Cylinder), 구(Sphere) 및 원뿔(Cone)과 같은 기본 기하모형이나 점과 선의 집합인 IndexedFaceSet 노드로 물체 표현 • 물체에 색을 입히거나 질감을 주는 효과

48. 9.6 웹에서 가상현실 기술의 활용 (2) Texture 노드 • 텍스쳐 매핑(Textue Mapping)이란 물체의 표면에 텍스쳐라 불리는 2차원 이미지를 감싸서 붙이는 작업을 의미 • 가구 위에 나무 무늬를 입히거나 벽에 벽지를 바르는 작업과 유사 • VRML 2.0 에서는 이미지, 비디오, 픽셀 등으로 구성된 텍스쳐를 매핑 가능 (3) Light 노드 • VRML에서 쓰이는 빛은 크게 Directional Light, Point Light, Spot Light로 나뉨

49. 9.6 웹에서 가상현실 기술의 활용 (4) 센서 노드와 애니메이션 노드 • VRML World를 좀더 현실감 있고 활동적이게 하기 위해서 애니메이션과 같은 효과를 첨가하는 것이 필요 • 객체들이 움직이거나 그들의 색을 변경하는 등의 활동을 만들기 위해서는 크게 인터폴레이션 노드와 센서 노드가 사용