입체영상제작기술

1. 입체영상제작기술 방송영상학부

2. 입체영상기술의 등장 ● BC 100년경 고대 그리스 벽화 ● 1600 년경 이탈리아의 G.B. della Porta 입체표시 그림엽서 ● 19세기 말경 Stereoscope ▶ 인류는 항상 입체감을 느껴보려 하는 것에 관심 ● 다양한 전자 기술과 소자 기술, 디스플레이 기술이 급속한 발전 ● 최근 입체TV 상용화의 실현 가능성이 크게 높아지고 있음

3. 입체영상기술의 정의 ( 입체 TV ) ● 두 개 이상의 시점으로 촬영된 실사 또는 그래픽 동영상을 방송망을 통하여 전송하고 이를 가정에서 안경식 또는 무안경식 수상기를 이용하여 시청하는 차세대 방송 기술 ● 초공간 실감 3차원 방송서비스를 위한 기반 기술 ● 3DTV 방송은 HDTV 방송 보다 더욱 현장감 있는 영상 시청 가능 ● 고화질 양방향 멀티미디어 시대의 도래 ▶ 대용량 영상 정보의 전송 기술개발 ▶ 실감 영상, 컴퓨터 그래픽으로 가상 현실 구현 ▶ 듣고 말하는 ⇒ 보고 듣는 ⇒ 초공간 실감 3차원 방송 서비스

4. ■ 단안에 의한 요소 ● 초점 조절 ▶ 수정체의 두께 조절을 통한 입체감 형성(2-3m) ▶ 먼 곳을 볼 때는 얇게, 가까운 곳을 볼 때는 두껍게 ● 운동시차(Motion Parallax) ▶ 관찰자와 대상자의 상대적 위치 차이에 의한 거리감 ▶ 움직일 때, 먼 곳은 느리게, 가까운 곳은 빠르게 변화

5. 입체영상제작 텔레비전 기술의 발달과 함께 HDTV 이후에 등장할 수 있는 차세대TV의 하나인 입체 TV에 대해 기반기술의 축적으로부터 시작하여 향후 입체TV 방송의 실현을 목표로 연구를 수행되고 있다. 또한, 방송과 통신의 융합 환경에서 실내 무선 환경(W-PAN, Wireless Personal Area Network) 에서의 초고속 고품질 전송 Network에 대한 수요가 증가하고 있는 추세를 반영하여, UWB 기술의 방송 기술에의 응용을 위한 기반 기술 연구도 진행되고 있다

6. 차세대 3D 정보단말 기술의 총아로 불리는 3D 입체영상 기술은 직접적으로 방송뿐만 아니라, 오락, 우주항공, 군사, 의료, 영화 등 거의 모든 산업 분야에 광범위한 영향을 미칠 것으로 예상되는 만큼 그 부가가치 또한 매우 클 것으로 예상되는 분야이다. 3D 입체영상 기술은 1838년 영국의 찰스 위트스톤(Charles Wheatstone)이 스테레오스코프(Stereoscoph)를 발표한 이후 국내외 연구소 및 교육기관 등에서 활발히 연구작업을 진행하고 있다. 3D 입체영상은 현실 세계인 3차원 세계의 리얼리티를 전달할 수 있는 영상매체이며, 임장감(Presence feeling), 실재감, 자연감, 선명성 등의 장점을 갖고 있다.

7. 3D 입체영상 기술은 크게 좌, 우 두 개의 2차원 영상을 이용한 스테레오스코픽(Stereoscopic) 입체영상 방식과, 물체의 산란 정보를 이용한 홀로그래픽(holographic) 3차원 방식으로 분류된다. 홀로그래픽 방식은 물체에서 산란된 빛을 이용해 자연스러운 입체영상을 재현하는 궁극적인 3차원 입출력 방식이지만 방대한 양의 3차원 정보 및 관련 소자의 한계로 현재의 전송시스템으로는 실시간적 구현이 불가능한 한계를 갖고 있다. 인간의 시각 구조를 모방해 좌, 우 2개의 2차원 영상을 이용해 3차원 영상을 입출력 해주는 스테레오 입체영상 입출력 방식은 현재의 기술로 구현 가능한 3차원 입체 입출력 기술이며, 최근 스테레오 입출력 방식의 입체시야를 확장하기 위한 다안식(Multi―view) 입체영상 입출력 방식이 활발히 연구되고 있다.

8. 3D 스테레오 입체영상의 가장 기본적인 원리는 인간의 시각시스템(HVS: Human Visual System)이 왼쪽 눈과 오른쪽 눈의 위치 차이에 의해 서로 다른 영상이 들어오고, 뇌는 그것을 입체로 받아들여 거리감을 갖게 되는 과정에서 입체감을 형성하게 된다는 것이다. 인간 두 눈이 가로방향으로 약 65㎜ 떨어져서 존재하는 양안시차가 입체감의 가장 중요한 핵심이다. 좌, 우의 눈은 각각 서로 다른 2차원의 상을 보게 되고 이 두상이 망막을 통해 뇌로 전달되면, 뇌는 물체에서 반사되어 나온 두 빛을 정확히 서로 합성 처리해 3차원 영상의 원근감과 실재감을 재생하게 된다. 이러한 구조를 스테레오스코피(Stereoscopy) 라고 한다.

9. 3D 입체 디스플레이 기술은 크게 3차원 입체영상을 관찰하기 위해 관찰자가 특수한 안경을 착용해야 하는 안경식 방식과, 특수한 안경을 착용하지 않고서도 3차원 영상을 관찰할 수 있는 무안경식 방식의 두 가지로 나눌 수 있다. 안경식 3차원 디스플레이는 관측자의 좌안과 우안에 약간 다른 영상을 제공해 그 시차로 인해 깊이감을 느끼게 하는 것이다. 이 때 좌안 영상과 우안 영상을 분리하는 방법에 따라 액정 셔터 방식, 편광 안경 방식 등으로 나뉘며 이러한 안경식 3차원 디스플레이는 이미 상용화돼 많은 제품이 판매되고 있다. 무안경식 3차원 디스플레이에는 안경식 3차원 디스플레이와 같이 관측자의 좌안과 우안에 다른 영상을 보여주는 시차방식, 공간상에 실제로 3차원 이미지를 형성하는 체적(volumetric) 방식, 3차원 물체의 파면을 그대로 재현하는 홀로그래피 방식이 있다.

10. 입체영상 신호처리기술 연구 우리의 눈으로 3차원 공간상의 사물을 보듯이 특수한 디스플레이 장치를 통해 영상을 입체적으로 볼 수 있는 것이 입체 TV이다. 사람의 두 눈은 일정 간격(약 6.5cm) 떨어져 있으므로 한쪽 눈에는 다른 쪽 눈에 비해 수평방향으로 약간 평행이동 된 영상이 입력된다. 이 두 영상의 작은 차이를 양안시차라 하며 우리가 사물을 볼 때 입체감을 느끼게 되는 가장 큰 요인이다. 양안시차를 이용한 입체 카메라로 입체 영상을 촬영하고 이를 처리하여 입체로 볼 수 있는 디스플레이에 전송하는 것이 입체 TV 시스템의 기본 구성이다.

11. 가장 간단하면서도 잘 알려진 입체 영상은 특수안경을 사용하는 것이다. 파란색과 빨간색같이 서로 보색(補色)관계에 있는 색필터를 오른쪽과 왼쪽 렌즈에 각각 사용하는 식이다. 백지에 빨간색과 파란색으로 그린 그림이 있다고 생각하자. 빨간색 필터가 있는 안경렌즈에는 백지부분과 빨간색 그림이 모두 빨간색으로 보이고 파란색 그림만 형태를 알 수 있게 된다. 마찬가지로 파란색 필터가 있는 렌즈는 빨간색 그림만 인식한다. 따라서 컬러 필터를 이용한 특수 안경은 사람이 사물을 볼 때처럼 두 눈에 각각 다른 영상을 보여줄 수 있다. 1939년부터 컬러 필터 안경을 사용하는 입체영화가 나왔을 정도로 보편화된 방식이지만 색깔이 있는 필터를 사용하기 때문에 사물을 천연색으로 표현할 수 없는 단점이 있다.

13. ◆ 볼록 렌즈가 만드는 입체영상 최근 국내외에서 개발되고 있는 3D 입체 디스플레이는 처음부터 왼쪽 눈과 오른쪽 눈에 들어갈 영상을 각각 따로 내보내 특수안경 없이도 입체감을 느끼게 한다. 크게 ‘패럴랙스 배리어(parallax barrier)’와 ‘렌티큘러 시트(lenticular sheet)’방식으로 나뉜다. 일본 샤프와 산요가 개발한 3D 디스플레이는 디스플레이 앞에 창살과 같은 필터가 있는 패럴랙스 배리어 방식이다. 앞에 창살이 있기 때문에 오른쪽 눈과 왼쪽 눈은 각각 다른 영상을 보게 된다. 이것이 양안시차를 형성해 입체감을 느끼게 하는 것이다. 제작이 쉽다는 장점이 있으나 디스플레이에서 나오는 빛의 대부분이 필터에 의해 차단되기 때문에 일반 TV에 비해 밝기가 절반 정도로 떨어지는 단점이 있다.

14. 상용화에 가장 앞선 3D 디스플레이는 투명한 플라스틱 원통형의 렌즈가 배열된 렌티큘러 시트를 이용한 것이다. TV모니터 앞에 볼록렌즈를 붙여 놓았다고 생각해 보자. 렌즈 왼쪽에 들어온 영상은 렌즈를 통과하면서 빛이 꺾여 오른쪽 눈에만 보이게 된다. 반대로 오른쪽 영상은 왼쪽 눈에만 들어온다. 이렇게 좌우 영상이 분리되면 사람이 맨눈으로 사물을 보는 것과 같은 양안시차가 발생한다. 렌티큘러 방식으로 입체영상을 구현하는 가장 간단한 방식은 두 개의 시차영상을 보여주는 것이다. 즉 두 대의 카메라로 좌우측 영상을 촬영하고 이것을 한 화면 위에 규칙적으로 번갈아 배열한다. 그리고 렌티큘러 시트를 화면 앞에 설치하면 각각의 영상이 서로 다른 방향으로 진행해 입체감을 느끼게 된다.

15. 문제는 실제 인간이 눈으로 보는 시차영상의 수는 무한대라는 것이다. LG전자연구소 박태수 박사는 “초창기 3D 디스플레이를 본 사람들이 실제보다 입체감이 훨씬 못하다고 느낀 것도 단 두 개의 시차영상만 반복됐기 때문”이라며 “이번에 선보인 디스플레이는 시차영상의 수를 25개로 늘려 더욱 자연스러운 입체감을 느낄 수 있게 했다”고 말했다.

16. 삼성전자도 1999년부터 산업자원부의 지원을 받아 32개의 시차영상을 구현하는 3D 디스플레이를 개발 중이다. 2009년 상용화를 목표로 지금까지 정부지원 124억원을 포함해 총 219억원이 투입됐으며 앞으로 2년간 상용화를 위해 39억원이 더 지원될 예정이다. 32개 시차영상을 구현하기 위해 32대의 카메라를 4~5㎛(1㎛는 100만분의 1㎜) 정밀도로 제어하는 기술도 개발 중이다. 렌티큘러 방식은 이미 1980년대부터 3차원 디스플레이로 연구돼 왔다. 그러나 당시 TV가 볼록한 브라운관이었기 때문에 렌티큘러 시트를 정확하게 배열할 수가 없었다. 따라서 최근 3D 디스플레이가 새롭게 각광을 받게 된 것은 평면 디스플레이의 발전 덕분이라고 할 수 있다

18. 입체영상 부호화 기법 연구(KBS) 양안 입체영상은 기존의 2차원 영상보다 약 2배의 대역폭이 요구되므로 이러한 입체 영상을 효율적으로 부호화하기 위해서 KBS 방송기술연구팀에서는 MPEG-4 프레임기반 3차원 동영상 부호화 기법을 연구 하고 있다. 입체영상 부호화 알고리듬의 처리 과정은 먼저, 영상 획득과정에서 발생할 수 있는 노이즈를 제거하기 위한 전처리 작업을 수행한다. 그리고 좌우 영상간의 높은 공간적, 시간적 중복성을 제거하기 위해 양안시차에 의한 변이추정을 수행한다. 이때 양안 입체영상의 특성을 이용하여 좌, 우 영상간의 움직임 추정과 변이를 동시에 추정하는 동시추정 알고리듬을 개발 적용하여 부호화 효율을 높 일 예정이다.

20. 입체영상 신호처리 기술은 입체영상의 제작에서부터 압축,전송 및 디스플레이에까지 중요한 역할을 담당한다. 특히 압축,전송 분야에서는 기존의 채널을 통해서도 입체TV 신호 전송이 가능한 효율적인 코덱(디지털 부호화기,복호화기)에 대한 연구 개발이 진행되고 있다.

21. 입체영상 규격표준화 연구 최근에는 국제표준을 먼저 마련한 후에 시장이 형성되는 형태로 국제규격의 표준화가 진행되고 있다. 입체영상 기술도 미래시장에 대비하여 MPEG 3DAV 특별그룹에서 활발히 표준화 작업을 진행하고 있다. 입체영상 표준화에 대한 요구는 2001년에 일본 전자정보기술 산업협회(JEITA)에 의해 처음 제 기된 이후, 2002년에 3D 비디오, 다시점 및 3D 방송코딩에 대한 요구사항이 만들어졌다. 최근 회의 까지 요구사항이 계속 정리되고 응용분야가 정해졌으며 그 실험환경이 마련되고 있다. KBS 방송기 술연구팀에서는 이들 표준화 흐름을 분석하고, 지금까지 연구해 온 부호화기법 연구를 바탕으로 국제표 준화 활동에 활발히 참여하고 있다.

22. 입체그래픽 제작기법 연구(KBS) 3차원 그래픽을 이용한 입체 영상은 현재 산업 각 분야에서 다양하게 활용되고 있다. 입체 디스플레 이 장비를 사용하면 일반 2차원 영상에서 볼 수 없는 깊이감과 함께 보다 현실감 있는 영상을 감상할 수 있다. 3차원 그래픽은 실제 세계와 같은 3차원 환경을 기반으로 하고, 소프트웨어를 이용하여 비교 적 손쉽게 입체 카메라를 묘사할 수 있어, 입체 영상 제작과 연구에 매우 효율적인 환경을 제공한다. 최적의 입체 영상을 얻기 위해서는 좌우 카메라의 시차와 간격을 적절히 조절하고 장면의 구성에도 세 심한 주의가 필요하다. 3차원 그래픽을 이용한 입체 영상 연구는 이러한 사항을 소프트웨어로 시뮬레이션하고 그 결과를 분석함으로써, 카메라 제어를 포함한 다양한 입체 영상 제작 기술을 확보하고, 궁극 적으로는 축적된 3차원 그래픽 기술을 바탕으로 고품질의 입체 그래픽 제작 시스템을 구축하는 것을 목표로 연구를 진행하고 있다.

23. KBS 방송기술연구팀에서는 실시간 양안 입체카메라 시뮬레이션 프로그램을 제작하였다. 이 프로 그램은 팬, 틸트, 줌 등의 2차원 카메라 파라미터 뿐만 아니라, 입체카메라의 주요 특성인 양안 간격과 주 시점 등을 수평이동식 제어에 근거하여 묘사할 수 있다. 스튜디오 및 필드 촬영 환경을 3차원 모델 로 구성한 후, 이를 입체카메라 시뮬레이션 프로그램으로 구동하면, 입체영상의 다양한 효과와 특성을 실시간으로 관찰하고 분석할 수 있다.

24. 애너글리프 형식 애너글리프 형식은 인쇄물에서도 많이 사용되는 방법이다. 이미지에 표현되어 있는 사물의 외곽부분이 선명하지 않고, 빨간색이나 파란색으로 겹쳐진 이미지를 가끔 보게 되는데 이러한 이미지들이 애너글리프를 이용한 입체이미지다. 한 장의 사진에 양쪽 눈에 보여줄 이미지 두 개를 겹쳐놓고 왼쪽은 빨간색, 오른쪽은 파란색 필터를 집어넣은 안경을 통해 각각의 눈에 들어오는 화상을 걸러서 입체를 표현하는 방식으로 그 표현법이 비교적 단순하고, 간단한 조작으로 만들 수 있어서 가장 흔하게 사용되고 있다. 그러나 애너글리프 형식은 색상필터를 이용하기 때문에 색상이 왜곡되고 눈이 쉽게 피로해져서 장시간 관람하기 어려운 문제가 있다. 그래서 애너글리프를 이용한 입체영화는 비교적 짧은 상영시간을 가지거나, 영화 중간에 입체효과를 극대화해서 현실감을 주고 싶은 장면에만 사용하기도 한다.

26. 1950년대부터는 편광안경을 이용한 입체영화가 만들어지고 상영되기 시작했는데, 편광안경을 이용한 방식은 각각의 눈에 비춰질 영상을 두 대의 영사기를 이용해서 스크린에 비추는데, 각각의 영상이 비춰지는 빛의 파장을 다른 각도로 영사하고, 이러한 빛을 편광필터를 이용해서 걸러내는 방식으로 각각의 눈에 서로 다른 영상을 비춰주는 방법이다. 최근 3D입체 영상을 상영할 수 있는 극장에서 가장 많이 사용되어지는 입체영상기술은 편광안경을 이용한 방식이며, 일반적인 종이 매체나 가정에서 보는 TV를 통해 사용하는 방법은 색차안경(애너글리프)을 이용한 방식이 주로 쓰인다.

27. 일반영상(슈렉3D) 애너글리프 방식의 입체영상 (슈렉3D)

28. 3차원 입체영상의 기술개발 추이

29. 시스템 구성으로 살펴본 3차원 입체영상의 기술분류

32. 아직까지 3차원 입체영상기술은 태동기에 있는 핵심기술로 세계적으로 독립적이고 개별적인 연구가 수행되고 있는 상태이기 때문에 신기술 개발이 여지가 충분하고 또한 표준화된 시스템 연구가 아직 진행되지 않았기 때문에 이제부터라도 3차원 디스플레이의 기반이 될 수 있는 핵심기술과 상용화기술을 체계적으로 개발해야 할 것이다. - 끝 -