제2장 이미지 및 그래픽

1. 제2장 이미지 및 그래픽

2. 이미지 기초 • 비트맵 이미지(bitmap Images) • 객체(object)를 2차원이나 3차원의 공간상에 표현함 • 평면상에서 사각형 영역을 정의하는 함수 I(r,c) • r행 c열 위치의 빛의 색상 및 강도 • 흑백 이미지 : gray level로 표현 • 8 비트 gray level : 0은 검정, 255는 흰색 • 컬러이미지 : 컬러 모델(RGB, YIQ, HIS, CMY)에 따라 표현 • 래스터(raster) 스캔 방식으로 순차적으로 저장 • 장점: 색상의 점차적인 변화를 표현하는 데 유리하여 사진이나 사실적인 그림을 정교하게 표현하는 데 적합하고 디스플레이 속도가 빠름 • 단점: 데이터 양이 많고 확대/축소가 자유롭지 않음 • 그래픽스 이미지(graphics image) • 벡터 방식으로 표현: 이미지의 선, 곡선, 원 등의 구성요소를 수학적으로 표현함 • 출력될 때 프레임 버퍼에 픽셀의 배열 형태로 표현 • 장점: 데이터량이 적고 확대/축소가 자유로움 • 단: 디스플레이 속도가 느리고 정교한 묘사에 제한이 있음

3. 그래픽/이미지의 벡터 형식

4. 색의 인식 ~ • 빛(light): 전자기파(electromagnetic wave) • 빛의 속도(speed of light) = 파장(wavelength) x 주파수(frequency) c = f

5. 색의 인식 ~ • 감지된 빛의 특성 • 색조(hue, color): 우세한 주파수(dominant frequency) • 채도(purity, saturation): 포화도(백색과의 혼합정도), pastel 색은 덜 포화됨 • 명도, 휘도(brightness, luminance): 빛의 강도(intensity of light) 복사 에너지(radiant energy) • 색채(chromaticity) = 색조(hue) + 채도(saturation) • 명칭 • Rood: hue luminosity purity • Hurst: hue brightness purity • Wundt: tone lightness purity • Rigway: wave-length luminosity chroma • Munsell: hue value chroma

6. 색의 인식 • 컬러의 가법 및 감법 연산 • 가법(additive)연산 : R(ed), G(reen), B(lue) 3색의 조합으로 구성된 방사된 빛을 눈이 인지 • R + G + B = 흰색 • 감법(subtractive)연산 : 반사된 빛을 인간의 눈이 인식함으로써, 색을 인식 • Cyan : Red의 보색(complementary color) • Magenta : Green 의 보색 • Yellow : Blue의 보색

7. 가법 및 감법 컬러 혼합

8. 감법 컬러 혼합 (Subtractive Color Mixing)

9. 디더링(dithering) • 디더링(dithering) : 멀리 떨어져서 보면 흑백 공간이 혼합되어 회색으로 보이는 현상 • 디더링 패턴 • R,G,B 1비트씩 총 3 비트 컬러 시스템 • 디더링 사용 않으면 8색 • 2x2 디더링 패턴 사용하면 5x8 색상

10. 이미지의 표현 • 컬러모델 : 컬러의 부호화을 규정하는 절차 • 알파채널(Alpha channels) : 투명도(transparency) 지정 • 채널 수(Number of Channels) : 각 픽셀당 정보의 수 • 채널 깊이(Channel Depth) : 채널당 할당하는 비트 수 • 인터레이싱(Interlacing) : 각 픽셀에 대해 R, G, B값 저장, 다음 화소의 R, G, B값 저장 • 인덱싱(Indexing) : 색상컬러를 색상 참조표의 인덱스로 표현 • 화소종횡비(pixel aspect ratio) : 픽셀의 너비대 높이의 비 • 압축 : 무손실(lossless) 압축과 손실(lossy) 압축

11. 이미지 파일 포맷 BMP • MS 비트맵 이미지 표준 • 헤더 • 데이터 크기 • 압축정도 • 색상 테이블 정보

12. 이미지 파일 포맷 GIF • 컴퓨서브에서 인터넷 상의 온라인 이미지 전송 위해 만든 이미지 파일 포맷 • JPEG과 함께 인터넷 표준 이미지 파일 포멧 • 다중 블록 데이터 구조를 갖고 있음 • 영상들 사이에 출력 지연 시간을 둘 수 있음 • 웹 브라우저에서 지원하는 확장자를 사용, 루프 반복 가능 • 파일이 다운로드되는 도중에라도 다운로드되는 만큼 재생 가능 -> 스트리밍 애니메이션 • 표 2.1 참조

13. 컬러모델 • 컴퓨터가 컬러를 인식하게 하는 방법 • RGB 모델 • 컬러가 Red, Green, Blue 의 3색의 강도(intensity)를 규정짓는 세쌍 숫자로 표현 (R + G + B) = 1(흰색) • 컬러 CRT 의 R, G, B 전자총의 전압으로 쉽게 맵핑될 수 있기 때문에 비디오 디스플레이 드라이버에 편리한 모델 • CMY(cyan, magenta, yellow) 모델 • 감법(subtractive) 모델[C, M, Y] = [1, 1, 1] – [R, G, B] • 컬러프린터에 좋은 모델 • YIQ(YUV, YCrCb) 모델 • 휘도(luminance)-색상(chrominance; color difference) • YIQ(NTSC), YUV(PAL, SECAM) • 흑백 TV와의 호환(Y 신호가 gray level 제공) • HSV 모델 • 색조(hue), 채도(saturation), 밝기 값(intensity value) • 영상처리에 좋은 모델 • CIE color space • Commission Internationale de l'Eclairage에 의한 규격 • 휘도(liminence, Y)와 두 색상값(chrominance value; x, y)

14. 그림 2.5RGB 컬러모델 RGB모델 • RGB cube • Amount of RGB primaries needed to display spectral colors

15. YIQ 모델(YUV, YCrCb) • RGB와 YIQ (NTSC)와의 변환 관계 • Y(luminance) = 0.30R + 0.59G + 0.11B • I(chrominance) =0.60R - 0.28G - 0.32B • Q(chrominance) =0.21R - 0.52G + 0.31B • R = 1.0Y + 0.956I + 0.620Q • G = 1.0Y – 0.272I – 0.647Q • B = 1.0Y – 1.108I – 1.705Q • RGB와 YUV (PAL, SECAM)의 변환 관계 • Y = 0.30R + 0.59G + 0.11B • U = (B-Y) × 0.493 • V = (R-Y) × 0.877 • R = 1.0Y + 0.956U + 0.621V • G = 1.0Y – 0.272U – 0.647V • B = 1.0Y – 1.1061U – 1.703V • RGB와 YCrCb (MPEG)와 변환 관계 • Y = 0.30R + 0.59G + 0.11B • Cr = R-Y • Cb = B-Y

16. HSV모델

17. CIE(Commission Internationale de l'Eclairage) 모델 • RGB -> XYZ 컬러 모델(1931) • XYZ: CIE 표준 원색(CIE standard primaries) • X: fx • Y: fy (luminous-efficiency function) • Z: fz • C = XX + YY + ZZ (X,Y, Z: CIE primaries에 적용된 weights) • (X + Y + Z)에 대하여 정규화된값(normalized amount)을 구하면 x = X/(X + Y + Z) y = Y/(X + Y + Z) z = Z/(X + Y + Z) • x + y + z = 1, z = 1 - x - y • 모든 색상은 x, y, Y(luminance) 값만 알면 표현 가능,나머지는 아래와 같이 계산 X = (x/y)*Y Y = Y Z = ((1-x- y)/y)*Y = (z/y)*Y

18. CIE(Commission Internationale de l'Eclairage) 모델 • CIE chromaticity diagram • Amount of CIE primaries needed to display spectral colors

19. 정신 물리학 (Psychophysics) • Spectral-response functions of each of the three types of cones on the human retina • Luminous-efficiency function for the human eye

20. CMY 모델 • 감법(subtractive) 공간 • Cyan(청록색) : Red의 보색(complementary color) • Magenta(심홍색) Green의 보색 • Yellow(노랑색) : Blue의보색 • 컬러 프린터에서 흰색 바탕에 색을 뿌릴 때 • CMY와 RGB 변환 공식:[C, M, Y] = [1, 1, 1] – [R, G, B] • CMY로 만들어 내는 8색 최소 팔레트(minimum palette of 8 colors) • Red : Yellow + Magenta • Green : Cyan + Yellow • Blue : Magenta + Cyan • Yellow : Yellow • Cyan : Cyan • Magenta : Magenta • White : - • Black : Yellow + Cyan + Magenta • CMYK: C+M+Y가 best black을 만들지 못하므로 K(pure black) 추가

21. 컬러모델 내용 CIE color space ·Commission Internationale de l'Ecairage 에의한규격 ·다른컬러모델조정(calibration)의참조모델 RGB ·컬러가Red, Green, Blue의 3색의강도(intensity)를규정짓는세쌍숫자로표현 ·컬러CRT 의R, G, B 전자총의전압으로쉽게맵핑될수있기때문에비디오디스플레이드라이버에편리한모델이다. HSB ·컬러를색상(Hue), 채도(Saturation), 명도(Brightness)로표현 YIQ YUV YCrCb ·텔레비전산업에서사용되는컬러모델로YIQ는NTSC, YUV는PAL, SECAM에서사용되며, YCbCr 은MPEG에서사용하는컬러모델이다. ·Y 는휘도(luminance), IQ, UV, CrCb 는비디오신호의색상부분을 형성하며, chrominance 라한다. CMYK ·프린팅에서의컬러모델 ·Cyan(청록색), Magenta(심홍색), Yellow는red, green, blue의보색이며, 종이위의임의의색은이색들의잉크의배합으로표현된다. ·실제적으로잉크들은순수하지않고, 특정잉크(‘CMYK'의K)가더나은블랙과그레이를표현하기위해사용된다. 컬러 모델의 비교

22. 이미지 획득 • 이미지 획득용 하드웨어 : 이미지 스캐너, 디지털 카메라, 아날로그 카메라 • 이미지 획득 : 광원, 촬영부, A/D 변환기가 필요함 • 비디오 카메라 • CCD(Charge Coupled Device): 센서와 CMOS 센서를 사용하는 반도체카메라가 많이 쓰임 • 비디오 카메라의 출력: 표준적인 비디오 신호임 • 프레임 그래버(frame grabber) 장치 • 비디오 카메라 출력 신호를 받아 A/D 변환 • 디지털 이미지로 변환하고 이를 내부의 메모리에 저장

23. RGB 컬러 비디오 카메라

24. 그림 2.7래스터디스플레이시스템구조 이미지 출력 • 래스터 디스플레이

25. 그림 2.8래스터스캔 래스터 디스플레이 시스템 구조

26. 모니터 • 비디오 데이터가 디스플레이 되는 장치 • 메모리, 레지스터를 갖지 않는 수동적인 장치 • 컬러 모니터 스크린의 각 픽셀 : R, G, B 3색의 인(phosphor) 입자로 구성됨

27. 비디오 카드 • 해상도 : 비디오 카드가 모니터 스크린에 디스플레이 할 수 있는 픽셀의 수 • 색심도(color depth) : 비디오 카드가 만들 수 있는 색상 수 • 비디오 모드 : 컴퓨터가 모니터에 이미지를 그릴 수 있는 방법으로 텍스트 모드와 그래픽 모드로 구분 • 속도 : 고속처리를 위해 동시에 읽고 쓸 수 있는 듀얼포트 RAM(dual port RAM)을 사용하며 별도의 비디오 처리 프로세서를 갖는 것이 보통

28. 비디오카드모드 내용 Monochrome Display Adapter(MDA), 1981 IBM-PC 표준, 모노크롬, 텍스트전용, 25 라인× 80 컬럼 Color Graphics Adapter(CGA), 1981 컬러그래픽, 320×200(4 컬러) 640×200 (2 컬러) Hercules Graphics Card(HGC), 1982 모노크롬그래픽, 720×348 Enhanced Graphics Adapter(EGA), 1985 컬러그래픽, 64 컬러팔레트, 640×480(16 컬러), 자체Video BIOS 지원 Video Graphics Array(VGA), 1987 컬러그래픽, 640×480(16 컬러) 320×200(256 컬러), 아날로그컬러신호, own Video BIOS 지원 Super VGA(SVGA), 1989 컬러그래픽, 800×600(16 컬러)* 자체Video BIOS 지원 (*현재, 1024×768(24비트컬러) 까지지원) 비디오 카드 모드

29. 이미지 전송 • 이미지 전송 요구사항 • 이미지 전송은 버스티(bursty) 하므로 네트워크는 버스티 데이터 전송을 수용해야 함 • 이미지전송은 신뢰성 있는 전달(reliable transport)을 요구함 • 시간 종속성(time dependency)은 이미지에서의 주요한 특성이 아님 • 이미지 데이터 전송 • 원 이미지 데이터 전송 • 이미지 크기 = 공간 해상도 × 픽셀 양자화 크기 • 압축된 이미지 데이터(compressed image data) 전송 • JPEG이나 MPEG 방법을 이용하여 압축 • 심볼 이미지 데이터(symbolic image data) 전송

30. 그래픽스(Graphics) • 2D 그래픽 : 모델로부터 필요한 기하학적 변환 등을 거쳐 디스플레이 장치의 뷰포트(viewport)에 출력 • 3D 그래픽 : 모델로부터 사실감 있는 그림을 만드는 과정을 흔히 렌더링(rendering)이라 하는 데, 물체의 원근, 음영, 질감 등의 표현을 위해 렌더링 과정을 수행함 • 그래픽스 소프트웨어 • 하드웨어 종속적인 패키지로부터, 응용 프로그램의 호환성을 위하여, 장치 독립적인 고급 패키지로 발전해옴 • (예) 윈도우즈에서의 그래픽스 구현 • 응용 프로그래머를 위해 하드웨어 독립적인 GDI(Graphics Device Interface) 제공 • 그래픽 속도가 중요한 응용을 위해, DirectDraw(2D 그래픽만 지원), Direct3D(3D 그래픽 지원), OpenGL을 제공함

31. 윈도우즈 그래픽 지원 구조

32. 대화형 그래픽스 시스템 프레임워크 • 컴퓨터 그래픽스 : 컴퓨터를 이용하여 실제 그림이나 수학적인 모델과 같은 고차원의 추상적인 그래픽들을 생성, 저장, 처리 • 대화형 그래픽스 시스템 : 사용자가 컴퓨터와의 상호작용을 할 수 있는 키보드, 마우스, 스캐너 등과 같은 장치를 이용하여 디스플레이 상에서 그래픽스의 내용, 포맷, 크기, 컬러 등을 제어할 수 있는 시스템 • 응용모델(application model):스크린 상에 그려질 데이터나 객체를 나타냄 • 응용 프로그램(application program) • 화면에 그려질 데이터와 객체를 나타내는 응용모델 제작: 정보 저장 및 정보 획득, 사용자의 입력처리 • 그래픽스 시스템(graphics system) • 상세 그래픽 기술(description)에 따라 그림생성 • 사용자 입력을 응용 프로그램에게 전달함 • 입력 및 출력에 대한 변환기능 수행

33. 윈도우(window)과 뷰포트(viewport) 개념 • 윈도우(window) : 세계 좌표계에서 지정된 사각 부분 • 뷰포트(viewport) : 윈도우가 옮겨지는 출력 장치(화면)의 사각영역 • 세그먼트, 구조 : 하나의 그룹으로 분류되어 레이블이 붙은 일단의 출력 요소

34. 3차원 그래픽스의 개념

35. 3D 그래픽스 하드웨어 시스템구성의 예

36. 3D 그래픽 개념 ~ • 1) 3D에서 뷰잉(Viewing in 3D) • ① 투영양식 설정(specification of projection) • ② 뷰잉 매개변수 결정 • ③ 3D 에서의 절단(clipping) • ④ 투영과 디스플레이

37. 3D 그래픽 개념 • 2) 은면(Hidden surface) 은선(Hidden edge) 제거 • Z 버퍼 방법 : 실제 픽셀의 값 (R, G, B) 외에 각 픽셀의 깊이 Z 값을 보존함 • 3) 음영(Shading) 및 색상 • 현실감 있는 물체의 그래픽을 위해 음영과 색상 패턴을 적용시킴 • 음영 모형 : 물체의 표면을 바라볼 때의 빛의 광도 계산 • 4) 텍스처링(Texturing) : 면에 재질감을 내는 것 • 텍셀(Texel; 텍스쳐 맵 데이터의 픽셀) 정보 + 음영처리된 픽셀정보 -> 프레임 버퍼 -> 디스플레이

38. 그래픽 표현 • 1 ) 곡선 및 곡면의 표현(모델링) • 수학식 이용 : 정현파 곡선(y = sin x) 이용 • 사용자가 지정한 점들을 이어 만듦 • 베지어 곡선(Bezier curve) • 스플라인 곡선(spline curve) 방식 • 곡면 표현방법 • 다각형 메쉬 곡면(polygon mesh surface) • 매개변수 곡면 • 2차 곡면 • 불규칙한 곡선과 면 재생 • 프랙탈(fractal) 기하학 이용 • 재귀적 과정을 무한히 반복 • 복잡한 곡선이나 면을 같은 모양을 갖는 선 또는 면들의 축소 또는 확대를 이용하고 이들을 조합한 형태로 표현함 • 2 ) 3차원 입체 표현(Solid Modelling ) • 캡쳐에 의한 3D 모델링 • 다각형면 또는 곡면들을 모아서 근사법으로 그리는 방식 • 3D 입체를 2D 곡면의 회전으로 형성

39. 프렉탈: Deterministic IFS(Iterated Function System) 예1

40. 프랙탈: Deterministic IFS(Iterated Function System) 예2

41. 프랙탈: Random IFS(Iterated Function System) 예3

42. 기하 변환의 이해 • 1) 2차원 변환 • 2차원상의 어파인변환 (Affine transformation) : 한 점 p=(x , y )~ 를 2차원 어파인 사상(Affine mapping, 2차원 어파인 변환식은 교재 표 2.4 참조)에 의해 p'=(x' , y') 로 바꾸어 주는 변환 • 2) 3차원상의 좌표변환 • 3차원 어파인 변환 : 3차원상의 한 점 p=(x, y, z)를 형태의 3차원 어파인 사상(3차원 어파인 변환식은 교재 표 2.5 참조) 에 의해 또 다른 한 점 p'=(x', y', z')로 바꾸어 줌 • 그래픽 파일 포맷: 표 2.6 참조

43. 이미지 처리 • 이미지 개선 (enhancement) : 왜곡된 이미지를 처리하여 특정 응용에 적합한 이미지를 생성 • 이미지 복원 (restoration) : 원래의 이미지 대로 복원 • 이미지 분할 (segmentation) : 관심 있는 객체를 이미지로부터 분리 • 이미지 분석 (analysis) : 이미지로부터 유용한 정보를 추출 • 이미지 합성 (synthesis) : 새로운 이미지를 합성 • 이미지 인식 (recognition) : 이미지 안의 관심 있는 객체를 인식

44. 이미지 개선 (Image Enhancement) ~ • 콘트라스트 개선(Contrast Enhancement) • 콘트라스트 : 이미지의 특정 영역에서 그레이 레벨 값의 차이나 휘도의 차이를 말함 • 콘트라스트의 조정 • g(x,y)= T[f(x,y)] 와 같은 선형 또는 비선형 변환 T(예, log 변환)를 통해 변경 • 히스토그램 h(g) (휘도 값 g를 갖는 픽셀들의 개수) 균일화(histogram equalization) 방법 • 공간 필터링(spacial filtering)을 통한 이미지 개선 • 공간 필터링 : 입력 이미지를 공간 필터에 통과시켜 출력된 이미지를 개선시킴 • 잡음이 있는 이미지 : 저주파 통과 필터(low pass filter)에 통과시켜 잡음의 영향을 줄임 • 이미지에 있는 세세한 자세함 : 고주파 통과 필터(high pass filter)에 통과시켜 더 강화(sharpening) 시킴

45. 이미지 개선 (Image Enhancement) • 에지 개선(edge enhancement) • 에지를 검출하고, 이를 분명하게(sharpening) 하여, 또는 낮은 콘트래스트를 갖는 에지를 보다 선명하게 보이게 하고자 하는 작업 • 에지 검출 방법 : 1차 미분 값을 이용하는 방법 2차 미분 값을 이용하는 방법

46. 이미지 분할(Segmentation), 분석(Analysis) 및 인식(Recognition) • 이미지 분할 (Segmentation) : 이미지에서 관심 있는 객체를 나머지 부분으로부터 분리해냄 • 1) 영상 분할의 단위 : 픽셀, 블록, 쿼드트리(quad tree) 등 • 2) 영역의 특징 • 픽셀별 분할의 경우 : 픽셀의 명도값, 색상값, 명암 그래디언트의 방향이나 크기 등 • 블록형태의 영역인 경우 : 블록내의 픽셀의 평균 휘도, 휘도의 분산, 2차원 직교변환 계수, 파워스펙트럼 등 • 3) 이미지 분할의 방법 • 입력 이미지에 대해 클러스터링을 이용하는 방법 • 특징공간에 있어 클러스터링을 이용하는 방법 • 입력 이미지의 에지를 이용하는 방법 • 무늬 해석 • 이미지 분석 (Analysis) : 이미지로부터 유용한 정보를 추출함 • 이미지 분석의 목적 : 이미지의 특징들을 수치화하여 이미지를 이해함 • 이미지 인식(Image Recognition) • 이미지 내의 관심 있는 객체를 인식하는 작업

47. 이미지 인식 단계