멀티미디어 신호처리 이론 및 실습

1. 멀티미디어 신호처리이론 및 실습

2. 수업목표 및 내용 • 정보압축의 원리를 이해한다. • 정보압축의 기본적인 원리 이해 • 공간적, 시간적, 통계적 중복성 제거 원리 • 정보압축에 사용되는 기본이론 • 런-길이 부호화 • 허프만 부호화 • 변환부호화 이론 • 양자화 및 역양자화 이론 • 차분 부호화 이론 • 실험실습 안내 • 실습 5: DCT-IDCT 실습 • 실습 6: 허프만 부호화 실습

3. 1. 정보압축의 개요 및 필요성 • 영화 VOD서비스 (169GB): 1초당 180MB 대여폭 • 15,7분 소요 • MPEG-1 압축 : 1.3GB • H264/AVC : 훨씬 더 줄임 • 압축유형 • 무손실압축 : 완벽한 복원 • 의학진단 목적 • 손실압축 : 복원 후 손실 • 영상의 질 저하 • 작은 크기로 압축 • 인간의 눈으로 감지 할 수 없는 영상자료는 제거 • 복잡한 형상 명암 영상(높은 압축률)

4. 정보압축의 개요 및 필요성 • 압축률 • 원시자료량/압축된 자료량 • =1MB/100KB • =10.0 • 고려사항 • 압축/복원시간 • 알고리즘 복잡도 • 자원의 가용성 비용 • 표준화기법

5. 1. 정보압축의 개요 및 필요성 [정보미디어의 정보량(압축하지 않았을 때)]

6. 미디어 저장 또는 네트워크 전송 부호화기 (encoder) 복호화기 (decoder) 복구된 신호 (영상, 음성 등) 입력신호 (영상, 음성 등) 1. 정보압축의 개요 및 필요성 [그림 4-1] 전형적인 정보 압축 시스템 개념도

7. 방송미디어의 발달 • 디지털 TV 방송(HDTV) • 열화가 없는 고품질 영상전송 가능 • 다채널화가 가능 • 다양한 방송미디어의 출현(DMB, ATSC, DVB, ISDB) 저장미디어의 발달 통신미디어의 발달 • 소형대용량화에 따른 저장공간의 축소 • 값싼 저장미디어로 멀티미디어 정보를 기록, 저장 • 멀티미디어통신이 가능(화상회의, 인터넷 전화등) 정보압축기술의 발달 정보압축기술의 발전효과 및 필요성 정보의 디지털화 [그림 4-2] 정보 압축기술 발전의 효과와 필요성

8. 30 Mbps 채널 아날로그 1채널 1채널 수신 27 MHz 전송대역 아날로그 TV 채널1(MBC): 5 Mbps 채널2 (KBS-1): 5 Mbps 정보압축 후 디지털 방송 6채널 6채널 수신가능 채널3(KBS-2): 5 Mbps 27 MHz 전송대역 채널4(SBS): 5 Mbps 채널5(EBS): 5 Mbps 디지탈 TV MPEG-2 시스템 인코더 채널6(아리랑): 5 Mbps 정보압축기술의 발전효과 및 필요성 [그림 4-3] 압축기술(MPEG-2)을 이용한 디지털 방송의 다채널화

9. 2. 정보압축의 기본적인 원리 이해 • 인간의 시각/청각 특징을 고려한 압축원리 (a) 색 품질 16비트 설정 (b) 색 품질 32비트 설정 [그림 4-4] 색감도 인지능력의 둔감성 예제 영상 (컴퓨터 디스플레이 설정)

10. 정보압축기술의 기본적인 원리 • 사람의 청각 특징을 고려한 사운드 압축원리 [그림 4-5]사람이 들을 수 있는 가정 주파수 대역 [그림 4-6] 마스킹 효과(masking effect)

11. 정보압축기술의 기본적인 원리 • 영상에서의 공간주파수 • 높은 공간 주파수 : 밝기값 변화량 많음 • 낮은 공간 주파수 : 밝기값 변화량 적음 • 공간적 중복성 제거 원리 • 이웃한 화소간의 상관성, 중복성이 높다 : 이웃한 화소 밝기값이 유사 예측 가능한 공간적 정보 제거 데이터양 줄임

12. 정보압축기술의 기본적인 원리 • 영상에서의 공간주파수 • 예)사람의 일상 • 주말을 제외한 일상이 매우 유사한 사람 • 월~금 모든 기록을 기록할 필요가 없음 • 일상에서 벗어난 사건들만 기록 • 상관성이 높음 : 압축률 높음 • 상관성이 낮음 : 압축률 낮음

13. 정보압축기술의 기본적인 원리 • 영상에서의 공간주파수 (a) 영상 (b) 수평 한 라인에서의 밝기값 변화 [그림 4-7] 영상에서의 공간주파수 개념

14. Y Y Y a X X X 밝기값 밝기값 밝기값 X X X (a) 공간주파수가 낮은 영상 (b) 공간주파수가 (a) 영상에 비해서 약간 높은 영상 (c) 공간주파수가 (a) 영상에 비해서 높은 영상 정보압축기술의 기본적인 원리 [그림 4-8] 다양한 공간 주파수에 대한 예제 영상

15. 정보압축기술의 기본적인 원리 • 공간적 중복성 제거원리 [그림 4-9] 영상의 공간 중복성

16. 정보압축기술의 기본적인 원리 • 공간적 중복성 제거원리 (계속)

17. 정보압축기술의 기본적인 원리 공간적 중복성 제거원리 (계속) [그림 4-11] 화소의 공간적 중복성 제거 예] [그림 4-12] 차영상: X-(A+C)/2]

18. 정보압축기술의 기본적인 원리 공간적 중복성 제거원리 (계속) (a) 차영상의 히스토그램 (b) 원영상의 히스토그램 [그림 4-13] 원영상과 차영상의 히스토그램

19. 정보압축기술의 기본적인 원리 • 시간적 중복성 (a) 50 번째 영상 (b) 51 번째 영상 (c) 52 번째 영상 [그림 4-14 Hall Monitor 동영상]

20. 정보압축기술의 기본적인 원리 • 시간적 중복 • 움직임 정보(Motion Information) • 현재프레임이 이전프레임의 어떤 영역과 유사함을 알려주는 정보 • 블럭간의 차이를 부호화 • 움직임 보상(Motion Compensation) • 이전 프레임과 움직임 정보를 이용하여 하나의 영상을 만듬 • 움직임 추정(Motion Estimation) • 움직임 정보를 찾는 과정 • 실제영상 : 단순하지 않음 • 일반적으로 블록으로 분활하여 블록에 대한 움직임정보 찾음

21. 정보압축기술의 기본적인 원리 시간적 중복성 (계속) (a) 51번째 영상과 50번째 영상의 차 (b) 52번째 영상과 51번째 영상의 차 [그림 4-15] 연속된 영상과의 차영상

22. 정보압축기술의 기본적인 원리 시간적 중복성 (계속) [그림 4-16] 움직임 정보의 예

23. 압축기술의 기본적인 원리-시간적 중복성 (a) 원영상과 움직임 보상된 51번째 영상과의 차 (b) 원영상과 움직임 보상된 52번째 영상과의 차 (d) 움직임 보상된 52번째 영상 (c) 움직임 보상된 51번째 영상 [그림 4-17] 움직임 보상의 결과

24. 압축기술의 기본적인 원리-시간적 중복성 • 움직임 보상된 52번째 영상(b) 사각형 영역의 확대 영상 • [그림 4-18] 움직임 보상된 52번째 영상의 블록화 현상

25. 기본적인 정보 이론(Information Theory) Claud E. Shannon에 의하면, 로 표현되는 원본 정보의 엔트로피(entropy of source: 소스의 정보량) Average number of bits per codeword = 여기서, n: 원본 소스의 다른 심볼 번호, : S 에서 기호 가 발생할 확률

26. 기본적인 정보 이론(Information Theory) [그림 4-19] 정보량과 상관성, 정보량과 발생확률의 개략적인 관계

27. [예제 1]

28. [예제 1] (계속)

29. 압축기술의 기본적인 원리 • 통계적 중복성 제거 • 엔트로피는 신호가 가지고 있는 평균 정보량이며, 신호는 이 정보를 전달하기 위해 사용된 수단이다. • 엔트로피란 신호에 포함된 정보량을 의미하므로, 신호로 이 정보를 모두 표현하기 위해서는 최소한 엔트로피 만큼의 비트가 평균적으로 소요되어야 함을 의미한다. • 신호는 엔트로피 이상의 비트로 표현되어야 하며, 엔트로피 이상으로 소요된 정보는 그 만큼 중복성을 가지게 된다. • 이러한 중복성을 제거하여 가능한 한 엔트로피에 가깝도록 부호화하는 것을 엔트로피 부호화(entropy coding)라고 한다. • 엔트로피 부호화 방식에는 허프만 부호화(huffman coding)와 산술부호화(arithmetic coding) 등이 있다.

30. 정보압축에 사용되는 기본적인 원리 [표 4-2] 정보압축원리와 압축이론

31. 압축알고리즘 무손실 압축 손실압축 엔트로피 압축기법 변환압축기법 예측압축기법 길이가변부호화 통계적 부호화 허프만부호화 산술부호화 압축 알고리즘 분류 [그림 4-20] 개략적인 압축 알고리즘 분류

32. 런-길이 부호화 (Run-Length Encoding) AAAABBBBBCCCCCCCCDEEEE 22 byte 런-길이 부호화 4A5B8C1D4E 10 byte 1 문자 = 1 byte 가정 [그림 4-21] 런-길이 부호화 알고리즘 적용 예

33. 000000011111111110000011… 런-길이 부호화 7 10 5 2…  0 7 1 10 0 5 1 2…  또는 런-길이 부호화 (Run-Length Encoding) 처음 신호가 0 이라고 가정하면 [그림 4-22] 런-길이 부호화 알고리즘 적용 다른 예

34. 런-길이 부호화 (Run-Length Encoding) • FAX 압축, GIF 등이 run length coding을 이용 • 그림 파일 압축 효과가 크고, 원리가 단순 • 그러나, 문서 파일 압축에는 부적합 • 왜?

35. 런-길이 부호화의 단점 • 예) “This is a pen.” • 압축 후 두 배로 커짐. This is a pen. T1h1i1s1 1i1s1 1a1 1p1e1n1.1

36. 허프만 부호화 • 개요 • David Huffman(1952)에 의해 알고리즘 제시 • 자료군의 분석에 의해 매우 빈번하게 발생하는 자료에 짧은 비트 스트림할당, 드물게 발생하는 자료에 긴 비트스트림을 할당하는 가변길이 압축기법

37. 허프만 부호화 • 엔트로피 : 신호의 평균 정보량 • 예를 통해 본 부호의 할당과 엔트로피 • 아래 2가지 경우에 대해 각 심볼에 ‘0’과 ‘1’의 부호를 부여하였다고 하자 • (사례1) 2개의 심볼이 각각 0.5, 0.5의 확률을 가지는 경우 • (사례2) 2개의 심볼이 각각 0.75, 0.25의 확률을 가지는 경우 • 효율적인 부호화  사례1 • 수신자입장에서 보면 사례1의 경우 송신자가 심볼을 전송하지 않으면 송신자가 보내려고 하는 심볼이 ‘0’인지 ‘1’인지 알아맞추기가 사례2의 경우보다 어려움(즉, 좀 더 불확실)  사례1이 정보량이 큼  사례1과 사례2에서 1비트로 각 심볼을 부호화하였을 때 사례1의 1비트 심볼이 더 많은 정보를 보유  사례1이 효율적인 부호화를 수행한 결과가 됨

38. 허프만 부호화 • 2개 보다 많은 심볼의 경우 • 1) 다수의 심볼을 2개의 부류로 분할하고 각 부류를 하나의 심볼로 간주하면 2개의 심볼로 생각할 수 있음 • 2) 2개의 부류를 나눌 때 각 부류에 속한 심볼의 확률의 합이 각각 0.5에 가깝도록 분류하고 각 부류에 대해 ‘0’과 ‘1’의 부호를 부여 • 3) 각 부류 내에 속한 심볼들을 다시 두개의 부류로 분류하고 다시 ‘0’과 ‘1’을 할당. 2)에서 ‘0’이 부여된 부류라면 2)에서 부여된 부호 ‘0’을 앞에 붙혀 ’00’또는 ’01’이 됨. • 4) 2)의 과정을 3)처럼 계속 반복함

39. 허프만 부호화 전체 심볼을 0.5의 확률에 가깝도록 두 부류로 분류  {s0} 와 {s1, s2, s3}  두 부류를 구별하기 위하여 ‘0’과 ‘1’의 코드를 부여함  s0 = ‘0’ 3개의 심볼을 포함하는 {s1, s2, s3} 를 다시 반반의 확률을 가지도록 분류  {s1}과 {s2, s3}  각 부류에 ‘0’과 ‘1’의 코드 부여  s1 = ’10’ 2개의 심볼을 포함하는 {s2, s3} 를 다시 반반의 확률을 가지도록 분류  {s2}과 {s3}  각 부류에 ‘0’과 ‘1’의 코드 부여  s2 = ’110’, s3 = ‘111’

40. 허프만 부호화 • 허프만 부호화 알고리즘 • 아래는 널리 알려진 알고리즘으로서 앞 슬라이드에서 설명한 방법과 상의하나(역과정에 해당) 원리에 있어서 동일하며 각 심볼에 할당되는 비트수는 동일함 • 알고리즘 • 원래의 모든 심볼들을 각기 독립된 노드인 자유 노드들로 간주한다. • 가장 낮은 빈도수를 가진 두 개의 자유 노드들을 자식 노드로 하는 하나의 부모 노드를 생성하고 두개의 자식노드는 각각 ‘0’과 ‘1’의 부호가 부여된다. 생성되는 부모 노드의 빈도수는 자식 노드들의 합으로 이루어진다. • 연결한 두 개의 자식 노드들을 자유 노드 리스트에서 제거한다. 새롭게 생성된 부모 노드를 리스트에 추가한다. • 2단계와 3단계를 하나의 자유 노드만 남을 때까지 반복 수행한다. 이 자유 노드는 구성되는 트리의 루트가 된다. • 마지막 남은 자유 노드에서 출발하여 원래의 자유노드(원래의 심볼)까지 부여된 부호를 읽음으로써 심볼의 부호를 결정한다.

41. 허프만 부호화 • 사례

42. [참고]데이터의 부호화 –허프만코드 • 허프만(Huffman)코드 • 가변길이 코드방법 - 정보량에 따라 길이가 달라진다 • 데이터 압축 기법 • 무손실(lossless coding) 부호화 기법 • 정보에 따른 확률 트리 예

43. [참고]허프만 부호화 • 현재 사용되는 대부분의 압축 기법에 이용 • 기본 원리: 다양한 길이의 코드(부호) • 파일에서 각 문자가 등장하는 빈도가 다름. • 예, A는 100번, &는 3번, ... • 빈도가 높은 문자는 긴 코드, 빈도가 적은 문자는 짧은 코드로 부호화한다. 예) • A와 &를 모두 8비트 코드로 표현 • 100X8 + 3X8 = 824비트 • A를 2비트, &를 10비트로 표현 • 100X2 + 3X10 = 230비트

44. 허프만 부호화 • 허프만 코드의 생성 • 빈도수에 따른 문자의 빈도수 배열 생성 • 이진 트리를 이용하여 허프만 테이블 생성 1. 처음에는 모든 문자들을 각기 독립된 노드인 자유노드로 간주 2. 가장 낮은 빈도수를 가진 두개의 자유 노드들을 자식 노드로 하는 부모 노드 생성.생성되는 부모 노드는 자식 노드들의 합과 동일한 가중치를 가짐 3. 연결한 두 개의 자식 노드들을 자유 노드 리스트에서 제거하고, 새롭게 생성된 부모 노드를 리스트에 추가 4. 2단계와 3단계를 하나의 자유 노드만 남을 때까지 반복

45. 허프만 코드 - 예제 2)

46. 허프만 코드 예제 2) - 풀이

47. 허프만 코드 예제 2)- 풀이 [허프만 코드 트리 I]

48. 허프만 코드 예제 2)- 풀이 [허프만 코드 트리 II ]

49. 허프만 코드 예제 2)- 풀이

50. 변환 부호화 이론 • 한 영역에서 다른 영역으로 변환한 후 압축한다. • FFT (Fast Fourier Transform) • DCT (Discrete Cosine Transform) : 2D, 8 x 8 • FDCT (Forward DCT) 여기서, • IDCT (Inverse DCT)