Digital Image Processing : MPEG and Applications

Digital Image Processing: MPEG and Applications January 28, 1999 Jeong-Cheol, Lee

Contents • Part I : MPEG • Part II : Number Recognition Using an Image Processing Method • Part III : Content-based Image Retrieval System IEFAL Seminar

I. MPEG(1/2) • Moving Picture Expert Group(MPEG) • a working group of ISO/IEC in charge of the development of international standards for compression, decompression, processing, and coded representation of moving pictures, audio and their combination. IEFAL Seminar

I. MPEG(2/2) So far MPEG has produced: • MPEG-1, the standard for storage and retrieval of moving pictures and audio on storage media(approved Nov. 1992) • MPEG-2, the standard for digital television(approved Nov. 1994) • MPEG-4 version 1, the standard for multimedia applications(approved Oct. 1998) and is now developing • MPEG-4 version 2(to be approved Dec. 1999) • MPEG-7, the content representation standard for information search(to be approved July 2001). IEFAL Seminar

II. Number Recognition Using an Image Processing Method Two-Stage Recognition of Freight Train ID Number under Outdoor Environment Jeong-Hun Jang and Ki-Sang Hong Image Information Processing Lab. Pohang University of Science and Technology International Conference on Document Analysis and Recognition, Montreal, Canada, August 14-16,1995.

1. Introduction • Purpose • Automating the process of checking freight train ID numbers in order to reduce the number of operators. • Features • Machine-printed character recognition. • Noisy gray-scale character images. • Recognition in the outdoor environment. IEFAL Seminar

Coal or Ore Freight Train PC Weigher Camera Frame Grabber 2. System Configuration IEFAL Seminar

3. Overall Flow(1/2)  Karhunen-Loève Transform(KLT) • is based on statistical properties of vector representations. • has several useful properties that make it an important tool for image processing. • is used to develop a robust classifier against noises. IEFAL Seminar

3. Overall Flow(2/2) IEFAL Seminar

4. Main Algorithms(1/2) • Determination of the existence of a number by the Mahalanobis distance measure. • Segmentation of a number image by scale-space filtering. • Recognition of digits by the subspace method. IEFAL Seminar

4. Main Algorithms(2/2) IEFAL Seminar

5. Screen Shot IEFAL Seminar

III. Content-based Image Retrieval System "SCARLET : Design and Implementation of a Content-based Image Retrieval System using Wavelet Transform" Dong-Ho Lee, Yong-Jun Song, Hyoung-Joo Kim OOPSLA Lab. Seoul National Univ. JKISS, Vol. 3 No. 4 Aug. 1997. IEFAL Seminar

1. 서론(1/2) • 멀티미디어 데이터를 효율적으로 저장, 관리 및 검색할 수 있는 멀티미디어 DB 시스템의 필요성 증대 • 멀티미디어 검색 기법의 종류 • 주석 기반 검색 기법 • 내용 기반 검색 기법 IEFAL Seminar

1. 서론(2/2) • 내용 기반 검색 기법의 특징 • 시각적 질의를 주로 사용 • 사용자 그림에 의한 질의 • 예제 이미지에 의한 질의 • 유사 일치 검색을 주로 사용 • 유사성 측정: 이미지들로부터 추출한 특징 벡터들 간의 차이에 의해 측정 • 특징 벡터 자동 추출의 어려움 • 외곽선 데이터에서 웨이브릿 변환을 적용하여 특징 벡터의 자동 추출 시도 IEFAL Seminar

2. 관련 연구(1/3) • QBIC • IBM Almaden 연구소에서 개발 • 이미지의 색상, 질감, 모양 등과 같은 다양한 속성에 기반한 시각적 질의 제공 • 대략적으로 그린 외곽선을 통한 질의 제공 • 키워드로 주석 허용 • 질의 인터페이스 통합의 체계화 부족 • 데이터의 완전 자동 추출 불가능 IEFAL Seminar

2. 관련 연구(2/3) • Chabot • Berkeley에서 개발, 관계형 DB 이용 • 이미지에 대한 히스토그램 이용 • 색상에 대한 적절한 주석을 기술하여 검색 수행 • QBE • Hirata, Kato가 개발 • 이미지로부터 추출한 외곽선 데이터를 그대로 검색에 이용 • 저장된 이미지의 이동, 스케일링, 회전 등을 고려 IEFAL Seminar

2. 관련 연구(3/3) • Charles와 Adam이 제안한 시스템 • 특징 데이터의 추출 과정에서 웨이브릿 변환을 처음 사용 • 칼라 이미지에 직접 적용(R, G, B의 3채널) • 특징 벡터의 모호성 IEFAL Seminar

3. SOP 시스템에서의 이미지 관리(1/2) • 새로운 데이터 타입에 대한 뛰어난 확장성 • SOP: OOPSLA Lab.에서 개발한 OODBMS • 이미지 클래스 라이브러리 제공 • 저장 관리자 클래스: 저장과 검색 관리 • 분석 관리자 클래스: 변환, 외곽선 추출, 분석 관리 • 특징 추출자 클래스: 특징 데이터 추출 • 질의 관리자 클래스: 질의 관리 IEFAL Seminar

3. SOP 시스템에서의 이미지 관리(2/2) IEFAL Seminar <이미지 클래스 라이브러리의 클래스 다이어그램>

4. SCARLET의 설계 및 구현- 웨이브릿 변환의 사용 - • Shape representation scheme에서 요구되는 특징 • 유일성, 완전성, 불변성, 민감도, 추상화 • 푸리에 변환과 비교한 웨이브릿 변환의 장점 • 기본 함수로 사인, 코사인 함수 외에 웨이브릿 모함수 사용 가능 • 지역적 특징 분석 가능 • 다해상도 분석 가능 IEFAL Seminar

4. SCARLET의 설계 및 구현(2/3)- 전체적인 메커니즘 - IEFAL Seminar

4. SCARLET의 설계 및 구현(2/3)- 전체적인 구조 - IEFAL Seminar

4. SCARLET의 설계 및 구현(2/3)- 특징 벡터의 구성과 거리 함수 - • 특징 벡터 추출시 고려 사항 • 웨이브릿 타입: 기본 함수의 종류에 따라 달라짐 • 분해 타입: 표준 분해와 비표준 분해 • 절단: 절대값이 가장 큰 몇 개의 계수만 취함 • 유사성 계산 QFV: 질의 이미지의 특징 벡터 TFV: DB에 저장된 목적 이미지의 특징 벡터 IEFAL Seminar

5. SCARLET의 사용자 인터페이스 및 질의 검색의 결과 (1/2)- 사용자 그림에 의한 질의 - Query IEFAL Seminar

5. SCARLET의 사용자 인터페이스 및 질의 검색의 결과 (2/2)- 예제 이미지에 의한 질의 - Query IEFAL Seminar

Success Rate Efficiency 6. 실험 결과의 분석 IEFAL Seminar

결론: MPEG 장비를 이용한 표준시간 설정 시스템 개발에 관한 문제 • MPEG 장비가 드디어 들어오는데…(토요일) • 시스템 사용 방법을 익힌다. • 기존의 표준시간 설정 방법의 절차, 문제점에 관한 연구 • Digital Image Processing에 관한 지식 축적 IEFAL Seminar

References & 관련 사이트 • 홍기상, 장정훈, 1996, 슬라브 번호 인식 장치의 개발, 제어/자동화/시스템 공학회지, 제 2권, 제 6호, 11월 • Dibyendu N. and Jezekiel Ben-Arie, 1999, Generalized feature extraction using expansion matching, IEEE Transactions on image processing, Vol. 8, No. 1, Jan. ----------------------------------------------------------------------------------------- • http://cbs.co.kr/cbsbeta/lecture/MPEG.htm, MPEG과 정보혁명 • http://sp09a.etri.re.kr/etlars-cgi, MPEG의 최근 동향 분석 • http://sp09a.etri.re.kr/etlars-cgi, 내용 기반 이미지 정보 검색 시스템 기술 동향 • http://cafe.postech.ac.kr, 번호 인식 시스템 프로젝트 관련 정보 • Http://www.cselt.it/mpeg, MPEG 관련 정보 IEFAL Seminar

Digital Image Processing : MPEG and Applications