뇌정보처리 메카니즘에 기반한 인공시각시스템 연구

1. 뇌정보처리 메카니즘에 기반한인공시각시스템 연구 양 현 승 KAIST 전자전산학과 뇌과학연구센터(BSRC)

2. 목차 • 연구의 개요 • 연구 목표 • 분야 구성 및 내용 요약 • 연구 내용 및 결과 • 대상 시각 • 공간 시각 • 능동 시각 • 시각 칩 • 응용시스템

3. 개요 뇌의 시각 정보처리 특성 • 시각정보 처리의 유연성 • 실세계 다양한 환경 변화에 대한 뛰어난 적응력 • 다양한 시각정보의 효율적 통합 능력 • 대량 시각 정보의 모듈화 및 선별적/병렬적 처리 능력 뇌 시각 정보처리의 장점을 인공시각 기술에 도입

4. 최종 연구 목표 (1)  뇌 시각신경계 처리경로  인지심리학적 시각연구 뇌 시각정보처리 기제 이해/모델 3차원 공간인지 (spatial vision) 능동시각 (active vision) 3차원 대상시각 (object vision)  3차원 공간 인지 ( depth, motion)  능동적 시각정보 획득  안구운동, 선택적 정보처리  3차원 물체 인식  얼굴 인식 통합 인공시각 모델/시스템  복잡한 실세계 환경에서 동작  강인한3차원 공간/대상 인식  안구운동기반의 효율적정보선택  능동형 물체추적 응용시스템  스테레오비젼 응용시스템  휴먼 로봇용 인공시각시스템 시각 칩 응용 시스템  윤곽선 검출 칩  움직임 검출 칩

5. 최종연구 목표 (2) 응용시스템 대상시각 - What pathway 및 얼굴인식 기제 - 3D 물체인식 모델 - 얼굴인식 모델 - 특징추출/영역분할 - 인식성능 향상을 위한 추적 기술 3차원 물체인식 신경망 모델 Human Robot 특징추출 안구운동 - 물체 검출/인식 - 얼굴 검출/인식 Gray / Edge Color 공간시각 Motion/Depth 3D 공간인지모델 - Where pathway 기제 - 양안 시각 - 움직임 인지 - 결정보 분석 - 공간 주의 Stereo Vision System Saccade & Vergence controller Attention - 3D 공간재구성 - 움직임 검출/이해 능동시각 시각 칩 눈운동기능을 갖는 능동시각 모델 Object Tracking System - 움직임 검출 칩 - 윤곽선 검출 칩 - 능동적 시각정보 획득 및 처리 - 인간과 유사한 안구운동 시스템 - 안구 운동과 대상/공간인식 경로의 관계 모델 - 능동시각 - 눈운동(saccadic) - 물체추적(tracking)

6. 최종 연구 목표 (3) 통합 시각모델 - 3D 물체검출/인식률 90% (복작한 배경, 동영상) - 얼굴검출/인식률 90% 대상 시각 기술 3D 대상인식, 3D 공간지각, 능동시각 기능이 합쳐진 통합 시각 모델 프로토타입 - 공간구조 정보 복원률 95% - 이동표적 탐지/인식률 90% 공간 시각 기술 - 3차원 안구제어 모델 - 인공 안구 (부피: 300cm3이하, 속도: 300deg/s) (3자유도 안구운동) 능동 시각 기술 -움직임 검출 칩 (256x256) -윤곽선 검출 칩 (256x256) (On chip 프로세싱으로 소형화) (속도 30fps, 수광범위 100dB 이상) 시각 칩 통합 응용 시스템 윤곽선 검출칩 움직임 검출칩 능동형 추적 시스템 -능동형 추적 응용시스템 (인간 추적 운동과 유사성 90%) 스테레오비전 시스템 물체인식 시스템 물체추적 시스템 -착용형 맹인 안내 시스템 (변위 측정 정확도 0.5 pixel) (전방 장애물 인지도 80%이상) 스테레오비젼 시스템 인식/스테레오/추적 기능을 갖춘 휴먼 로봇 시각 시스템 휴먼로봇 시각 시스템 -대상/공간/능동 시각 통합 -가사작업 및 안내 (통합된 인식기 인식률 80% 이상)

7. 연구 내용 및 추진체계 3차년도 1차년도 2차년도 3D물체 인식 모델 및 응용 기술 연구 (What pathway 모델링) 3D물체 인식 모델 및 응용 기술 개발 3D물체 인식 모델 보완 및 성능 평가 , 응용 기술 개발 대상 시각 (Object vision) 통합 시각모델 통합시각모델연구 통합시각모델 프로토타입 개발 3D 대상인식, 3D 공간지각, 능동시각 기능이 합쳐진 통합 시각 모델 프로토타입 3D공간 인지 모델 및 응용 기술 연구 (Where pathway 모델링) 3D공간 인지모델 및 응용 기술 개발 3D공간 인지 모델 보완 및 성능 평가, 응용 기술 개발 공간 시각 (Spatial vision) 능동시각 모델 및 응용 기술 연구 (능동시각모델링) 능동시각 모델 및 응용 기술 개발 능동시각 모델 보완 및 성능 평가 , 응용 기술 개발 능동 시각 (Active vision) 통합 응용 시스템 윤곽선 검출 칩 설계 윤곽선 검출 칩 개발 윤곽선 검출 칩 응용 기술 시각 칩 (Vision chip) 윤곽선 검출칩 움직임 검출칩 움직임 검출 칩 설계 움직임 검출 칩 개발 움직임 검출 칩 응용 기술 스테레오비전 시스템 물체인식 시스템 물체추적 시스템 스테레오 비젼 응용 시스템 연구 스테레오 비젼 응용 시스템 개발 스테레오 비젼 응용시스템 보완/평가 응용시스템 (Application System) 물체추적 응용 시스템 연구 물체추적 응용 시스템 개발 물체추적 응용시스템 보완/평가 인식/스테레오/추적 기능을 갖춘 휴먼 로봇 시각 시스템 휴먼 로봇용 인식 시스템 연구 휴먼 로봇용 인식 시스템 개발 휴먼 로봇용 인식시스템 보완/평가

8. 분야별 연구 내용 (요약) 1차년도 2차년도 3차년도 3D물체인식 모델 보완/평가, 응용기술 개발 - 3D 물체/얼굴 인식 신경망 모델 보완 및 응용기술 개발 - 시선이동을 통한 효율적 물체인식 시스템 - 공간시각.능동시각과 통합 - 통합 시각 모델 프로토타입 개발 3D물체인식 모델 및 응용기술 연구 - What pathway 및 얼굴인식 기제 연구 - 3D 물체인식 모델 연구 - 얼굴인식 신경망 모델 연구 - 시각피질 구조 신경망 모델 연구 - 물체 인식위한 선택적 주의 기술 연구 3D물체인식 모델 및 응용기술 개발 - What pathway 및 얼굴인식 모형 개발 - 3D 물체인식, 얼굴인식을 위한 시각피질 구조 신경망 모델 개발 - 물체 인식위한 추적 기술 개발 - 통합 시각 모델 연구 대상 시각 (Object vision) 3D공간 인지 모델 및 응용기술 개발 - Where pathway 및 공간인지 모형 개발 - 공간구조 복원 모델 개발 - 운동 탐지 모델 개발 - 주의기반 선택적 공간정보처리 모델 개발 3D공간 인지 모델 보완/평가, 응용기술 개발 - 3D 공간인지 모델 보완 및 응용기술 개발 - 운동 탐지 모델 보완 및 응용기술 개발 - 대상인식.능동시각과 통합 3D공간 인지 모델 및 응용 기술 연구 - Where pathway 및 공간인지기제 연구 - 공간구조 복원 모델 연구 - 운동 탐지 모델 연구 - 주의기반 선택적 공간정보처리 모델 연구 공간 시각 (Spatial vision) 능동시각 모델 보완/평가, 응용기술 개발 - 고속 안구 운동 제어 모델 보완 및 응용기술 개발 - 고속 운동 가능한 인공안구 개발 - 공간지각, 대상인식 기능과 통합 • 능동시각 모델 및 응용 기술 개발 • 능동적 시각정보 획득 및 처리 기술개발 • - 안구운동 신호의 시각계 통합 연구 • - 고속안구 운동의 제어 모델 개발 • - 인공안구 적용을 위한 소형 고출력Actuator 개발 • 능동시각 모델 및 응용 기술 연구 • 능동적 시각정보 획득 및 처리 연구 • 안구운동의 인지신경 기제 연구 • - 인간의 3차원적 시선이동 패턴 연구 • - 안구운동의 3차원 동역학 모델 연구 능동 시각 (Active vision) 시각 칩 (Vision chip) 윤곽선 검출 칩 설계 윤곽선 검출 칩 개발 윤곽선 검출 칩 응용 기술 움직임 검출 칩 개발 움직임 검출 칩 응용 기술 움직임 검출 칩 설계 스테레오 비젼 응용 시스템 연구 스테레오 비젼 응용 시스템 개발 스테레오 비젼 응용시스템 보완/평가 응용시스템 (Application System) 물체추적 응용 시스템 연구 물체추적 응용 시스템 개발 물체추적 응용시스템 보완/평가 휴먼 로봇용 인식 시스템 연구 휴먼 로봇용 인식 시스템 개발 휴먼 로봇용 인식시스템 보완/평가

9. 책임급: 13 명 선임급: 4 명 원 급: 54 명 기 타: 3 명 계: 74 명 인공 시각 총괄책임자: 양현승 대상 시각 공간 시각 능동 시각 시각칩 응용 시스템 양현승 김호준 이민호 방승량 김정훈 정찬섭 김민식 남종호 이일병 이춘길 방영봉 신장규 윤의식 정명진 권인소 (양현승) 책임급: 3 명 선임급: 3 명 원 급: 20 명 기 타: 3 명 계: 29 명 책임급: 4 명 선임급: 1 명 원 급: 10 명 기 타: 0 명 계: 15 명 책임급: 2 명 선임급: 0 명 원 급: 4 명 기 타: 0 명 계: 6 명 책임급: 2 명 선임급: 0 명 원 급: 7 명 기 타: 0 명 계: 9 명 책임급: 3 명 선임급: 0 명 원 급: 13 명 기 타: 0 명 계: 16 명 연구원 편성

10. 대상 시각 • 공간 시각 • 능동 시각 • 시각 칩 • 응용 시스템 분야별 연구 내용

11. 대상 시각 목표 : What pathway 기제 이해 및 이에 기반한 3차원 물체 인식 모델 및 응용기술 개발 • 3차원 물체 검출 및 인식 : 정확성 90% 이상 (1차년도 80%) • 얼굴 인식 및 검출 : 정확성 90% 이상 (1차년도 80%) • 표준영상에서 특징 추출 : 오류 10% 이내 • 추적에 의한 인식성능향상 : 성능 향상 5% 이상 1차년도 2001 • What pathway 기제 및 얼굴인식 기제 연구 • 신경망 기반의 3차원 물체인식 모델 개발 • 특징 추출 신경망 모델 개발 (색상, 형태, 위치 정보 추출 연구) • 얼굴 검출 신경망 모델 개발 • 상향식 주의에 기반한 시선결정 모델 3D 대상시각 모델 연구 2차년도 2002 3D 대상시각 모델 개발 3차년도 2003 3D 대상시각 모델 보완, 통합 및 응용 개발

12. 3차원 공간인지 (spatial vision) 전체연구와의 상호연계 대상시각 뇌 대상인식경로 이해 - what pathway mechanism - 뇌 시각정보처리 기제 이해/모델 3D 대상인식 - neural model- 대상시각 (object vision) 영상 추적 - object select- 특징 추출 및 영역 분할 - edge linking - - segmentation - 얼굴인식 - neural model- 통합 인공시각 모델/시스템 능동 시각 (active vision) 휴먼 로봇 응용시스템 응용시스템 시각칩

13. 대상시각분야내 상호연계 뇌 대상인식경로 이해 • fMRI 이용한 실증 - What pathway 메카니즘 이해 - 얼굴인식 기제의 이해 및 모델링 3D 대상인식 - 3D 대상 인식 신경망 모델 - 2D 시점 추출 및 학습 모델 특징 추출 및 영역 분할 • 정확성 90% 이상 영상 추적 - 선택적 주의집중 - 시선 이동 - 대상 추적 - 인식 성능향상 - 형태/색상 추출 - 부분 특징 결합 - 분할 영역 추출 얼굴인식 정보 선택 특징 제공 - 얼굴 검출 신경망 모델 - 얼굴 인식 신경망 모델 • 정확성 90% 이상 • 향상도 5% 이상 • 특징 누락 10% 이하 • 정확성 90% 이상 3D 물체/얼굴 인식 모델 인식 기반 응용 시스템 휴먼 로봇용 시각 인식 시스템 통합 인공 시각 시스템 프로토타입

14. IT V4 V2 V1 P M What pathway 이해 (object perception) 3차원 물체인식 얼굴 인식 IT column structure stimulus Radial frequency Receptive fields 시선 결정 특징추출/영상분할 What Pathway 기제 이해

15. [대상시각] What pathway 기제 및 얼굴인지 모형 김정훈 • 연구목표 • What pathway 이해 및 얼굴인식 기제 모형 연구 • 얼굴인식에 관여하는 what pathway의 특성 규명 • V4, IT영역 세포 반응에 최적의 시각 속성 파악 • –features defined by radial frequency • real face 인식 이전 단계의 시각표상 규명 • - synthetic faces 이용 • 1차년도 세부목표 • (1) synthetic face의 data base 구축 • (2) 다차원에서 직교하는 face hyper-cube의 완성

16. 대상시각 – What pathway 기제 및 얼굴 인지 모형 IT V4 V2 V1 P M • 연구배경 processing receptive field optimal stimuli what pathway highest level: response specificity, showing tuning for complex pattern (e.g. face) intermediate level: what information would be used and how these information would be combined for pattern (complex) recognition? non-Cartesian stimulus spatial or radial frequency? non-Fourier stimulus low level: filtering through a bank of local linear filters Fourier stimulus

17. 대상시각 – What pathway 기제 및 얼굴 인지 모형 • 연구결과 • synthetic face의 data base 구축 (68 명 완성) • 얼굴인식에 radial frequency 정보 사용 여부 실험 (92% 정확 인식률)

18. 대상시각 – What pathway 기제 및 얼굴 인지 모형 • 연구결과 • 다차원에서 직교하는 face hyper-cube의 구축 (진행 중) • radial frequency에 의해 생성된 synthetic face의 • 인식과 관련된 뇌활동 측정 • –fMRI 연구 (2차년도 기획)

19. output y A Linking connections e Q w ij . . . . . . . . . . . . . . . R P x u u u u u 1 3 N 2 N-1 Feeding connections B input [대상시각] 김호준 특징 추출 및 영상 분할을 위한 Neural Model 연구 Edge linking을 위한 신경망 모델 구현 • Feeding connection / linking connection 구조 • Lateral inhibition에 의한 non-maximum edge • suppression • - Linking connection의 작용에 의한 edge induction • Circular neighborhood을 고려한 edge induction • Edge vector의 direction과 strength를 별도로 고려 • 하는 활성화 특성 • radius를 점진적으로 감소시키는 형태로 linking • 작업을 세분화

20. Edge Linking 실험 결과 Original image(378 X252) 초기 edge 추출결과 Ns = 5 Ns = 20 Ns = 50 Ns = 100 Lateral inhibition에 의한 nonmaximum suppression 결과 Rp = 3, Ns = 50 Rp = 3, Ns = 100 Rp = 2, Ns = 50 Rp = 2, Ns = 100 Edge linking 결과

21. [대상시각] 이민호 효율적 영상인식을 위한 추적모델 • 목표 : 시선결정 및 이동 모델에 기반한 효율적 영상인식 시스템개발 • 연구내용 • 정지영상에서의 응시점 결정 및 시선이동 제어 메커니즘의 모델 개발 • 칼라 영상에서 무교사학습 방식으로 Salient 특징 추출 • 정지영상에서의 단안 안구운동 모방 시스템 개발 • 개발된 응시점 결정 모델 적용 실험 무교사 시선결정 모델(칼라영상) 시선결정 모델의 무교사 학습방식

22. 대상시각 – 영상인식을 위한 추적 모델 학습된 특징 필터 (색상 및 에지 특징)

23. 대상시각 – 영상인식을 위한 추적 모델 무교사 응시점결정 모델(칼라)에 의한 시선결정 결과 응시점결정 시스템의 동작모습 도약 안구 운동 시스템의 동작모습

24. [대상시각] 얼굴 탐지 및 인식 신경망 모델 방승량 • 연도별 연구내용 • 1차년도 : 얼굴 탐지 방법론 개발 • 2차년도 : 얼굴 인식 방법론 개발 • 3차년도 : 통합 및 응용 • 현재 1차년도 진행 중 : 얼굴 탐지 방법론 개발 • 얼굴 후보 영역 추출 : 차 영상, 피부색 모델링 이용 • 눈 탐지에 기반한 얼굴 탐지 • 눈탐지 - 조도 threshold을 이용하여 눈 후보 영역 탐지, PCA 복합모델 이용하여 검증 • 얼굴 후보 영역 중 눈이 탐지된 부분에 대해 PCA 복합 모델을 이용하여 검증 • 중간 결과 : 얼굴 탐지율 : 97.52%, False positive : 1.37%

25. 대상시각 – 얼굴 탐지 및 인식 신경망모델 • 연구결과 • 얼굴 탐지 과정 Skin Detection (차 영상과 피부색 모델 이용) Camera Eye Detection (thresholding과 PCA 복합 모델 이용) Face Detection (PCA 복합 모델 이용)

26. View-based Object Coding of IT [대상시각] 양현승 3차원 물체인식 신경망 모델 • 연구 목표 : 뇌정보처리 기반의 3차원 물체인식 모델 연구 • 다양한 3D 시점에서 본 물체의영상표현을 학습하는 신경망 모델 개발 • 최종 인식률 90% 목표 (1차년도 80%) 3D 물체인식 모델 뇌정보처리 및 이론 배경 Input Image Unsupervised Learning ( ICA, ISA, TICA ) Learn View-based object coding … Object Recognition at IT Feature map of 2D View Tuned Neurons View-tuned filters … Filter activation 2D View Recognition 3D Object Recognition [Tanaka, 96a]

27. 대상시각 – 3차원 물체 인식 모델 Training image Feature Vector Model image Learning Model DB PCA/ICA basis Test image Nearest Neighbor Classifier Model Test set PCA answer ICA answer correct PCA error correct ICA error Both error 2차원 물체 모델 학습/인식 • 동일 시점에서의 영상특징 학습 • ICA 학습 모델 구현(Simple cell 기능 학습 모델) • 학습된 특징을 이용한 대상인식 s simple cell output ( maximum Independent Coding ) A x • 2차원 얼굴 영상의 인식률(정면얼굴, 150명 대상) • PCA 모델: 90% • ICA 모델: 90% (ICA 인식모델이 인간과 유사)

28. 대상시각 – 3차원 물체 인식 모델 Complex Cell Output Basis Group Image 다양한 2차원 시점 학습/인식 3D models Training image rendering • 다양한 시점에서의 인식모델 • ISA, TICA 학습 모델 기반(Complex cell 학습 모델) • 학습모델에 기반한 3차원 물체의 시점 표현학습 • 3차원 얼굴 영상의 모델학습 • ISA 모델 : 동일한 View 를 표현하는 basis 들의 군집화 • TICA 모델 : 유사한 View 를 표현하는 basis 들의 연속배열 Basis Activation Learning View Classifier ISA basis Test image TICA basis Invariant Coding Learned ISA basis Learned TICA basis

29. 대상시각 – 3차원 물체 인식 모델 ISA filters Activation Input Temporal Association Learning t Filter Activation Subspace Activation ISA filters 향후 연구 계획 • 3D Viewpoint 분류 신경망 모델 • 동일한 Viewpoint 들에 반응하도록 학습된 ISA output 이용 • 입력영상으로부터 대상의 3차원 시점을 분류 • 3D Viewpoint Invariance 학습 모델 • 시간적으로 연속된 시각자극들은 동일한 대상의 다른 View일 가능성이 높음. • 동일한 대상의 서로 다른 View를 연속적으로 제시. • 서로 다른 View를 나타내는 표상(coding) 뉴런들 사이에동일성 여부를 학습 (Temporal Association 학습) Input WTA Viewpoint 인식 Network Model Viewpoint Invariance Learning Model

30. 공간 시각 목표 : Where pathway 기제 이해 및 그에 기반한 공간구조/변화 표상 모델 및 인식기술 개발 - 공간구조 (색/밝기, 결 구조) 복원률 95% - 이동 표적 탐지 및 인식률 90% - 선택적 주의기제에 의한 공간정보처리 능률 개선 25% 1차년도 2001 • 공간구조분석을 위한 영상 전처리 연구 (색/밝기 복원, 결 속성) • 깊이, 운동 정보 표상 원리 규명 • 공간주의기제 특성 분석 • 색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성 방법 연구. 공간구조/변화 표상 원리 분석 2차년도 2002 공간구조/변화 표상 모델 개발 3차년도 2003 공간시각 모듈 보완/ 통합 및 응용 시스템개발

31. 전체연구와의 상호연계 인공시각시스템 능동 시각 모델 인공 안구 시스템 윤곽선 추출 시각칩 인간 안구 운동 이해 안구 운동 신호의 시각계 통합 윤곽선 검출 회로 및 칩 설계 시각칩의 집적화 연구 공간 시각 모델 Where pathway 이해 대상 시각 모델 What pathway 이해 2차원 대표 시점 추출 3차원 물체 인식 신경망 색/ 밝기 복원 원리 규명 운동/깊이 표상 원리 규명

32. 뇌 영 상 기 법 및 신 경 심 리 학 적 접 근 정 신 물 리 학 및 모 델 링 접 근 공간분석을 위한 영상 전처리 밝기, 색, 대비 공간표상 정보속성 분석 및 특징 추론 결변화, 운동, 깊이, 위치 공간적 주의 기제 선택, 결합, 전이 삼차원 공간처리 모형 및 인식 시스템 개발 공간시각 분야 내 상호연계

33. Where pathway 이해 3차원 공간인지 모형개발 공간주의 및 응용 모형개발 공간적주의 모형 개발 표면결, 깊이, 운동정보를 통한 3차원 공간인지 정신 물리 연구 cone 다중 공간표상의 특성 규명 SAC 표면 결 지각 모형 MST,VIP 주파수 분석 결지각 요인분석 RDS 공간적 주의 모형개발 global stereopsis 깊이정보 통합 모형 adaptation MT R G B 3D 공간표상에서의 공간적 정보 선택 local stereopsis 양안부등 retinex 운동정보 통합 모형 시-공간변화 1st & 2nd-order motion V2 색상정보에 의한 주의기반 공간특징요소의 국소 결합, 구성원리 연구 V1 LGN 운동 정보를 이용한 이동물체 탐지모형개발 Retina 공간인지의 응용 모형개발 영상 전처리-recovery of surface reflectance

34. Color Recovery System OC L R, G, B PQ>.005? C IR PSC CM [공간시각] 정찬섭 Surface reflectance, depth, & motion modules PQ : Proportion of equi_max in three channels IR : Intra-Channel Ratio-Scale, L : Luminance PSC : Proportion of Surface Color for each channel C : Recovered color, OC : Overflow Controller CM : Contrast Manipulator

35. 연구결과: System Demonstration 1. Demo with simulated illumination Original Recovered simulated 2. Demo with movie scenes

36. [공간시각] 남종호 공간 표면 결 연구 1차 및 2차 결속성에 따른 결 분리와 공간분석기의 역할 1차 결 속성에 의한 분리 2차 결 속성에 의한 분리 결 분리 영역을 공간 빈도에 따라 구성할 경우, 각 속성에 의한 결 분리량의 변화 측정 정신물리학 실험 자료 저빈도 고빈도

37. 각 결속성과 결합된 공간분석기의 상호 독립성 연구 CS function before Selective Adaptation Selective Adaptation CS function after Selective Adaptation Selective Adaptation Measuring Segregation thresholds 독립 의존

38. 다중 공간표상의 특성 규명 작업기억과 주의의 관계 • 작업기억의 어떤 특성이 주의의 유도를 이끌어 내는가? • 작업기억에 저장되어 있거나 이용되고 있는 정보가 동일한 정보로 주의를 이끄는 경우와 그렇지 못한 경우를 비교. • 시각 정보처리 단계에 따른 다양한 공간표상의 유형과 특성을 규명. • 공간정보의 저장 양식 및 시각적 작업 기억과 시각적 주의와의 관련성 규명. • 중다 대상의 공간적 배열에 대한 공간구조표상 이해. 작업기억과 시각탐색의 효율 • 작업기억에서의 정보의 유지,조작이 선택적 주의가 요구되는 시각탐색의 효율에 영향을 주는가? 공간주의 기전 연구 공간정보에 기초한 선택적 주의 과정 • 공간적 정보에 기초한 선택적 주의 과정 연구. • 각 공간표상 유형에 따른 인간의 효율적인 정보선택과정 이해. • 선택적 주의 과정을 현실세계와 근접한 조건에서 연구하기 위하여 시각 탐색과제에 배경을 부여 • 과제 수행과 무관한 배경정보는 시각 탐색에서 표적자극의 탐색에 영향을 미칠 것인가? [공간시각] 김민식 공간적 주의모형의 개발과 적용 정신 물리학적/ 신경 심리학적 접근 공간적 주의 기제 이해 및 모형 개발

39. 3씩 빼나가는 역행숫자세기과제 수행 257 + + + + + + u u u + + + + + + + + + + u u u + + + + + + + + + + + + u u u u u u u u u + + + + + 지금의 숫자를 기록하세요 • 연구결과 작업기억과 주의의 관계 작업기억과 시각탐색의 효율 공간정보에 기초한 선택적 주의 과정 • 작업 기억에 저장된 정보에 대한 탐사 반응 시간이 그렇지 않은 자극에 비해 유의미하게 빠름. • 기억해야 하는 자극의 표상이 이미 형성되어 있거나, 공고화를 위한 노력이 필요 없는 경우에는 반응시간의 차이 유의미하지 않음. • 시각 정보 처리 방법의 차이에 따른 주의의 할당 차이 시사. • 시각정보의 효율적인 학습을 위한 인간의 처리 양식을 살펴볼 수 있는 기초자료 제시. • 맥락과 배경정보가 모두 동일한 조건은 맥락과 배경정보 중 어느 한쪽이 다른 경우보다 유의미하게 탐색수행률이 좋음. • 시각 탐색 자극이 동일한 공간적 위치에 제시되었더라도 자극이 제시되는 배경이 변화하면 표적자극 탐색을 위한 효율이 떨어짐. • 맥락단서효과에서 배경이 표적자극의 탐색에 영향을 줌. • 작업기억 내에서 정보를 계속해서 조작하고 있어야 하는 경우의 탐색 기울기는 단독 시각탐색과제 때와 비교하여 유의미한 증가를 보임. • 작업기억 과정이 시각 탐색의 효율에 영향을 줌을 시사.

40. [공간시각] 이일병 색상/움직임을 이용한 선택적 공간정보처리 모형 연구 • 1차년도 연구목표 : • 색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성 색상정보에 의한 주의기반 공간특징요소의 국소적인 결합, 구성방법 인간 및 기계에서의 선택적 공간 정보처리 메커니즘 이해 • 신경생리학 및 해부학 문헌 활용. • 세미나 및 논문을 이용한 기존의 선택적 공간정보처리 메커니즘 조사. • 시각계의 선택적주의 메커니즘 조사 및 이해. • 선택적 주의에 관련된 상향식 방 법과 하향식 방법에 대한 기존 연 구 방법 분석. • 주의 메커니즘에 기반하여 탐지하 고자 하는 영역의 기본 공간특징요 소 추출 방법 연구. • 색상정보 및 그레이 명암도 등 상 향지식을 사용한 공간특징요소의 추출 및 조합 방법연구.

41. 기존의 선택적 공간 정보처리 메커니즘 이해 • Visual Attention Methods • Bottom-up(data-driven) Approach • 영상 전체에 걸쳐 분포되어 있는 다양한 기본 특징과도 같은 bottom-up cue를 사용하여 관심 영역을 추출 • 인간의 시각적 주의에 대해 알려진 대부분의 것들은 모두 bottom-up cue에 의한 것들임 • 주어진 작업에 대한 어떠한 선지식도 사용하지 않기 때문에, 시스템 구조의 큰 변경없이 다양한 응용분야에 적용 가능 • Top-down(model-driven) Approach • 수행하는 작업, 찾고자 하는 물체 등의 이미 알고 있는 top-down cue를 사용하여 관심 영역을 추출 • 대부분 빠른 “pattern matching” 모듈 같은 역할 수행 • 인식단계와의 부분적인 상호작용과 학습과정을 필요로 함 • 다른 문제에 적용하기 어려움 • Bottom-up Attention Models - Koch와 Ullman의 모형 • 인간의 시각적 주의에 대한 최초의 계산 모형 • ‘Saliency Map’ 개념 사용 • 이후의 많은 모형들은 모두 Treisman의 특징 모듈들에 해당하는 특징맵을 계산하는 단계와 이들을 조합한 결과로 돌출맵(saliency map)이나 우선순위망을 계산하는 단계 가짐 • 차이점 : 초기 시각형태인 특징맵과 돌출맵을 만들어내는 메커니즘

42. 색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성 방법 제안 RGB Image 특징추출모듈  특징추출모듈 : 색상 및 명암도 밝기과도 같 은 기본 특징 요소들을 표현하는 3개의 맵을 정의, 특징들은 병렬적으로 추출된다.  중요도추출모듈 : 특징추출모듈에 의해 생성 된 여러 특징맵을 중요도맵으로 변환시키는 역할을 수행하는데, 중요도맵은 각각의 특징 맵에 있어 해당 특징맵을 구성하고 있는 특정 한 지점에서의 특징값이 국부적인 영역에 있 어서 중요도가 어떠한가를 나타내는 중요도 측정치에 대한 정보를 가진다.  특징조합모듈 : 중요도추출모듈에 의해 생성 된 각각의 중요도맵에 대해 각 맵을 구성하고 있는 특징값들의 공간 경쟁력 특성과 이들의 통계적 정보를 바탕으로 특징을 조합하여 돌출맵을 만든다. 이 돌출맵은 입력된 영상정 보에 대해 어떤 영역이 돌출되어 있는지에 대한 정보를 가지고 있다. F1 F2 F3 DOOrG 필터를 이용한 측면억제에 의한 결합방식 모방 중요도추출모듈 I1 I2 I3 특징의 국부 경쟁력 특성과 통계적 정보를 바탕으로 한 반복적인 비선형 특징조합 IT1 IT2 IT3 선형 조합 S 특징조합모듈

43. 능동 시각 목표 : 인간 3차원 안구운동을 모방하는 인공안구 개발과 안구 운동신호의 시각계 통합에 따른 시각기능의 조절 연구 - 체적 300 ㎤, 속도 300deg/s 사양의 3차원 안구운동기구 개발 - 3차원 안구 운동과 시각 신경계의 상호작용 이해 1차년도 2001 • 동역학 모델링을 위한 인간의 3차원 안구위치 측정 • 인간의 3차원적 시선 이동 패턴의 이해 • 인체 안구 시스템의 동역학적 모델링 • 고속 안구운동에 따른 시각의 역동적 조절 인간 안구 시스템의 인지신경 기전 및 3차원 동역학적 모델 개발 2차년도 2002 안구운동에 따른 시각 신경계의 역동적 조절과정 연구와 소형 고출력 actuator 개발 3차년도 2003 3차원 인공안구의 개발 및 신경신호에 의한 제어 연구

44. 전체연구와의 상호연계 뇌 시각정보처리 기제 이해/모델 인간의 3차원적 시선이동 패턴 이해 3차원 안구측정 프레임 제작 능동시각 (active vision) 안구운동의 3차원 동역학 모델 연구 안구운동 시뮬레이션 도약 안구운동 직후에 관찰되는 운동지각에 있어서의 왜곡 안구운동의 인지신경 기제 연구 운동 정보를 이용한 이동물체 탐지모형개발 통합 인공시각 모델/시스템 3차원 공간인지 (spatial vision) 3차원 대상시각 (object vision) 응용시스템 능동형 추적 응용 시스템 시각칩

45. 3차원 안구운동의 이동패턴 연구 -안구의 3차원적 위치 측정 -안구운동에 따른 시선이동패턴 연구 신경생리적 연구 -시각 피질로 유입되는 안구 운동 관련 신호 측정 정신물리적 연구 -운동 지각 및 형태 지각에 미치는 안구 운동의 영향 능동시각 분야내 상호연계 시각계 유입 안구 신호의 기능 연구 인간 안구 시스템 모델링 Actuator 개발 안구 제어 신경신호 추출 신경모방 신호에 의한 3차원 안구운동 기구의 확립 3차원 인공 안구의 개발

46. y x L [능동시각] 방영봉 시신경신호에 기반한 안구운동기구 개발 연구 배경 및 연구내용 실제 안구를 모델로 한 안구운동 시뮬레이션 안구의 직경: 23.5mm 구 무게 : 0.007kg 외직근의 길이 : 40mm 상사근길이 : 안구에서 trochlea : 28mm trochlea 에서 zinn : 32mm 하사근의 길이 : 37 mm 스크린 까지 거리 : L 안구운동 시뮬레이터 개발 인간의 안구는 3자유도를 가지고 움직임. -안구의 회전과 안근육의 움직임을 표현하는 모델이 필요 -3자유도를 갖는 시뮬레이터 요구 시뮬레이터의 제작 -회전식 모터의 사용 실제 안구의 구조와 상이함 시스템이 커짐 -리니어 모터의 사용

47. Controller Position & Velocity Feedback • 안구 운동 시뮬레이션 결과 • 스크린까지 거리: L = 50cm • 물체 이동: 45˚로 상하 10cm • Helmholtz model을 사용 • 현재의 연구 방향 • Helmholtz model에 따른 회전식 안구모형 • 컴퓨터를 이용하여 제어 수행 안구의 회전 • 2차년도 이후 연구 방향 • 소형 고출력 리니어 모터를 이용한 • 안구 모델 개발 • 전용 소형 제어기 개발 Motor Amp Controller 근육 길이의 변화 Miro-processor Cntroller Position & Velocity Feedback

48. Visual Perception Retinal Afference Visual Cortex Attention Eye Movement Command Motivation Memory Vision: Active Process [능동시각] 이춘길 3차원 안구운동과 시각신경계의 상호작용 이해 연구 배경 • 능동적 과정으로서의 시각 • 안구 운동 신호와 시지각 사이의 관계 • 안구 운동 관련 신경신호 • -Afference signal • -Efference copy • 3차원 안구운동에 대한 모델 • 신경생리적 결과에 기초한 3차원 안구운동 생성 모델 • 안구 운동 신호의 시각신경계 유입 가능성

49. Park, Lee & Lee (2001) Vision Research No Saccade After Leftward After Rightward 시각계 유입 안구운동 신호의 기능 연구 (1) 연구 내용 및 결과 도약 안구 운동 직후에 관찰되는 운동 지각에 있어서의 왜곡 -고속의 안구운동은 시각에 영향 -안구운동 전후에 시각의 역동적 조절 -이의 실험적 규명 도약 안구 운동 종료 직후 운동자극 (200deg/s, 1000deg/s)에 대한 방향판단 -최초로 지각적 왜곡 발견 안구의 3차원적 위치 측정 안구의 수직, 수평, 비틀림 위치 측정 안구운동에 따른 시선이동 패턴 연구 현 진행상황 안구의 3차원적 위치 측정을 위한 측정 장치의 제작 -Helmholz coil을 이용한 3차원 자기장 발생 프레임 제작. 완료 -3차원 위상탐지회로 제작. 완료 -안구 신호 채집을 위한 컴퓨터 인터 페이스 제작1(하드웨어 제작). 진행중 -안구운동 유도 위한 자극 생성장치 제작. 진행중 앞으로의 과제 안구 운동 유도 장치 및 안구 운동 신호 채집을 위한 컴퓨터 인터페이스 제작2 (소프트웨어의 개발) 3차원 시선이동 측정과 패턴 연구 능동시각: 안구-시각 상호작용 연구

50. 시각 칩 목표 : 윤곽선 검출 시각 칩 개발 (256*256), 움직임 검출 시각 칩 개발 (256*256) • 256*256 윤곽선 검출 시각 칩 (저전력, 광적응, 국소적응 개념 도입, 응용기술 개발) • 256*256 움직임 검출 시각 칩 (이동 물체 탐지 및 추적 용도, 응용기술 개발) • 효율적 수광소자의 설계 • 광적응, 국소적응 회로의 설계 • 주변회로의 집적화 • 최소전력소비에 대한 연구 • 현 집적회로 기술상 문제분석 • 영상센서 설계 및 구현 - 256 x 256 이상의 Array 1차년도 2001 윤곽선 검출 시각 칩 설계 움직임 검출 시각 칩 개발 2차년도 2002 윤곽선 검출 시각 칩 제조 및 평가 움직임 검출기능 구현 3차년도 2003 윤곽선 검출 칩 응용기술 개발 움직임 검출 칩 응용기술 개발