뇌정보처리에 기반한 인공시각 연구

뇌정보처리에 기반한 인공시각 연구 양현승 KAIST 전자전산학과, 뇌과학센터

2차년도 연구 목표 뇌시각의 정보처리원리 이해 뇌시각의 정보처리 모델 연구/개발 시각칩 및 응용시스템 설계 1차년도 뇌시각의 정보처리원리 이해 뇌시각 정보처리 모델 개발 시각칩 및 응용시스템 구현 2차년도 뇌시각정보처리 모델의 통합 개발된 모델의 응용기술 연구 시각칩 및 응용시스템 완성 3차년도

인공시각 연구 2차년도 계획 응용시스템 대상시각 - What path 규명위한 fMRI 실험 - What path 기제 모델 신경망 완성 * 하향식 시선결정 * 특징 추출기반 영역 분할 * 얼굴 검출/인식 통합 * 시점불변 3D 대상인식 3차원 대상인식 신경망 모델 휴먼로봇 인식 시스템개발 특징추출 안구운동 - 물체 검출/인식 - 얼굴 검출/인식 명암 / 에지 색상 공간시각 움직임 / 깊이 3D 공간인지모델 - Where path 기제 규명 진행 * 공간 표상 * 색상 복원, 결정보 분석 * 공간 주의 - Where path 운동물체 탐지모델 완성 스테레오 시각응용 시스템개발 Saccade & Vergence - 3D 공간의 인지 - 움직임 검출/이해 능동시각 시각 칩 눈운동 조절하는 능동시각 모델 능동형 물체추적 시스템개발 - 움직임 칩 제조 • 윤곽선 칩 제조 (256x256) - 안구 운동과 시각인지의 관계 규명 진행 * 3D 안구위치 측정기 이용 정신물리 실험 - 안구운동기구용 소형 고출력 Actuator개발 - 인지신경 기제 - 인공안구 시스템

2차년도 연구 : 대상 시각 목표 : What pathway 대상인식 기제 이해 및 3차원 대상인식 모델 완성 및 응용기술 개발 • 3차원 물체 검출 및 인식 : 정확성 90% 이상 (1차년도 80%) • 얼굴 인식 및 검출 : 정확성 90% 이상 (1차년도 80%) • 표준영상에서 특징 추출 : 오류 15% 이내 • 추적에 의한 인식성능향상 : 성능 향상 5% 이상 1차년도 2002 3D 대상시각 모델 연구 • What pathway 및 얼굴인식 기제 규명 (fMRI실험) • 상향식 주의 기반 시선결정 모델 • 영역분할 신경망 개발 • 얼굴 검출/인식 통합 신경망 개발 • 3차원 대상인식 신경망 개발 2차년도 2001 3D 대상시각 모델 개발 3차년도 2003 3D 대상시각 모델 보완, 통합 및 응용 개발

2차년도 연구범위 얼굴 검출 모델 얼굴 인식 모델 통합 얼굴 검출/인식 시스템 IT 하향식 시선결정 V4 합성얼굴자극, Hyper-cube V2 특징정보 활용 영상 분할 신경망 개발 (80명) V1 fMRI 측정실험 (V4, IT 활동) 이동물체 추적모델 P M 대상인식 기제규명 What pathway 기제 (대상 인식) 3차원 대상인식 (5) 얼굴 검출/인식 (4) 3D 대상의 시점기반표현 Invariance Learning  통합 인식율 90% 3D 대상인식 신경망  인식률 90%  특징복원율 90% 유사도 90% 특징추출 (2) 시선 결정 (3) What Pathway 기제 이해 (1)

fMRI 측정실험 (V4, IT 규명) 합성얼굴자극, Hyper-cube (80명) [대상시각] What pathway 기제 및 얼굴인식 모형 김정훈 • 목표 및 연구 내용 • 최종 목표 : What pathway 이해 및 얼굴인식 기제 모형 연구 • 얼굴인식에 관여하는 what pathway의 특성 규명 • 당해 목표 : Radial frequency에 의해 생성된 synthetic face의 인식과 관련된 뇌활동 측정 – fMRI 연구 • V4, IT영역 세포 반응에 최적의 시각 속성 파악 - features defined by radial frequency • real face 인식 이전 단계의 시각표상 규명 - synthetic faces 이용 합성얼굴자극 V4, IT 영역 세포 반응 측정(fMRI)

IT V4 V2 V1 P M • 연구배경 processing receptive field optimal stimuli what pathway highest level: response specificity, showing tuning for complex pattern (e.g. face) intermediate level: what information would be used and how these information would be combined for pattern (complex) recognition? non-Cartesian stimulus spatial or radial frequency? non-Fourier stimulus low level: filtering through a bank of local linear filters Fourier stimulus

+ • 연구결과 (1) Radial frequency에 의해 생성된 synthetic face의 인식과 관련된 뇌활동 측정 – fMRI 연구 synthetic faces 생성 face의 인식과 관련된 뇌활동 측정 Fixation Cross (Fix) Real Face (RF) Synthetic Face (SF) 18 sec 18 sec Fix 18 sec SF RF Fix Fix Fix

연구결과 (2) • 얼굴인식과 관련된 시각영역에서의 뇌활동 사진얼굴과 합성얼굴자극에의 뇌활동은 Primary Visual Area와 Fusiform Face Area (FFA)에서 관찰됨

VS VS VS VS VS VS • 연구결과 (3) • 얼굴인식과 관련된 시각영역에서의 뇌활동 • 향후 연구계획 RF-SF: red, SF-RF: green, uncorrected p<0.001, voxel = 10 사진얼굴과 합성얼굴자극에의 뇌활동 차이는 Primary Visual Area와 V4v 영역에서 관찰됨 (FFA에서는 관찰되지 않음) radial frequency정보가 real face인식의 이전 단계에서 중요한 역할을 함을 시사 noise가 첨가된 synthetic face에 대한 V4v, FFA활동 측정 - 사진얼굴과 synthetic face의 대응 연구 회전, 축척된 synthetic face에 대한 V4v, FFA활동 측정 - 사진얼굴과 synthetic face의 대응 연구

하향식 시선결정 하향식 시선결정 하향식시선결정 ∑ intention knowledge experience 얼굴검출 이동물체 추적모델 [대상시각] 이민호 효율적 영상인식을 위한 추적모델 • 목표 및 연구내용 • 최종 목표 : 시선결정 및 이동 모델에 기반한 효율적 영상인식 시스템개발 • 당해 목표 : 하향식 시선결정 모델 이용한 이동물체 추적모델 개발 • Bottom-up 시선결정 및 시선이동 통합 모델 개발 • 통합 모델 기반 능동시각 시스템 구현 • Saliency map 기반의 얼굴 검출 • Top-down 방식에 의한 객체검출시스템

Smooth Pursuit MotionDetection MT Cell MST Cell Natural scene WTA & SOFM Tachometer Feedback Controller OpticalFlow Pursuit Saliencymap Fixation If~then CCD camera Saliency map model Don’t Move Saccades SuperiorColliculus Brain Stem &Motor Neuron Visual Cortex I E Sym C Modified LVQ RecurrentNeural Network SOFM RS232C Motor driving circuit DSP Saccades PWM[0..4] + D[0..8] PWM generator Motor Driver LMD18200 DC motor DIR[0..4] A[0..4] - Saliency map Scan path D[0..10] sensor (encoder) counter Ch A, Ch B A[0..8] • Bottom-up 시선결정 및 시선이동 통합 모델 개발 • 통합 모델 기반 능동시각 시스템 구현 5축 비전 시스템

I CSD & N I MLP T FaceRegion + E E O - Sym RG Sym BY C T-O Saliency map Face Region Learning MLP 이진화 • Saliency map 기반의 얼굴 검출 • Feature map: Intensity, Edge, Symmetry, Color • Face detection by neural network learning • Simulation

Top-down 방식에 의한 객체검출시스템 • ICA를 이용한 방향 검출 연산자의 생성 • 입력 영상의 컨투어 검출 방법 - 인접 픽셀에서의 유사한 방향검출연산자의 반응을 조사 • 객체정보의 입력 • 방향, 크기 변화에 강건한 객체 검출 방법 - 입력된 객체의 컨투어 정보와 유사한 상관관계를 가지는 컨투어 집합의 검출 결과 1 결과 2 입력영상 컨투어 객체검출 컨투어 입력영상 객체정보 객체검출

특징 추출/영상 분할을 위한 Neural Model 연구 [대상시각] 김호준 • 목표 및 연구내용 • 특징 추출 및 개선(enhancement)을 위한 신경망 모델 과 영상 분할(image segmentation) 신경망 기법 개발 • What pathway 에서 일어나는 영역 분할 기능을 모델링 • 에지추출과 영역분할을 위한 신경망 모델의 개발 및 구현 • 에지 및 영역분할 정보의 상호 활용을 통한 성능 개선 에지 추출 신경망 모델 연구 영상분할 신경망 모델 연구 에지추출 기법 초기 분할 추출 Gabor Filter를 사용한 초기 에지 추출 기법 구현 SOFM 기반의 비교사 (Unsupervised) 분할 기법 에지 개선 신경망 영상 분할 신경망 Recurrent 신경망의 측방향 억제신호를 이용한 노이즈 제거 효과 3차원 연결구조의 CSNN을 이용한 영상분할 에지 복원 신경망 에지정보 통합 기법 원형이웃 연결구조특성으 로부터 왜곡특징의 수정 및 누락특징의 복원효과 에지정보를 상호 활용하여 분항 성능을 향상

w ij . . . . . . . . . . . . . . . u u u u u 1 3 N 2 N-1 Aiijk output Linking connections  Uijk Hiijk Oijk f Feeding connections input 특징 추출 및 개선을 위한 신경망 모델 하위 시각피질(Visual cortex)의 특징 추출/복원 모델 연구 - Gabor Filter를 통한 초기 에지 추출 - 두가지 유형의 시냅스구조를 갖는 Recurrent 신경망 개발 - Lateral inhibition/excitation 효과에 의한 특징복원 기능 특징추출 신경망의 구조 영상분할을 위한 신경망 모델 연구 수정된 CSNN(Constraint Satisfaction Neural Network) 기반의 영상분할 기법 개발 • SOFM(Self-Organized Feature Map)을 이용한 초기 분할 생성 기법 - Segmentation을 위한 3차원 형태의 연결 구조 • Self-feedback과 3차원 neighborhood을 고려한 활성화 특성 영상분할 신경망의 구조

주요 결과 특징추출 신경망 에지 추출 및 복원을 위한 Recurrent 신경망 모델 개발 Gabor Filter를 사용한 초기 에지 추출 기법 구현 수정된 CNN 기반의 에지 개선 신경망 기법 구현 영상분할 신경망 SOFM 기반의 비교사(unsupervised) 영상분할 기법 구현 3차원 연결 구조의 CSNN을 이용한 영상 분할 기법 구현 에지 정보와의 상호 결합을 통한 분할 성능의 개선

Training image Feature Vector Model image Learning Model DB PCA/LDA basis Test image Classifier [대상시각] 방승양 얼굴 탐지 및 인식 신경망 모델 • 연구 목표 • 최종 목표 : 얼굴 검출/인식 신경망 개발 • 당해 목표 : 얼굴 인식 방법론 개발 • PCA, PCA 복합 모델, LDA, LDA 복합 모델 분석 및 비교 • LDA 복합 모델의 성능이 가장 우수 (중간결과) • Test error : 12.78% 대상 형태 정보의 학습원리 PCA 기반 얼굴 검출 모델 PCA / LDA 기반 얼굴 인식 모델 얼굴인식 모델 얼굴 검출/인식

중간 결과 • Feature 수 35개 미만 : PCA 복합 모델 성능 우수 • Feature 수 35개 이상 : LDA 복합 모델 성능 우수 Test Set Example Classification errors vs. the number of features

중간결과 • 학습 모델간 인식률 비교 • 향후 연구 계획 • 목표 : 얼굴 인식율 90% 이상 • 전략 • 보다 나은 알고리즘 조사, 분석 및 개발 • 보다 큰 얼굴 데이터베이스를 이용하여 성능 평가 • 문제점 보완 개선 Table1. The best performance and the corresponding number of features

입력 영상 자율 학습 원리 (ISA) 2D 시점기반 3D 표상 3D 시점 분류/인식 대표시점 연상/예측 3D 대상인식 3D 대상인식 모형 [대상시각] 양현승 3차원 대상인식 신경망 모델 • 목표 및 연구 내용 • 최종: 3D 대상 인식을 위한 신경망 모델 개발 (인식율 90 % 목표) • 당해: 3D 시점에 무관한 대상인식을 위한 Invariance 학습원리 개발 • 한 대상의 다른시점에서 본 영상들 사이에 Invariance 관계 학습 • 입력 영상의 시점에 무관한 대상인식 모델로 개발 Input image Learned basis Activation 시점 인식망 정면시점 예측 원본 영상

Learned ISA filters Activation Input 2D View based 3D object representation IT 뉴런 군집 특성 • 배경 및 기존 결과 • IT 시각계의 정보처리 기제 • 대상시각계 상위 IT에서 특정 2D시점에 적응된 뉴런들의 군집구조 관찰 • 자율학습 원리를 적용한 시점기반 표현의 학습 • 다양한 3D 시점에서 본 물체의 표상을 학습하는 신경망 모델 개발 • 뇌시각계 자율구조화 원리인 ISA(independent subspace analysis)적용 자기 구조화 (unsupervised learning) 3D models rendering 학습용 이미지 set IT 특징맵의 구조(모델)

시점기반 표현을 이용한 3D Viewpoint Classification 모델 개발 • 시점기반 표상의 Activation 이용 시점인식 단층 신경망 모델 개발 • Viewpoint 인식 인식율 90% 달성 • 21개 viewpoint (15간격, 상하3 x 좌우7 단계)로 분류/인식 • 교사학습 적용 : View classification 신경망 학습/검증학습용 set 3000 image, 검증용 set 3000 (289 error / 2953 test image) 입력 영상 2D 시점기반 3D 표상 V(i,j) WTA 3D 시점 분류/인식 시점분류오차 빈도 (log scale) - 틀린 경우에도 근접한 답을 고름- Viewpoint Classification 신경망 모델

입력 예측 원본 입력 영상 2D 시점기반 3D 표상 대표 시점 연상/예측 예측 결과 (30좌측영상) • 시점기반 표현을 이용한 3D Viewpoint Invariance 학습 모델 개발 • 다양한 3D 시점의 영상으로부터 대표 시점 영상을 연상/예측 • 입력된 측면 얼굴 영상으로부터 정면 얼굴 영상 유추 • 동일인의 서로다른 영상 activation 사이의 temporal association 학습 기반 • 시점 연상/예측 신경망 학습 및 결과 검증 • 교사학습 적용 : Training set 240 image로 학습후, Test set 50 image 검증 • 15 좌측->정면 예측 시 : correlation 유사도 평균 0.83, SNR 평균 10.25dB • 30 좌측->정면 예측 시 : correlation 유사도 평균 0.73, SNR 평균 4.5dB • 45 좌측->정면 예측 시 : correlation 유사도 평균 0.64, SNR 평균 1.4dB 자율학습된 시점기반표상 Activation Input Temporal Association Learning t Wij(k,l) 3D 대상인식을 위한 Invariance 학습 신경망

응용 시스템 목표 : 뇌 시각 기술에 기반한 응용 시스템 개발 • 능동형 물체 추적 시스템 : 물체를 추적 / 인지하고 인간과 유사하게 감성표현하는 시각 응용 시스템 ( 6자유도 Head/Eye 시스템) • 스테레오시각 응용시스템 : 양안 시각을 이용하여 3차원 정보를 안내 하는 착용형 시각 안내 시스템 개발 (변위 추정 오차 0.5 pixel 이내, 맹인 안내 데모) • 휴먼 로봇용 인식시스템 : 휴먼로봇에 탑제될 뇌공학 기반 시각인식기술 통합 (가사 및 안내 데모) 1차년도 2001 • 능동형 물체 추적 시스템의 기구부/제어부 구현 (1차년도 설계기반) • 스테레오시각 응용시스템의 알고리즘 구현 (변위추정, 장애물 검출, 전방환경 인식) • 휴먼로봇 응용을 위해 개발된 인공시각 인식기술을 시스템으로 통합/구현 응용 시스템 연구 2차년도 2002 응용 시스템 개발 3차년도 2003 응용 시스템 보완/통합

능동형 물체 추적 응용시스템 • 기구부 및 제어기 제작 • 능동 시각 시스템의 기구부 및 구동부 제작 • 능동 시각 시스템의 제어기 제작 능동형 물체 추적 시스템 구조 • 스테레오 비젼 응용시스템 • 변위추정기술 개발 • 장애물 검출 및 회피 • 전방환경 식별 스테레오 응용시스템 구조 • 휴먼로봇 인식통합 응용시스템 • 시각인식(얼굴인식)통합 및 성능개선 • 휴먼로봇 응용을 위한 시각인식통합 • 인식통합시스템의 안정화 및 성능개선 휴먼로봇 인식통합 응용 시나리오

능동형 추적 응용 시스템 • 능동형 물체 추적 응용시스템 • 전체 연구 내용 • 세부 연구 결과 • 능동 시각 시스템의 기구부 및 구동부 디자인 • 시스템의 기구부 제작 진행 중 • 능동 시각 시스템의 피부에 해당하는 외형 디자인 • 외형 제작 진행 중 • 능동 시각 시스템의 제어기 제작 중 연구 개발 내용 및 범위 연구 개발 목표 • 능동 시각 시스템의 기구부 및 구동부 제작 • 능동 시각 시스템의 제어기 제작 능동 시각 시스템 의 기구부 및 제어기 제작

능동 시각 시스템의 기구부 및 구동부 제작 • 능동형 물체 추적 시스템 기구부 및 구동부 디자인 능동형 물체 추적 시스템 구조

능동 시각 시스템의 기구부 및 구동부 제작 • 능동형 물체 추적 시스템 외형 디자인 능동형 물체 추적 시스템 외형

스테레오 비전 응용시스템/양안 변위 추정 • 목표 및 연구내용 • 정합에 적합한 특징영역에서 얻어진 양안 변위의 전파 • 인간 시각의 양안 변위 변화(Disparity Discontinuity) 영역 탐지 과정탐구 • 다중 양안 변위 가능 영역(Multiple Match)에서의 효과적인 양안 변위 결정 방법의 구현 • 에지와 양안 순서 불변(Ordering Constraint)을 이용한 양안 변위 전파 상향식 주의 집중으로부터 추정한 인간 시각의 양안 변위 추정 특징영역으로부터의 양안 변위 전파 특징영역추출 정합에 적합한 영역의 검출 스테레오 영상 양안 변위 양안 변위 확산 특징 영역 변위 추정 에지, 양안 순서 불변 영역 상호간의 유사도 특징 영역 변위 전파 단일 양안 변위 부여 단안 영역 내에서의 협력 및 배척 인간 시각과 유사한 계산적 방법의 구현

특징 영역의 정합 양쪽의 에지 내에서 양안변위 확산 (Rule based) 양안 변위 지지, 억제 영역 양안 순서 불변 조건 새로운 양안 변위 양안 변위의 추출에 적합한 특징영역 같은 모양의 반복으로 정합이 어려운 영역 (Repeated Texture) 비교할 만한 특징적인 모양이 없는 영역 (Homogeneous Region) 주변에 같은 모양이 없는 정합에 적합한 영역 (Distinctive Region) 양안 변위의 확산 초기의 특징영역 에지 영상 확산된 양안 변위

주요 결과 Disparity Propagation Ground Truth Gray Scale : 양안 변위 Red : 양안 변위를 구하지 않은 pixel

휴먼 로봇용 통합인식 시스템 • 목표 : 뇌공학 기반 인식시스템의 휴먼로봇응용을 위한 인식시스템 설계 및 개발 - 휴먼로봇 응용을 위한 인식통합시스템 개발 - 뇌공학 기반 얼굴인식기의 통합 및 응용 • 연구내용 - 휴먼로봇 응용을 위한 시각인식통합 - 인식통합시스템의 안정화 및 성능개선 • 인식통합시스템 입력 영상 얼굴부분 추출 부분특징 추출 (눈,코,입,..) 뇌공학 기반 얼굴 인식기술 인식결과 얼굴DB 휴먼 로봇용 인식 시스템 구조

주요 결과 • 휴먼로봇 응용을 위한 시각인식 통합 - 휴먼로봇 탑제용 얼굴 검출기 개발 및 검출영상의 정규화 - 뇌공학 기반 얼굴인식기술 통합 및 안정화 : 통합 및 성능향상 진행중 • 인식통합시스템 검출된 얼굴영상 예제 뇌공학 기반 얼굴인식기 휴먼로봇 응용

시각인식(얼굴인식)통합 및 성능개선을 통한 응용 • 가정 원격 감시 및 침입자 탐지 • HRI 인터페이스 개선 및 로봇 사용자 인증, 사용자별 프로파일링 휴먼로봇응용 인식시스템 휴먼로봇 인식시스템 예상시나리오

뇌정보처리에 기반한 인공시각 연구

뇌정보처리에 기반한 인공시각 연구

Presentation Transcript