뇌정보처리에 기반한
This presentation is the property of its rightful owner.
Sponsored Links
1 / 35

뇌정보처리에 기반한 인공시각 연구 PowerPoint PPT Presentation


  • 312 Views
  • Uploaded on
  • Presentation posted in: General

뇌정보처리에 기반한 인공시각 연구. 양현승 KAIST 전자전산학과 , 뇌과학센터. 2 차년도 연구 목표. 뇌시각의 정보처리원리 이해 뇌시각의 정보처리 모델 연구 / 개발 시각칩 및 응용시스템 설계. 1 차년도. 뇌시각의 정보처리원리 이해 뇌시각 정보처리 모델 개발 시각칩 및 응용시스템 구현. 2 차년도. 뇌시각정보처리 모델의 통합 개발된 모델의 응용기술 연구 시각칩 및 응용시스템 완성. 3 차년도. 인공시각 연구 2 차년도 계획. 응용시스템. 대상시각.

Download Presentation

뇌정보처리에 기반한 인공시각 연구

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


3492896

뇌정보처리에 기반한 인공시각 연구

양현승

KAIST 전자전산학과, 뇌과학센터


3492896

2차년도 연구 목표

뇌시각의 정보처리원리 이해

뇌시각의 정보처리 모델 연구/개발

시각칩 및 응용시스템 설계

1차년도

뇌시각의 정보처리원리 이해

뇌시각 정보처리 모델 개발

시각칩 및 응용시스템 구현

2차년도

뇌시각정보처리 모델의 통합

개발된 모델의 응용기술 연구

시각칩 및 응용시스템 완성

3차년도


3492896

인공시각 연구 2차년도 계획

응용시스템

대상시각

- What path 규명위한 fMRI 실험

- What path 기제 모델 신경망 완성

* 하향식 시선결정

* 특징 추출기반 영역 분할

* 얼굴 검출/인식 통합

* 시점불변 3D 대상인식

3차원 대상인식

신경망 모델

휴먼로봇

인식

시스템개발

특징추출

안구운동

- 물체 검출/인식

- 얼굴 검출/인식

명암 / 에지

색상

공간시각

움직임 / 깊이

3D 공간인지모델

- Where path 기제 규명 진행

* 공간 표상

* 색상 복원, 결정보 분석

* 공간 주의

- Where path 운동물체 탐지모델 완성

스테레오

시각응용

시스템개발

Saccade &

Vergence

- 3D 공간의 인지

- 움직임 검출/이해

능동시각

시각 칩

눈운동 조절하는

능동시각 모델

능동형

물체추적

시스템개발

- 움직임 칩 제조

  • 윤곽선 칩 제조

    (256x256)

- 안구 운동과 시각인지의 관계 규명 진행

* 3D 안구위치 측정기 이용 정신물리 실험

- 안구운동기구용 소형 고출력 Actuator개발

- 인지신경 기제

- 인공안구 시스템


3492896

2차년도 연구 : 대상 시각

목표 :

What pathway 대상인식 기제 이해 및

3차원 대상인식 모델 완성 및 응용기술 개발

  • 3차원 물체 검출 및 인식 : 정확성 90% 이상 (1차년도 80%)

  • 얼굴 인식 및 검출 : 정확성 90% 이상 (1차년도 80%)

  • 표준영상에서 특징 추출 : 오류 15% 이내

  • 추적에 의한 인식성능향상: 성능 향상 5% 이상

1차년도 2002

3D 대상시각 모델 연구

  • What pathway 및 얼굴인식 기제 규명 (fMRI실험)

  • 상향식 주의 기반 시선결정 모델

  • 영역분할 신경망 개발

  • 얼굴 검출/인식 통합 신경망 개발

  • 3차원 대상인식 신경망 개발

2차년도 2001

3D 대상시각 모델 개발

3차년도 2003

3D 대상시각 모델 보완, 통합 및 응용 개발


3492896

  • 2차년도 연구범위

얼굴 검출 모델

얼굴 인식 모델

통합 얼굴

검출/인식

시스템

IT

하향식

시선결정

V4

합성얼굴자극,

Hyper-cube

V2

특징정보 활용

영상 분할 신경망 개발

(80명)

V1

fMRI 측정실험

(V4, IT 활동)

이동물체

추적모델

P

M

대상인식

기제규명

What pathway 기제

(대상 인식)

3차원 대상인식 (5)

얼굴 검출/인식 (4)

3D 대상의

시점기반표현

Invariance

Learning

 통합 인식율 90%

3D 대상인식

신경망

 인식률 90%

 특징복원율 90%

유사도 90%

특징추출 (2)

시선 결정 (3)

What Pathway 기제 이해 (1)


3492896

fMRI 측정실험

(V4, IT 규명)

합성얼굴자극,

Hyper-cube

(80명)

[대상시각]

What pathway 기제 및 얼굴인식 모형

김정훈

  • 목표 및 연구 내용

    • 최종 목표 : What pathway 이해 및 얼굴인식 기제 모형 연구

      • 얼굴인식에 관여하는 what pathway의 특성 규명

    • 당해 목표 : Radial frequency에 의해 생성된 synthetic face의 인식과 관련된 뇌활동 측정 – fMRI 연구

      • V4, IT영역 세포 반응에 최적의 시각 속성 파악 - features defined by radial frequency

      • real face 인식 이전 단계의 시각표상 규명 - synthetic faces 이용

합성얼굴자극

V4, IT 영역 세포 반응 측정(fMRI)


3492896

IT

V4

V2

V1

P

M

  • 연구배경

processing

receptive

field

optimal stimuli

what pathway

highest level:

response specificity,

showing tuning for complex

pattern (e.g. face)

intermediate level:

what information would be used

and how these information would

be combined for pattern

(complex) recognition?

non-Cartesian stimulus

spatial or radial frequency?

non-Fourier stimulus

low level:

filtering through a bank of

local linear filters

Fourier stimulus


3492896

+

  • 연구결과 (1)

    Radial frequency에 의해 생성된 synthetic face의 인식과 관련된 뇌활동 측정

    – fMRI 연구

synthetic faces 생성

face의 인식과 관련된 뇌활동 측정

Fixation

Cross (Fix)

Real Face (RF)

Synthetic Face (SF)

18 sec

18 sec

Fix

18 sec

SF

RF

Fix

Fix

Fix


3492896

  • 연구결과 (2)

  • 얼굴인식과 관련된 시각영역에서의 뇌활동

사진얼굴과 합성얼굴자극에의 뇌활동은 Primary Visual Area와 Fusiform

Face Area (FFA)에서 관찰됨


3492896

VS

VS

VS

VS

VS

VS

  • 연구결과 (3)

  • 얼굴인식과 관련된 시각영역에서의 뇌활동

  • 향후 연구계획

RF-SF: red, SF-RF: green, uncorrected p<0.001, voxel = 10

사진얼굴과 합성얼굴자극에의 뇌활동 차이는 Primary Visual Area와 V4v 영역에서

관찰됨 (FFA에서는 관찰되지 않음)

radial frequency정보가 real face인식의 이전 단계에서 중요한 역할을 함을 시사

noise가 첨가된 synthetic face에 대한 V4v, FFA활동 측정

- 사진얼굴과 synthetic face의 대응 연구

회전, 축척된 synthetic face에 대한 V4v, FFA활동 측정

- 사진얼굴과 synthetic face의 대응 연구


3492896

하향식

시선결정

하향식

시선결정

하향식시선결정

intention

knowledge

experience

얼굴검출

이동물체

추적모델

[대상시각]

이민호

효율적 영상인식을 위한 추적모델

  • 목표 및 연구내용

    • 최종 목표 : 시선결정 및 이동 모델에 기반한 효율적 영상인식 시스템개발

    • 당해 목표 : 하향식 시선결정 모델 이용한 이동물체 추적모델 개발

      • Bottom-up 시선결정 및 시선이동 통합 모델 개발

      • 통합 모델 기반 능동시각 시스템 구현

      • Saliency map 기반의 얼굴 검출

      • Top-down 방식에 의한 객체검출시스템


3492896

Smooth Pursuit

MotionDetection

MT Cell

MST Cell

Natural scene

WTA & SOFM

Tachometer

Feedback

Controller

OpticalFlow

Pursuit

Saliencymap

Fixation

If~then

CCD

camera

Saliency map

model

Don’t Move

Saccades

SuperiorColliculus

Brain Stem &Motor Neuron

Visual Cortex

I

E

Sym

C

Modified LVQ

RecurrentNeural Network

SOFM

RS232C

Motor driving circuit

DSP

Saccades

PWM[0..4]

+

D[0..8]

PWM

generator

Motor

Driver

LMD18200

DC

motor

DIR[0..4]

A[0..4]

-

Saliency map

Scan path

D[0..10]

sensor

(encoder)

counter

Ch A, Ch B

A[0..8]

  • Bottom-up 시선결정 및 시선이동 통합 모델 개발

  • 통합 모델 기반 능동시각 시스템 구현

5축 비전 시스템


3492896

I

CSD

&

N

I

MLP

T

FaceRegion

+

E

E

O

-

Sym

RG

Sym

BY

C

T-O

Saliency map

Face Region

Learning

MLP

이진화

  • Saliency map 기반의 얼굴 검출

    • Feature map: Intensity, Edge, Symmetry, Color

    • Face detection by neural network learning

  • Simulation


3492896

  • Top-down 방식에 의한 객체검출시스템

    • ICA를 이용한 방향 검출 연산자의 생성

    • 입력 영상의 컨투어 검출 방법

      - 인접 픽셀에서의 유사한 방향검출연산자의 반응을 조사

    • 객체정보의 입력

    • 방향, 크기 변화에 강건한 객체 검출 방법

      - 입력된 객체의 컨투어 정보와 유사한 상관관계를 가지는 컨투어 집합의 검출

결과 1

결과 2

입력영상

컨투어

객체검출

컨투어

입력영상

객체정보

객체검출


3492896

특징 추출/영상 분할을 위한 Neural Model 연구

[대상시각]

김호준

  • 목표 및 연구내용

    • 특징 추출 및 개선(enhancement)을 위한 신경망 모델 과 영상 분할(image segmentation) 신경망 기법 개발

      • What pathway 에서 일어나는 영역 분할 기능을 모델링

      • 에지추출과 영역분할을 위한 신경망 모델의 개발 및 구현

      • 에지 및 영역분할 정보의 상호 활용을 통한 성능 개선

에지 추출 신경망 모델 연구

영상분할 신경망 모델 연구

에지추출 기법

초기 분할 추출

Gabor Filter를 사용한

초기 에지 추출 기법 구현

SOFM 기반의 비교사

(Unsupervised) 분할 기법

에지 개선 신경망

영상 분할 신경망

Recurrent 신경망의

측방향 억제신호를 이용한

노이즈 제거 효과

3차원 연결구조의

CSNN을 이용한 영상분할

에지 복원 신경망

에지정보 통합 기법

원형이웃 연결구조특성으

로부터 왜곡특징의 수정

및 누락특징의 복원효과

에지정보를 상호 활용하여

분항 성능을 향상


3492896

w

ij

. . .

. . .

. . .

. . .

. . .

u

u

u

u

u

1

3

N

2

N-1

Aiijk

output

Linking connections

Uijk

Hiijk

Oijk

f

Feeding connections

input

특징 추출 및 개선을 위한 신경망 모델

하위 시각피질(Visual cortex)의 특징 추출/복원 모델 연구

- Gabor Filter를 통한 초기 에지 추출

- 두가지 유형의 시냅스구조를 갖는 Recurrent 신경망 개발

- Lateral inhibition/excitation 효과에 의한 특징복원 기능

특징추출 신경망의 구조

영상분할을 위한 신경망 모델 연구

수정된 CSNN(Constraint Satisfaction Neural Network) 기반의 영상분할 기법 개발

  • SOFM(Self-Organized Feature Map)을 이용한

    초기 분할 생성 기법

- Segmentation을 위한 3차원 형태의 연결 구조

  • Self-feedback과 3차원 neighborhood을 고려한

    활성화 특성

영상분할 신경망의 구조


3492896

  • 주요 결과

특징추출

신경망

에지 추출 및 복원을 위한 Recurrent

신경망 모델 개발

Gabor Filter를 사용한 초기 에지 추출 기법 구현

수정된 CNN 기반의 에지 개선 신경망 기법 구현

영상분할

신경망

SOFM 기반의 비교사(unsupervised) 영상분할 기법 구현

3차원 연결 구조의 CSNN을 이용한 영상 분할 기법 구현

에지 정보와의

상호 결합을 통한 분할 성능의 개선


3492896

Training image

Feature Vector

Model image

Learning

Model

DB

PCA/LDA

basis

Test image

Classifier

[대상시각]

방승양

얼굴 탐지 및 인식 신경망 모델

  • 연구 목표

    • 최종 목표 : 얼굴 검출/인식 신경망 개발

    • 당해 목표 : 얼굴 인식 방법론 개발

      • PCA, PCA 복합 모델, LDA, LDA 복합 모델 분석 및 비교

        • LDA 복합 모델의 성능이 가장 우수 (중간결과)

        • Test error : 12.78%

대상 형태 정보의

학습원리

PCA 기반

얼굴 검출 모델

PCA / LDA 기반

얼굴 인식 모델

얼굴인식 모델

얼굴 검출/인식


3492896

  • 중간 결과

    • Feature 수 35개 미만 : PCA 복합 모델 성능 우수

    • Feature 수 35개 이상 : LDA 복합 모델 성능 우수

Test Set Example

Classification errors vs. the number of features


3492896

  • 중간결과

    • 학습 모델간 인식률 비교

  • 향후 연구 계획

    • 목표 : 얼굴 인식율 90% 이상

    • 전략

      • 보다 나은 알고리즘 조사, 분석 및 개발

      • 보다 큰 얼굴 데이터베이스를 이용하여 성능 평가

      • 문제점 보완 개선

Table1. The best performance and the corresponding number of features


3492896

입력

영상

자율 학습

원리 (ISA)

2D

시점기반

3D 표상

3D 시점

분류/인식

대표시점

연상/예측

3D

대상인식

3D 대상인식 모형

[대상시각]

양현승

3차원 대상인식 신경망 모델

  • 목표 및 연구 내용

    • 최종: 3D 대상 인식을 위한 신경망 모델 개발 (인식율 90 % 목표)

    • 당해: 3D 시점에 무관한 대상인식을 위한 Invariance 학습원리 개발

      • 한 대상의 다른시점에서 본 영상들 사이에 Invariance 관계 학습

      • 입력 영상의 시점에 무관한 대상인식 모델로 개발

Input image

Learned basis

Activation

시점 인식망

정면시점 예측

원본 영상


3492896

Learned

ISA filters

Activation

Input

2D View based 3D object representation

IT 뉴런 군집 특성

  • 배경 및 기존 결과

    • IT 시각계의 정보처리 기제

      • 대상시각계 상위 IT에서 특정 2D시점에 적응된 뉴런들의 군집구조 관찰

    • 자율학습 원리를 적용한 시점기반 표현의 학습

      • 다양한 3D 시점에서 본 물체의 표상을 학습하는 신경망 모델 개발

      • 뇌시각계 자율구조화 원리인 ISA(independent subspace analysis)적용

자기 구조화

(unsupervised learning)

3D models

rendering

학습용 이미지 set

IT 특징맵의 구조(모델)


3492896

  • 시점기반 표현을 이용한 3D Viewpoint Classification 모델 개발

    • 시점기반 표상의 Activation 이용 시점인식 단층 신경망 모델 개발

    • Viewpoint 인식 인식율 90% 달성

      • 21개 viewpoint (15간격, 상하3 x 좌우7 단계)로 분류/인식

      • 교사학습 적용 : View classification 신경망 학습/검증학습용 set 3000 image, 검증용 set 3000 (289 error / 2953 test image)

입력

영상

2D

시점기반

3D 표상

V(i,j)

WTA

3D 시점

분류/인식

시점분류오차 빈도 (log scale)

- 틀린 경우에도 근접한 답을 고름-

Viewpoint Classification 신경망 모델


3492896

입력

예측

원본

입력

영상

2D

시점기반

3D 표상

대표 시점

연상/예측

예측 결과 (30좌측영상)

  • 시점기반 표현을 이용한 3D Viewpoint Invariance 학습 모델 개발

    • 다양한 3D 시점의 영상으로부터 대표 시점 영상을 연상/예측

      • 입력된 측면 얼굴 영상으로부터 정면 얼굴 영상 유추

      • 동일인의 서로다른 영상 activation 사이의 temporal association 학습 기반

    • 시점 연상/예측 신경망 학습 및 결과 검증

      • 교사학습 적용 : Training set 240 image로 학습후, Test set 50 image 검증

        • 15 좌측->정면 예측 시 : correlation 유사도 평균 0.83, SNR 평균 10.25dB

        • 30 좌측->정면 예측 시 : correlation 유사도 평균 0.73, SNR 평균 4.5dB

        • 45 좌측->정면 예측 시 : correlation 유사도 평균 0.64, SNR 평균 1.4dB

자율학습된

시점기반표상

Activation

Input

Temporal

Association

Learning

t

Wij(k,l)

3D 대상인식을 위한 Invariance 학습 신경망


3492896

응용 시스템

목표 :

뇌 시각 기술에 기반한 응용 시스템 개발

  • 능동형 물체 추적 시스템 : 물체를 추적 / 인지하고 인간과 유사하게 감성표현하는 시각 응용 시스템 ( 6자유도 Head/Eye 시스템)

  • 스테레오시각 응용시스템 : 양안 시각을 이용하여 3차원 정보를 안내 하는 착용형 시각 안내 시스템 개발 (변위 추정 오차 0.5 pixel 이내, 맹인 안내 데모)

  • 휴먼 로봇용 인식시스템 : 휴먼로봇에 탑제될 뇌공학 기반 시각인식기술 통합 (가사 및 안내 데모)

1차년도 2001

  • 능동형 물체 추적 시스템의 기구부/제어부 구현 (1차년도 설계기반)

  • 스테레오시각 응용시스템의 알고리즘 구현 (변위추정, 장애물 검출, 전방환경 인식)

  • 휴먼로봇 응용을 위해 개발된 인공시각 인식기술을 시스템으로 통합/구현

응용 시스템 연구

2차년도 2002

응용 시스템 개발

3차년도 2003

응용 시스템 보완/통합


3492896

  • 능동형 물체 추적 응용시스템

    • 기구부 및 제어기 제작

      • 능동 시각 시스템의 기구부 및 구동부 제작

      • 능동 시각 시스템의 제어기 제작

능동형 물체 추적 시스템 구조

  • 스테레오 비젼 응용시스템

    • 변위추정기술 개발

    • 장애물 검출 및 회피

    • 전방환경 식별

스테레오 응용시스템 구조

  • 휴먼로봇 인식통합 응용시스템

    • 시각인식(얼굴인식)통합 및 성능개선

      • 휴먼로봇 응용을 위한 시각인식통합

      • 인식통합시스템의 안정화 및 성능개선

휴먼로봇 인식통합 응용 시나리오


3492896

능동형 추적 응용 시스템

  • 능동형 물체 추적 응용시스템

    • 전체 연구 내용

    • 세부 연구 결과

      • 능동 시각 시스템의 기구부 및 구동부 디자인

        • 시스템의 기구부 제작 진행 중

      • 능동 시각 시스템의 피부에 해당하는 외형 디자인

        • 외형 제작 진행 중

      • 능동 시각 시스템의 제어기 제작 중

연구 개발 내용 및 범위

연구 개발 목표

  • 능동 시각 시스템의 기구부 및 구동부 제작

  • 능동 시각 시스템의 제어기 제작

능동 시각 시스템

의 기구부 및 제어기 제작


3492896

  • 능동 시각 시스템의 기구부 및 구동부 제작

    • 능동형 물체 추적 시스템 기구부 및 구동부 디자인

능동형 물체 추적 시스템 구조


3492896

  • 능동 시각 시스템의 기구부 및 구동부 제작

    • 능동형 물체 추적 시스템 외형 디자인

능동형 물체 추적 시스템 외형


3492896

스테레오 비전 응용시스템/양안 변위 추정

  • 목표 및 연구내용

    • 정합에 적합한 특징영역에서 얻어진 양안 변위의 전파

      • 인간 시각의 양안 변위 변화(Disparity Discontinuity) 영역 탐지 과정탐구

      • 다중 양안 변위 가능 영역(Multiple Match)에서의 효과적인 양안 변위 결정 방법의 구현

      • 에지와 양안 순서 불변(Ordering Constraint)을 이용한 양안 변위 전파

상향식 주의 집중으로부터 추정한 인간 시각의 양안 변위 추정

특징영역으로부터의 양안 변위 전파

특징영역추출

정합에 적합한 영역의 검출

스테레오 영상

양안 변위

양안 변위 확산

특징 영역 변위 추정

에지, 양안 순서 불변

영역 상호간의 유사도

특징 영역 변위 전파

단일 양안 변위 부여

단안 영역 내에서의

협력 및 배척

인간 시각과 유사한 계산적 방법의 구현


3492896

특징 영역의 정합

양쪽의 에지 내에서

양안변위 확산

(Rule based)

양안 변위 지지, 억제 영역

양안 순서 불변 조건

새로운 양안 변위

양안 변위의 추출에 적합한 특징영역

같은 모양의 반복으로 정합이 어려운 영역

(Repeated Texture)

비교할 만한 특징적인 모양이 없는 영역

(Homogeneous Region)

주변에 같은 모양이 없는

정합에 적합한 영역

(Distinctive Region)

양안 변위의 확산

초기의 특징영역

에지 영상

확산된 양안 변위


3492896

  • 주요 결과

Disparity Propagation

Ground Truth

Gray Scale : 양안 변위

Red : 양안 변위를

구하지 않은 pixel


3492896

휴먼 로봇용 통합인식 시스템

  • 목표 : 뇌공학 기반 인식시스템의 휴먼로봇응용을 위한 인식시스템 설계 및 개발

    - 휴먼로봇 응용을 위한 인식통합시스템 개발

    - 뇌공학 기반 얼굴인식기의 통합 및 응용

  • 연구내용

    - 휴먼로봇 응용을 위한 시각인식통합

    - 인식통합시스템의 안정화 및 성능개선

  • 인식통합시스템

입력 영상

얼굴부분

추출

부분특징

추출

(눈,코,입,..)

뇌공학 기반

얼굴 인식기술

인식결과

얼굴DB

휴먼 로봇용 인식 시스템 구조


3492896

  • 주요 결과

  • 휴먼로봇 응용을 위한 시각인식 통합

    - 휴먼로봇 탑제용 얼굴 검출기 개발 및 검출영상의 정규화

    - 뇌공학 기반 얼굴인식기술 통합 및 안정화 : 통합 및 성능향상 진행중

  • 인식통합시스템

검출된 얼굴영상 예제

뇌공학 기반 얼굴인식기

휴먼로봇 응용


3492896

  • 시각인식(얼굴인식)통합 및 성능개선을 통한 응용

    • 가정 원격 감시 및 침입자 탐지

    • HRI 인터페이스 개선 및 로봇 사용자 인증, 사용자별 프로파일링

휴먼로봇응용

인식시스템

휴먼로봇 인식시스템 예상시나리오


  • Login