추론기술팀 : 신경망 기반 개인화 추론기술 및 사용자 모델링 개발

1. 뇌신경정보학연구사업 인간의 신경인지기전 모델에 기반한 추론 및 학습기술 개발 추론기술팀: 신경망 기반 개인화 추론기술 및 사용자 모델링 개발 숭실대학교 컴퓨터학부 김명원

2. 추론기술 연구 체계도 지능화 추론기술 Collaboration Contents User behavior 사용자 추론의 제약 정보서비스 응용 비형식적 추론 사용자 지식 사용자 목표 사용자 맥락 추론대상의 특성 상황 맥락 정보추천 시스템 대상과 속성별 추론기전 신경망 기반 추론 규칙 기반 추론 인터넷 쇼핑 도우미 추론유형 분류 및 차원화 사용자 추론 및 의사결정 개인 비서 시스템 사용자 모델링 파라메터 추출 논리적 추리 상황적 추리 취소가능 추리 자문 시스템 사용자 프로파일 행동선택 사용자 행위

3. 추론기술 연구 계획 응용분야 1차년도 2차년도 3차년도 정보추천 시스템 비형식적 추론 메커니즘 : 대상/속성의 차원화 및 가중치 부여 • 사용자 특성에 따른 추론 • 양상의 실시간적 추적 • 에이전트 취소가능 • 추리의 논리적 모델 • 추론 유형의 파라메타 • 추출 • 추론의 심성모델 • 시뮬레이션 • - 의사결정 지원 모델 인터넷 쇼핑 도우미 • 신경망 기반 개인화 • 기술 개발 • collaborative filtering • content-based 추천 • 비형식적 추론 모델 • 통합 • 신경망, 규칙 통합 • 개인화 기술 개발 정보 추천시스템 개발 개인비서 시스템 신경망 기반 사용자 모델링 개발 생태학적 비형식적 추론 방법 연구 모델 검증을 위한 시스템 구축 및 학제적 비교 연구 자문 시스템

4. 1차년도 연구목표 및 내용 • 신경망 기반 개인화 기술 개발 • Collaborative 개인화 신경망 구조 개발 • Content-based 개인화 통합 • Scalability 문제해결을 위한 clustering 방법 개발 • 신경망 기반 사용자 모델링 기술 개발 • 전문가 신경망 구축을 위한 방법 연구 • 신경망 모델 연구(RBF, SOM, SASOM, Neuro-Fuzzy, Mixture-of-Experts, EANN) • 사용자 정보추출을 위한 사용자 프로파일 기반 접근방법 • 정보사용자의 비형식적 추론 메커니즘 연구 • 대상과 속성 유형에 따른 추론 메커니즘 연구 • 사용자의 유발가능 추론 유형의 차원화 및 가중치 연구 • deduction, induction등의 기호논리학적 연구를 인지심리학적 연구와 연결

5. 기존 추천기술의 장.단점 신경망 기반 개인화 기술

6. 추천 성능을 위한 평가 척도 : 시스템에 의해 분류된 항목들이 얼마나 옳게 분류되었는가를 나타내는 척도 Accuracy Recall : 사용자가 선호하는 항목들 중에서 추천된 항목들의 비율 F-measure Precision : 추천된 항목들 중에서 사용자가 선호하는 항목들의 비율 : Precision 과 Recall을 통합 • TI : 전체 항목 개수 • TL : 전체에서 사용자가 선호하는 항목 개수 • RI : 사용자에게 추천되는 항목 개수 • RL : 추천된 항목에서 사용자가 선호하는 항목 개수 • NRD : 추천되지 않은 항목에서 사용자가 선호하지 않는 항목 개수

7. 사용자 다른 사용자 신경망 추천 모델 - 1 • 신경망을 이용하여 항목간의 선호 상관관계나 사용자간의 선호 상관관계를 학습 시킴으로써 모델을 생성하고, 선호도 예측 항목 신경망 모델 사용자 신경망 모델 항목 다른 항목 사용자 1 항목1 항목2 사용자 2

8. 신경망 추천 모델 - 2 • 내용, 인구통계학적 정보를 고려한 신경망 모델 사용자 신경망 모델 항목 신경망 모델 항목 사용자 다른 항목 사용자의 프로파일 다른 사용자 항목의 속성 항목1 사용자 1 항목2 사용자 2

9. 1 1 항목신경망모델의 출력값 항목신경망모델의 출력값 like like 0.5 0.5 dislike dislike 0 0.3 1 0.7 0 0.5 1 사용자신경망모델의 출력값 사용자신경망모델의 출력값 사용자와 항목 모델의 통합 방법 - 1 순차적 통합 방법 병렬적 통합 방법 • 어떤 한 모델을 우선적으로 채택하여 선호를 결정하되 확실한 결론을 내리기 어려울 때 제 2의 모델의 결과로 선호를 판정하는 방법 • 두 모델의 결과를 동시에 고려하여 최종 결론을 내리는 방법

10. 1 항목신경망모델의 출력값 like 0.5 dislike 1 0 0.5 통합모델 (퍼셉트론) 사용자신경망모델의 출력값 사용자 신경망모델 항목 신경망모델 사용자와 항목 모델의 통합 방법 - 2 퍼셉트론을 이용한 통합 방법 • 순차적 통합방법과 병렬적 통합방법은 선호도 예측 기준에 있어서 정적이고, 문제에 대한 적응성(adaptability)이 없음 • 두 모델의 출력을 입력으로 하는 퍼셉트론의 학습과정을 적용하여 보다 유연하고 효율적인 통합방법을 제안

11. 1 항목신경망모델의 출력값 like 0.5 통합모델 (다층 퍼셉트론) dislike 0 0.5 1 사용자신경망모델의 출력값 항목 신경망모델 사용자 신경망모델 사용자와 항목 모델의 통합 방법 - 3 다층 퍼셉트론을 이용한 통합 방법 • 퍼셉트론은 선형 분리 가능한 패턴들만을 분류할 수 있음 • 다층 퍼셉트론을 이용함으로써 임의의 복잡한 경계선을 근사할 수 있음.

12. 실험 EachMovie 데이터 실험 조건 • 사용자 : 72,916 명 • 영화 : 1628 개 • 선호도 정보(rating) 0, 0.2, 0.4, 0.6, 0.8, 1.0 • 최소 100회 이상 선호도를 입력한 사용자 1000명 • 각 모델에 대해 like빈도는 60% 이하 • 학습 데이터와 테스트 데이터 비율은 3:1 • 입력 노드 수 : 100개 • 중간 노드 수 : 5개 • 학습률(learning rate) : 0.05

13. 사용자와 항목 모델의 실험 결과

14. 기존 추천기술과 비교 실험 결과 데이터 • 학습 데이터 : 최소 100회 이상 선호도를 입력한 사용자 1,000명 • 테스트 데이터 : 70,000이상인 사용자 ID에서 최소 100회 이상을 입력한 사용자 100명 • 30명의 사용자와 30편의 영화 모델에 대해 실험

15. 사용자와 항목 모델의 통합 실험 결과 • 서로 다른 관점에서 선호도를 예측하기 때문에 두 신경망 모델 의 선호도를 통합함으로써 단일 신경망 모델보다 성능이 우수 • 기존의 추천 기술인 사용자와 항목을 혼합한 연관 규칙 추천 기술과 비교하여도 본 연구에서 제안하고 있는 통합 방법이 추천 기술에 있어서 우수함

16. 연구목표 신경망 기반 사용자 모델링 기술 • 사용자의 행위를 모델링하여 개인화된 서비스 구축 • 신경망 기반 비정형적인 추론을 이용 • 다중 신경망의 결합 • 정형적인 추론이 가진 단조로움을 비정형적인 추론으로 극복

17. 연구 구조도 (1) Flexibility, Emergent Behavior, High Performance Effect Problem Solving Classification Behavior Generation User Modeling Combination Inference NN NN NN NN NN NN Design 단일 신경망 (SOM, NN, Cellular Automata-based NN, Evolutionary Artificial Neural Network)

18. 연구 구조도 (2) • 분류 • 다중 분류기 결합을 통한 바이오 데이터의 분류 • 종분화된 신경망 결합을 통한 UCI Data의 분류 • 자기구성지도의 결합을 통한 숫자 데이터 및 질의응답 e-mail 데이터의 분류 • 행동 생성 • 행동선택을 이용한 셀룰라 오토마타 기반 신경망의 동적 결합 • 사용자 모델링 • 베이지안 네트워크를 이용한 대화형 에이전트 시스템의 사용자 모델링

19. 바이오 데이터의 분류 • 목적 • 대량의 유전 정보의 분석 필요성 대두 • 사람의 유전자 표현 패턴을 통하여 질병의 종류를 예측 • 다중 분류기를 결합과 단일 분류기의 성능 비교 • 과정 • 유전자 표현 데이터의 획득 • 유전자 선택 • 분류기 구성

20. 특징쌍의 구성 • 방법 • 독립적인 특징쌍을 이용하여 학습된 분류기를 결합

21. 실험 결과 단일 분류기의 실험 결과 특징쌍을 이용한 다중 분류기의 결합

22. 종분화 신경망 • 목적 • 진화 알고리즘을 사용하여 신경망의 구조를 결정 • 종분화 알고리즘을 사용하여 다양한 신경망 생성을 유도 • 다양한 신경망을 결합하여 보다 높은 인식률을 얻음 • 과정 • 종분화 알고리즘의 선택 • 결합 방법 선택 • UCI 데이터 베이스에 대한 실험

23. 적합도 공유 • 진화 알고리즘 • 자연계의 선택, 교차, 돌연변이를 모방하여 최적의 해를 탐색 • 전역탐색에 강하나 하나의 해로 수렴하는 특색이 있음 • 적합도 공유 • 종의 다양성을 유지하기 위해 과밀한 지역의 개체들이 적합도를 공유 Peak 적합도 공유전 공유후

24. 실험결과

25. 자기 구성 지도 • 목적 • 자기 구성 지도의 성능 검증 • SASOM (Structure Adaptive Self Organizing Map)의 연구 • 자기 구성 지도 결합 모델의 생성 • 과정 • 유전자 알고리즘을 이용한 SASOM의 가중치 초기화 • 다양한 방법을 사용한 자기 구성 지도의 결합 • Concordia 필기 숫자 데이터 분류

26. 구조 적응형 자기 구성 지도 노드의 분화와 가중치의 결정 구조 적응형 자기 구성지도 알고리즘

27. 실험결과 단일 자기 구성 지도 다중 자기 구성 지도의 결합

28. 행동 모듈 결합 • 목적 • 셀룰라 오토마타 기반 신경망의 결합 • 동적결합을 통해 규칙기반 결합에 비해 유연한 선택 가능 • 고차원의 행동을 손쉽게 생성 • 과정 • 기본 행동 모듈을 진화방식으로 개발 • 점증적 진화 알고리즘을 사용하여 복잡한 행동의 생성 • 기본 행동 모듈의 동적 선택방법을 이용한 결합

29. 행동 선택 방법 협조 기본행동4 억제 기본행동2 기본행동3 기본행동1 기본행동4 기본행동3 기본행동2 기본행동1

30. 실험결과 로봇 시뮬레이션 행동 선택 과정

31. 사용자 모델링 • 목적 • 사용자의 행위를 모델링하기 위해 다중 신경망 추론을 이용 • 비정형적인 추론을 위한 방법 개발 • 응용 소프트웨어와의 결합을 통해 실용성 입증 • 과정 • 대화형 에이전트 시스템 구축 • 현재는 베이지안 네트워크를 사용하여 사용자 모델링 • 상호 주도형 대화를 통해 흥미 유발

32. 베이지안 네트워크 • 사건의 인과관계를 네트워크 형태로 표현 • 베이스 규칙을 사용하여 조건부 확률을 계산 • 사용자 모델링 연구분야에서 많이 사용

33. 실험결과 User : What is your address? Agent : Which place out of Yonsei univ., Engineering building, Professor room, or Laboratory do you want? User : Laboratory Agent : It is located at the 3rd engineering building in Yonsei university. User : Tell me where yonsei university is. Agent : Yonsei university is 134, Shinchon-dong, Sudaemun-ku, Seoul 120-749, Korea

34. 연구 목표 비형식적 추론 연구 • 정보사용자의 추론 메커니즘 연구 • 대상과 속성 유형에 따른 추론 메커니즘 연구 • Deduction, Induction등의 기호논리학적 연구를 인지 심리학적 연구와 연결 • 정보사용자의 추론패턴 및 성향 파악 연구 • 사용자 변인(지식수준, 감정수준, 목표수준)에 따른 추론 양상 연구 • 사용자 상황맥락의 변화에 따른 추론양상 변화 연구 • 에이전트의 취소가능 추론의 논리적 모델 개발

35. 속성추론 :속성의 종류와 추론상황의 영향 - (1) • 속성의 종류에 따라 전제가 결론의 신뢰도에 미치는 양상이 다르다. • 해부속성 : 늑대는 척골동맥이 있다. 따라서 개는 척골동맥이 있다. • 능력속성 : 늑대는 고무타이어를 물어 끊을 수 있다. 따라서 개는 고무타이어를 물어 끊을 수 있다. • 결과: 해부속성의 유사성의 함수이지만, 능력속성은 유사성과 무관( 수치가 작을수록 결론의 신뢰도가 높음)

36. 속성추론 :속성의 종류와 추론상황의 영향 - (2) • 속성의 종류에 따라 자발적으로 선택하는 전제가 다르다. • 해부속성(척골동맥) : 늑대와 유사한 동물을 선택한다. • 능력속성(물어끊다) ; 해당 속성에 대해 대표적인 동물을 선택한다. • 결과: 선택빈도

37. 연구 목표 개념 유형에 따른 추론 과정의 차이 연구 • 사용자의 환경 정보의 적응은 개념 지식의 인지적 표상에 의존 • 개념 지식은 사용자의 추론, 추리, 문제해결, 의사소통의 기능 제공. • 개념 지식의 표상과 추론 과정의 인지적 신경적 접근의 필요

38. 개념의 유형별 분류 대상 개념 행위 개념 사회 개념 자연 개념 인공 개념 활동 개념 사건 개념 성별 개념 직업 개념 연령 개념 인종 개념 범주 : 명사 각본 : 동사 고정관념 : 형용사

39. 개념의 유형과 표상 특성 • Hierarchical Structure • Super-Basic-Sub Object • Typicality • Typical-Atypical Object • Relationship between Objects • Similarity of Properties Object Categories Action Scripts Gender Stereotype • Hierarchical Structure • Script header-Scene header-Scene action • Centerality • Central-Peripheral Action • Relationship between Actions • Temporal-Causal relations • Hierarchical Structure • Gender-M/F-Attributes • Typicality • Typical-Atypical Gender • Relationship between Gender • Traits, Behavior, Preference

40. 위계성 전형성 정서성 상황성 대상개념 유 유 - - 행위개념 중 중 - - 사회개념 무 무 유 유 유형에 따른 표상 특성의 실험 결과

41. 연구문제 • 상황적 맥락 변화에 따른 개념 추론의 표상의 변화 • 실험 과제의 변화에 따른 수행 차이 • 시간경과에 따른 표상의 변화 관찰 • 맥락 변화에 따른 개념 추론의 변화 관찰 • 개념 표상과 추론의 다수준적 접근 시도 • fMRI를 사용한 개념 표상의 신경적 기능 차이 관찰 • 연구 결과를 토대로 한 개념 처리의 시뮬레이션 모형

42. 에이전트의 취소가능추리 모델 개발 • 취소가능추론의 비단조성(Nonmonotonicity) • 일상의 추론은 불완전한 정보에 근거하여 새로운 결론을 유도하는 것. • 처음에 타당했던 결론은 새로운 정보의 첨가로 인해 부정될 수 있음. • 정보들간의 논리적 상충(conflicts)을 해소 • 심리학적으로 타당한 유연한(flexible) 논리적 모델 • 일차술어논리에 기반으로 한 연역추론모델은 유연하지 못함으로 Procedural semantics를 확장한 논리프로그램 시스템을 개발 • 시간과 상황의 전개에 따라 능동적으로 다수 관점을 활성화하는 에이전트의 취소가능추리의 논리적 모델 • Perspectival Defeasible Reasoning Model

43. 관점적(Perspectival) 취소가능 추리 모델 • 인지심리학적 설명 • 관점에 따라 범주의 중심 속성들을 인과적으로 연결 • Modes of Construal (Keil) • Ad-hoc categories (Barsalou) • Context as unconscious knowledge structure(Baars) • 제안된 모델의 특징 • 어휘적 용어들을 부분적 객체로 표현 • Semantic flexibility & semantic specificity • 에이전트들간의 개념의 교환을 설명 • 협동적 의사결정시 맥락에 따른 역동적 추론과정을 설명