1 / 15

2009 년도 인공지능 1 학기 Term-project demo Guide Line 및 평가 방법

2009 년도 인공지능 1 학기 Term-project demo Guide Line 및 평가 방법. 고려대학교 컴퓨터학과 자연어처리 연구실 임 해 창. Contents. 최종 보고서 guideline 텀프로젝트 평가 방법 텀프로젝트 데모 guideline 텀프로젝트 데모 일정. 최종 보고서 Guideline [1/2]. 최종 보고서 필수 포함 항목 시스템 개요 목적 , 도메인 , 질의 / 응답 쌍 25 개 전체 구조도 논리적 구성 (1 장 ) 물리적 구성 (1 장 ) 실행 방법

caia
Download Presentation

2009 년도 인공지능 1 학기 Term-project demo Guide Line 및 평가 방법

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 2009년도 인공지능1학기Term-project demoGuide Line 및 평가 방법 고려대학교 컴퓨터학과자연어처리 연구실임 해 창

  2. Contents • 최종 보고서 guideline • 텀프로젝트 평가 방법 • 텀프로젝트 데모 guideline • 텀프로젝트 데모 일정

  3. 최종 보고서 Guideline [1/2] • 최종 보고서 필수 포함 항목 • 시스템 개요 • 목적, 도메인, 질의/응답 쌍 25개 • 전체 구조도 • 논리적 구성 (1장) • 물리적 구성 (1장) • 실행 방법 • 모듈 상세 설명 • 도메인, DB 구축 방법 및 결과 • 의미 분석 방법 • 개체명 인식 방법 및 결과(파서,워드넷 사용 방법) • 온톨로지 사용 방법(정규화 포함) • 의미 템플릿 매칭 방법 • SQL query 생성 방법 • 응답 스크립트 선택 방법

  4. 최종 보고서 Guideline [2/2] • 최종 보고서 필수 포함 항목(계속) • Knowledge-Base 구축 설명 • 사용된 사전 및 규칙에 대한 설명 (개체명 사전, 온톨로지, 의미 템플릿, SQL변환 규칙, 응답 스크립트 등) • 실행 결과 • 25개 질문에 대한 실행 결과 • Output에 입력한 질문을 포함시킴 • 실행 결과 출력을 Text로 (XXX.exe > output.txt) • 결론(1-2장 내외로) • 간단한 요약 • 특징 및 장점 • 향후 발전 방향

  5. 텀프로젝트 평가[1/7] • 시스템의 정확성(30점) • 데모를 통하여 평가 • 텀 수행 과정의 성실성(40점) • 1,2,3,4,5차 과제 • 방법론의 적절성(30점) • 최종보고서 • 참신성(추가점수 최대25점) • 추가 감점 기준(항목 당-10점)

  6. 텀프로젝트 평가[2/7] • 시스템의 정확성(30점) 각 조별로 다음과 같은 질문 10개에 대해 각각2)의 항목을 평가한다. • 질문 • 작성된 예문 중에서 5개 선택하여 질문(미리 출력하여 옴) • 작성된 예문 표현을 다르게 하여 질문 • Entity를 변경하여 질문 • 도메인 외의 질문(도메인이 다른 조에 대한 질문) • 도메인 내에서 정답이 여러 개가 나올 수 있는 질문 • 도매인 내에서 정답이 없는 질문 • 평가 항목 • 워드넷과 Parser 사용 결과 • 개체명 인식 결과 • 온톨로지 사용 결과 • 의미 템플릿 Filling 결과 • SQL 변환 결과 • 응답의 적절성

  7. 텀프로젝트 평가[3/7] • 텀 수행 과정의 성실성(40점) • 1차, 2차, 3차, 4차, 5차 보고서 및 프로그램 평가 • 프로그램 실행 결과(2점) • 보고서의 요구사항 충족도(3점) • 제출기한 준수(3점)

  8. 텀프로젝트 평가[4/7] • 방법론의 적절성(30점) - 최종 보고서를 통해 평가 • 25개 질문을 다양하게 잘 작성하였는가 • 주어진 구문 분석기 및 워드넷 모듈을 잘 사용하였는가 • 기초 의미 분석 • 도메인에 맞는 개체명이 잘 정의 되었는가 • 다양한 표현에 대한 정규화가 되는가 • 확장성이 있는가 • 온톨로지 구축이 적절한가 • 의미 표현 생성 • 템플릿의 수가 적절한가 • 템플릿이 질문의 의미를 잘 표현하는가 • 템플릿 매칭 방법이 적절한가 • (정확성 및 확장성, 견고성에 대한 평가가 될 것임)

  9. 텀프로젝트 평가[5/7] • 방법론의 적절성(30점) - 최종 보고서를 통해 평가 • SQL query 생성 • 가능한 의미 표현 결과에 대해SQL query가 모두 생성될 수 있는가 • 탐색, 변환 방법이 적절한가 • 응답 생성 • 자연스러운 응답이 되는가 • 내용이 적합한가 • 스크립트 구축 방법론이 적절한가 • 예외처리를 하였는가

  10. 텀프로젝트 평가[6/7] • 참신성(최대25점 가점) • 새로운(좋은) 분석 방법을 사용한 경우 • 예외 적인 경우에 대한 특별한 방법을 사용한 경우 • 추론이 필요한 질문에 대해 답할 수 있는 경우 • 향후 발전 방향에 대해 참신한 아이디어를 제시한 경우 등 타 조와 구별되는 좋은 아이디어가 구현 또는 제시되어 있는 경우(데모 시 또는 최종 보고서에)에 대해 가산점이 부여됨.

  11. 텀프로젝트 평가[7/7] • 추가 감점 기준(각-10점) • 데모 시 기한 미준 수 • 프로그램 안정성(데모 중 down 또는 무한루프) • 너무 느린 경우(질문 입력 후 30초 이후 응답 시) • 데모 중 욕설

  12. 데모 Guideline [1/3] • 데모 장소 - PC실 환경 Setting후 조교를 호출(237방문) 노트북에서 데모하는 경우도 PC실에서 함 • 데모 방법 - DB연결 및 프로그램 실행 시 1. 본인의 컴퓨터에 있는 DB를 TCP/IP로 접속하는 방법 2. 본인의 컴퓨터에 원격 연결하여 데모하는 방법 3. 노트북을 들고와 하는 방법 4. PC실 컴퓨터에 직접 DB(스키마 로드)부터 깔고 컴파일한 후 실행시키는 방법 • 데모 시작 시간까지 데모 준비가 완료 되어야 한다.

  13. 데모 Guideline [2/3] • 데모 프로그램의 입력 • standard input 방식으로 조교가 입력할 수 있어야 함. (파일 입력 방식 등은 감점 요인) • 데모 프로그램의 출력 • 입력된 질문 • 워드넷과 Parser 결과 • 개체명 인식 결과 • 온톨로지 사용 결과 • 의미 템플릿 Filling 결과 • SQL 변환 결과 • 자연어 응답

  14. 데모 Guideline [3/3] • 시스템이 사용하는 내부 표현을 쉽게 확인할 수 있어야 한다. • 평가 항목 참고 • 데모 시작 시 제출 할 문서 • 25개중 5개의 질문을 선택하여 질문-응답 결과를 출력해서 데모 시 제출 한다. • 텀 프로젝트 최종 보고서

  15. 데모 일정 • 데모 일정 06/01~06/05 • 6.1 (월) : PM 5시 ~ 7시 • 6.2 (화) : PM 12시 30분 ~ 3시 • 6.3 (수) : AM 10시 ~ 12시 • 6.4 (목) : PM 12시 30분 ~ 3시 • 6.5 (금) : PM 2시 ~ 5시 • 팀별 데모 시간 배치 : 5.19일 인공지능 수업시간에 배치 예정 • 제비뽑기 하여 나온 순서대로 원하는 시간을 선점

More Related