이진 분류기를 이용한 이진 분류 나무 설계 이진선 * , 오일석 ** * 우석대학교 컴퓨터공학과 , ** 전북대학교 컴퓨터과학과

이진분류기를이용한이진분류나무설계이진선*, 오일석***우석대학교컴퓨터공학과, **전북대학교컴퓨터과학과 요약 • 이 논문은 다중 부류 분류기를 이진 분류기를 이용하여 설계하는 문제를 다룬다. 해결책의 하나로 이진 분류 나무 (BCT; Binary Classification Tree)를 제안한다. BCT 설계에서 뿌리 노드는 전체 부류 집합을 가장 높은 신뢰도의 분류가 이루어지도록 두 개의 부 집합으로 분할하며, 이 과정을 두 자식 노드에 대해 순환적으로 적용한다. 기존 방법도 제시하며, 이들과 BCT를 여러 측면에서 비교한다. 필기 숫자 인식에 적용한 실험 결과를 제시한다.

논문 요약 • 다중 분류 (multi-class classification) 문제를 이진 분류기 (binary classifier)로 해결 • 기존 • One Classifier per One Pair (OCOP) • One Classifier per One Class (OCOC) • 새로운 제안 • 이진 분류 나무 (BCT; Binary Classification Tree) • 이진 분류기 구현 • Neural network with one output node • SVM (Support Vector Machine)

기존의 다중 분류기 설계 방법 • One Classifier per One Pair (OCOP) • 모든 부류 쌍을 대상으로 이진 분류기 만듦 • 총 KC2개의 이진 분류기 (K=부류 수) • 대용량 분류 문제에서는 현실성 없음 • 결정 규칙 • dij(X) = +1 if Xωi, 0 if Xωj • pi(X) = j=1,K & ji dij(X) • Classify X into ωk if k = argmaxi=1,K pi(X)

기존의 다중 분류기 설계 방법 • One Classifier per One Class (OCOC) • 이진 분류기가 어떤 부류 ωi를 K-1개의 나머지 부류 {ωi | j=1,K and ji}와 분류 • 총 K개의 이진 분류기 (K=부류 수) • 결정 규칙 • di(X) = +1 if Xωi, 0 if X{ωi| j=1,K and ji} • Classify X into ωk if k = argmax i=1,K di(X)

이진 분류 나무 설계 • 이진 분류 나무 (BCT: Binary Classification Tree) • 내부 노드는 다음을 가짐 • 부류 집합 • 이들 부류를 두 개의 부 집합으로 분류하는 이진 분류기 • 단말 노드 • 하나의 부류 가짐 • 설계 알고리즘 • 뿌리 노드 (root node)에 K개 부류 집합 S={ω1, ω2,… ωK}가 주어진다. 이 노드는 S를 두개의 부 집합 Sleft과 Sright로 분할한다. 물론 S=SleftSright그리고 Sleft와 Sright를 만족해야 하며, Sleft는 왼쪽 노드에 Sright는 오른쪽 노드에 주어진다. 이러한 과정을 왼쪽 자식 노드와 오른쪽 자식 노드 각각에 순환적으로 적용하며, 부류 집합 크기가 1이 되면 단말 노드로 하고 분할을 중단한다. • 설계 과정에서 |card(Sleft)–card(Sright)|1로 하면, 균형을 이룬 BCT가 만들어 진다. (card(S)는 집합 S의 원소 개수를 뜻한다.) 하지만 이러한 조건을 주지않을 경우 한쪽으로 치우진 BCT가 만들어질 가능성이 높다.

최적 분할 탐색 알고리즘 • 부류 집합 분할 문제 • 어떤 노드에서 부류 집합 S를 어떻게 Sleft과 Sright로 분할하느냐? • 기본 전략 • 이진 분류기가 가장 높은 신뢰도를 보이는 분할을 찾음 • 탐색 알고리즘 • 전체 탐색 (exhaustive search) • S의 크기가 큰 경우 computational explosion • 순차 탐색 알고리즘 • 특징 선택의 SFS (Sequential Forward Search)와 비슷 • Sleft=; Sright=S; max=-1; • while(! Sright) { • k=argmax ωjSright J(Sleftωj, Sright-ωj); • Sleft=Sleftωk; Sright=Sright-ωk; • if(J(Sleft, Sright)>max) { • max = J(Sleft, Sright); • store Sleft and Sright as new optimum; • }

Sleft reject Sright α α 인식 알고리즘 • 알고리즘 • 미지의 패턴이 들어오면, 뿌리 노드가 이를 받아 지신의 이진 분류기로 분류를 시도한다. 이 이진 분류기의 출력을 d라 하면 (0.0d1.0), d0.5이면 왼쪽 자식 노드로 d>0.5이면 오른쪽 자식 노드로 진행한다. 그리고 새로 도달한 노드에서 이 과정을 순환적으로 반복한다. 단말 노드를 만나면 그 단말 노드의 부류로 최종 분류한다. • 그림과 같이 결정 공간에서 기각 허용률 α를 조절하여 기각 reject

실험 • 필기 숫자 인식 (CENPARMI 데이터베이스) (a) 균형을 이룬 BCT (b) 경사진 BCT

이진 분류기를 이용한 이진 분류 나무 설계 이진선 * , 오일석 ** * 우석대학교 컴퓨터공학과 , ** 전북대학교 컴퓨터과학과

이진 분류기를 이용한 이진 분류 나무 설계 이진선 * , 오일석 ** * 우석대학교 컴퓨터공학과 , ** 전북대학교 컴퓨터과학과

Presentation Transcript