introdu o an lise de agrupamentos abordagem num rica e conceptual
Download
Skip this Video
Download Presentation
Introdução à Análise de Agrupamentos (Abordagem Numérica e Conceptual)

Loading in 2 Seconds...

play fullscreen
1 / 53

Introdu o An lise de Agrupamentos Abordagem Num rica e Conceptual - PowerPoint PPT Presentation


  • 76 Views
  • Uploaded on

Introdução à Análise de Agrupamentos (Abordagem Numérica e Conceptual). Prof. Francisco de A. T. de Carvalho [email protected] Agrupamento (Clustering).

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Introdu o An lise de Agrupamentos Abordagem Num rica e Conceptual' - liza


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
agrupamento clustering

Agrupamento (Clustering)

Conjunto de Métodos usados para a construção de grupos de objetos com base nas semelhanças e diferenças entre os mesmos de tal maneira que os grupos obtidos são os mais homogêneos e bem separados possíveis.

Agrupar para que?

Simplificação dos dados

Procura de agrupamentos “naturais”

Geração de Hipóteses

Predição com base nos grupos formados

O que é um grupo? Não existe uma única definição satisfatória

Coesão interna

Isolamento externo

slide3

(a)

(b)

(c)

(d)

a) Grupos coesos e isolados

b) Grupos isolados mas não coesos

c) Grupos coesos com vários pontos intermediários

d) Não existência de grupos “naturais”

principais etapas da forma o de agrupamentos

Principais Etapas da Formação de Agrupamentos

a) Seleção dos indivíduos, objetos, casos, itens, OTU’s

b) Seleção das variáveis, descritores, características

c) Construção da Tabela de Dados

d) Escolha de um Índice de Proximidade

e) Construção da Matriz de Proximidades

f) Seleção de um Algoritmo de Formação de Grupos em

função do tipo de agrupamento desejado

g) Análise e Interpretação dos Resultados

slide5

Indivíduos

: conjunto dos indivíduos (população, amostra)

Variáveis

A Cada característica (escolhida pelo usuário ou por um especialista), pode-se associar uma ou mais variáveis:

Di: Domínio da variável yi

slide6

As variáveis podem ser

  • quantitativas
        • contínuas (ex, Peso, Altura)
        • discretas (ex, numero de antenas, número de filhos)
  • qualitativas (ex, sexo, grau de instrução)
  • binárias (ex, presença de asas)
  • com escala
  • nominal (ex, sexo (masculino, feminino)),
  • ordinal (ex, Grau de instrução{primário, segundário, superior})
  • intervalar (ex, grau celsius)
  • proporcional (ex, grau kelvin, idade)
slide7

Representação do Conhecimento (lista de pares atributo-valor)

Y = {y1, …, yp} : Conjunto de variáveis (descritores, atributos, …)

D = {D1, …, Dp} : Conjunto dos domínios das variáveis

 = {1, …, p} : Conjunto dos indivíduos (casos, objetos, observações)

slide8

Tabela de Dados

  • X = (xij; i = 1, …, p ; j = 1, …, n) onde xij = yi(j)
  • Tipos de Tabelas
    • quantitativas
    • qualitativas
    • binárias
    • heterogêneas
  • Exemplo:
slide9

Índices de Proximidade

    • Similaridade
    • Dissimilaridade
  • Índice de Similaridade
  • É uma função
  • tal que
slide10

Índice de Dissimilaridade

É uma função

tal que

slide11

a

1

0

b

1

x

y

w

0

z

Exemplos de Índices de Proximidade

a) Tabelas de variáveis quantitativas

b) Tabelas de variáveis binárias

slide12

Outros aspectos relativos aos índices de proximidade

  • Escala das Variáveis
  • Correlação entre as Variáveis
  • Descrições heterogêneas (Variáveis de diferentes tipos)
  • Índices de proximidade entre padrões descritos por strings ou árvores
  • Índices de proximidade dependentes do contexto
  • Índices de proximidade conceptual
slide13

Tipos de espaços de classificação (ie, estrutura a priori do espaço das observações)Seja  um conjunto de indivíduos à agruparPartiçãoUma partição de  é um conjunto de subconjuntos não vaziosP = (P1, , Pk) de interseção vazia dois a dois e cuja união forma a) l  {1, , k}, Pl  b) l,m  {1, , k}, l  m, Pl  Pm = c) l Pl = 

observa es

P1

*

*

P2

*

*

*

*

*

*

P3

*

*

*

*

*

*

Observações

Partição

slide15

P1

*

*

*

P3

*

*

P2

*

*

CoberturaUma cobertura de  é um conjunto de subconjuntos não vaziosP = (P1, , Pk) cuja união forma  a) l  {1, , k}, Pl  b) l Pl = 

*

*

*

*

*

*

*

slide16

* 7

*

* 5

*

*

* 4

* 6

*

HierarquiaSeja H um conjunto de subconjuntos não vazios de . H é uma hierarquia sea)   H;b)    , {}  Hc)  h, h’  H, tem-se: h  h’ =  ou h  h’ ou h’  h

* 3

*

* 2

*

* 1

*

slide17

1

3

2

4

5

6

7

Dendrograma

slide18

PiramideSeja P um conjunto de subconjuntos não vazios de de . P é uma piramide se a)   P;b)    , {}  Pc)  h, h’  P, tem-se: h  h’ =  ou h  h’  Pd) Existe uma ordem  tal que todo elemento de P seja um intervalo de 

slide19

* 7

* 5

* 4

* 6

* 3

* 2

* 1

1

3

2

4

5

6

7

slide20

Métodos de AgrupamentoEm Taxonomia Numerica distingue-se tres grupos de métodosTécnicas de OtimizaçãoObjetivo: obter uma partição. Número de grupos sempre fornecido pelo usuárioTécnicas hierarquicasObjetivo: obter uma hierarquia (ou uma piramide) Pode-se obter uma partição “cortando-se” a hierarquia em um determinado nível.Técnicas de CoberturaObjetivo: obter grupos que eventualmente podem partilhar indivíduos.

slide21

Outros Aspectos Relativos aos Métodos de AgrupamentoMétods Aglomerativos versus Métodos DivisivosMétodos Monotéticos versus Métodos PoliteticosAgrupamento Hard versus Agrupamento FuzzyMétodos Incrementais versus Métodos não Incrementais

slide22

Algoritmo Geral de Agrupamento Hierárquico AglomerativoPasso 1: Iniciar o agrupamento formado por grupos unitáriosPasso 2: Encontre, no agrupamento corrente, o par de grupos de dissimilaridade mínimaPasso 3: Construa um novo grupo pela fusão desse par de grupos de dissimilaridade mínimaPasso 4: Atualize a matriz de dissimilaridades: suprima as linhas e ascolunas correspondentes aos grupos fusionados e adicione uma linha e uma coluna correspondente as dissimilaridades entre o novo grupo e os grupos antigosPasso 5: Se todos os objetos estão grupados, pare; senão vá para o passo 2

slide23

Exemplo E01:(Sono=Pouco,T=Carro,Conic=Sim,Alcool=Não,Sair=Não,Fome=Sim) E02:(Sono=Pouco,T=Carona,Conic=Não,Alcool=Não,Sair=Sim,Fome=Sim) E03:(Sono=Sim,T=Carro,Conic=Não,Alcool=Sim,Sair=Sim,Fome=Não) E04:(Sono=Sim,T=Outros,Conic=Sim,Alcool=Sim,Sair=Sim,Fome=Não) Passo 1: C1={E01}, C2={E02}, C3={E03}, C4={E04}Passo 2: dmin = 2  C5= C3  C4 = {E03,E04}Passo 3:

exemplo passo 4 dmin 3 c6 c1 c2 e01 e02 passo5 passo 6 dmin 4 c7 c5 c6 e01 e02 e03 e04
Exemplo Passo 4: dmin = 3  C6= C1  C2={E01,E02} Passo5Passo 6: dmin = 4  C7 = C5  C6={E01,E02,E03,E04}

C07

C6

C5

E01

E02

E03

E04

slide25

Técnicas Hierárquicas Aglomerativas Single LinkComplete LinkGroup Average Link (UPGMA)Wighted Average Link (WPGMA)Unweighted Centroid (UPGMC)Weighted Centroid (WPGMC) ou MedianaWARD

slide26

Algoritmo dos Centros Móveis (MétodosdePartição) Passo 1: Fixe o número de grupos e escolha uma partição inicialPasso 2: Para cada grupo q encontre o centro de gravidade (vetor de médias)Passo 3: Atribua cada objeto i à classe q cujo centro de gravidade é o mais próximoPasso 4: Retornar ao passo 1 enquanto existirem modificações na composição dos grupos

slide27

Exemploy1 1.0 1.5 3.0 5.0 3.5 4.5 3.5y2 1.0 2.0 4.0 7.0 5.0 5.0 4.5Passo 1: k = 2 e G1={1,2,3} e G2={4,5,6,7}Passo2: g1 = (1.83, 2.33) e g2 = (4.13, 5.38)Passo3:d(wi,g1) 1.57 0.47 2.04 5.64 3.15 3.78 2.74d(wi,g2) 5.38 4.28 1.78 1.83 0.74 0.53 1.08Grupo G1 G1 G2 G2 G2 G2 G2Passo 4: G1={1,2} e G2 = {3,4,5,6,7} Houve modificação dos grupos? Sim. Vá para o passo 2Etc.

slide28

Critérios para a obtenção de uma PartiçãoAlguns dos principais critérios para a obtenção de uma partição baseiam-se na equação da MANOVA:T = W + BT sendo fixo, quando menor W maior será B (maior homogeneidade e maior separação entre os grupos)Minimização do traço(W) dependente da escala favorece grupos esféricos favorece a formação de grupos de mesmo cardinalMinimização do determinante de Wnão depende da escalanão favorece grupos esféricos impõe a mesma forma aos grupos favorece a formação de grupos de mesmo cardinal

slide29

Agrupamento ConceptualUm grupo pode ser descrito em:extensão (enumeração dos seus membros) ou em compreensão (conjunto de propriedades que definem a pertinência de um elemento à um grupo)Agrupamento não conceptual fornece: apenas descrição em extensão de cada grupo. a obtenção dos grupos leva em conta apenas as descrições dos individuos.Agrupamento conceptual fornece: também a descrição em compreensão (intencional) de cada grupo. formação dos grupos levam em consideração também a qualidade da descrição em compreensão de cada grupo

slide30

Agrupamento Conceitual funciona em 2 fases:agregação: encontrar grupos de um conjunto de indivíduos segundo uma estrutura considerada e um ou mais critérios fixadoscaracterização: determinar uma descrição (conceito) de cada um dos grupos obtidos na fase de agregaçãoEm aprendizagem de máquina caracterização = aprendizagem à partir de exemplosAs 2 fases podem ser: simultâneas seqüenciais (na maioria dos casos)

gera o de k agrupamentos em competi o

Iniciar com  (Conjunto de Individuos)

Geração de k Agrupamentosem competição

Agrupamento 1

•••

Agrupamento k

{C11, …, C1m1}

{Ck1, …, Ckmk}

Iniciar com um Agrupamento

Geração de descrições conceituais em competição par o Agrupamento

•••

{D1(C1), ... D1(C1m1) ... {Dn(C1), ... Dn(C1m1)

slide32

Tipos de abordagens em Agrupamento Conceitual:3 dimensõesEstrutura do espaço de observação: partição, hierarquia, coberturaAlgoritmo: incremental (Formação de Conceitos) ou batch (Descoberta de Conceitos)Linguagem de descrição (representação do conhecimento): Logica de Atributos (ordem 0) Logica de Predicados de 1a Ordem Logica de predicados de 2a Ordem

slide33

Caracterização (descrição) dos grupos em lógica 0

Seja  um conjunto de observações descritas por p atributos (variáveis) y1, …, yp cujos dominios são D1, …, Dp.

Um objeto simbólico a = [y1  A1]  …  [y1  Ap], onde Ai  Di, i  {1, …, p}, expressa a condição

“atributo y1 toma seus valores em A1e … e atributo yp toma os seus valores em Ap”

Pode-se associar à a uma função f:{1, 0} tal que

fa() = 1  yi () Ai, i  {1, …, p},  

A extensão de a é definida como ext (a) = {  / fa()=1}

exemplo

variaveis

Dominios

{azul, verm, verde}

Cor

Tamanho

{grande, medio, pequeno}

Forma

{esfera, bloco, triangulo}

Considere o seguinte objeto simbólico

a = [Cor  {az,vm}] [Tam{g}][Forma {e,b}]

a é uma generalização de qualquer conjunto de objetos cuja cor é azul ou vermelho, cujo tamanho é grande e cuja forma é esfera ou bloco

Exemplo

slide35

Da mesma forma,   esta na extensão de a (é membro de a) se fa()=1

isto é, se sua cor é azul ou vermelha, seu tamanho é grande e sua forma é esfera ou bloco

Dizemos que um objeto simbólico a é uma generalização de um conjunto de indivíduos  se  , fa()=1

Sejam dois objetos simbólicos a = i [yi  Ai] e b = i [yi  Bi].

Diz-se que b < a se Bi  Ai i. Nesse caso diz-se que a é mais geral do que b e b é menos geral do que a

Diz-se que um objeto simbólico a é maximamente especifico de um conjunto de indivíduos  se:

a é uma generalização de  e não existe um outro objeto simbólico b generalização de  tal que b < a

slide36

Sejam os individuos

1 = [Cor  {az}] [Tam{g}][Forma {e}]

2 = [Cor  {az}] [Tam{m}][Forma {e}]

3 = [Cor  {az}] [Tam{p}][Forma {b}]

Três possíveis generalizações desses conjuntos por um objeto simbólico

a = [Cor  {az}] [Tam{g,m,p}][Forma {e,b}]

b = [Cor  {az}] [Tam{g,m,p}][Forma {e,b,t}]

c = [Cor  {az,vm,vd}] [Tam{g,m,p}][Forma {e,b,t}]

c é mais geral do que b que é mais geral do que a

a é maximamente especifico do conjunto de indivíduos acima.

slide37

Um objeto simbólico a é uma descrição discriminante de um conjunto 1 de indivíduos em relação à um outro conjunto 2 de individuos se:

a é uma generalização de 1 e não existe  2 tal que fa()=1

Um objeto simbólico a é uma descrição maximamente discriminante de um conjunto 1 de indivíduos em relação à um outro conjunto 2 de indivíduos se:

a é uma descrição discriminante de 1 em relação à 2 e não existe um outro objeto b i) que seja uma descrição discriminante de 1 em relação à 2 e ii) que seja mais geral do que a (b > a)

slide38
Exemplo

Grupo 1 (G1)

1 = [Cor  {az}] [Tam{l}][Forma {e}]

Grupo 2 (G2)

1 = [Cor  {vm}] [Tam{l}][Forma {b}]

1 = [Cor  {vm}] [Tam{l}][Forma {t}]

Descrições maximamente discriminantes de G1 em relação à G2

a = [Cor  {az,vd}] [Tam {l,m,p}][Forma  {e,b,t}]

b = [Cor  {az,vm,vd}] [Tam{l,m,p}][Forma  {e}]

Descrições maximamente discriminantes de G2 em relação à G1

c = [Cor  {vm,vd}] [Tam {l,m,p}][Forma  {e,b,t}]

d = [Cor  {az,vm,vd}] [Tam {l,m,p}][Forma  {b,t}]

slide39

Grupo1

Grupo 2

Atribuição de descrições maximamente discriminantes aos Grupos 1 e 2

Descrições

disjuntas

b = …[Forma {e}]

d = …[Forma {b,t}]

Descrições

não disjuntas

a = [Cor  {az,vd}] …

c = [Cor  {vm,vd}] …

a = [Cor  {az,vd}] …

d = …[Forma {b,t}]

b = …[Forma {e}]

c = [Cor  {vm,vd}] …

Em geral conjuntos disjuntos da mesma variável implicarão em descrições maximamente discriminantes de um grupo em relação à outros grupos

algoritmo cluster 2
Algoritmo CLUSTER/2
  • Descoberta de Conceitos (em batch)
  • Dois módulos
    • Partição
    • Hieraráquico

Exemplo

m dulo parti o
Módulo partição
  • Formando Agrupamentos inicias

Semente 1



Semente 2

Semente k

Encontrar descrições maximamente discriminantes



D11

D12

D21

D1n1

D21

D2n2



Atribuir os objetos à cada descrição Dij obtendo as classes Cij

C12

C1n1

C21

C11

C21

C2n2

slide42
seleção de k(2) sementes aleatoriamente
  • encontrar descrições maximamente discriminantes de cada um dos k (2) grupos à partir das sementes

Semente 1

Semente 2

a1=[Cobertura do Corpo={pelos, penas, pele úmida}]

b1=[Cobertura do Corpo={penas, pele seca, pele úmida}]

a2= [Cavidades do Coração = {3, 4}]

b2= [Cavidades do Coração = {3, 4 imperfeitas}]

b3= [Temperatura do Corpo= {não regulada}]

a3= [Temperatura do Corpo= {regulada}]

slide43

Semente 1

Semente 2

  • Atribuição dos objetos à cada descrição Dij obtendo as classes Cij

a2= [Cavidades do Coração = {3, 4}]

b2= [Cavidades do Coração = {3, 4 imperfeitas}]

G1=Ext(a2)={Mamífero, Pássaro, Anfíbio-1, Anfíbio-2}

G2=Ext(a2)={Réptil, Anfíbio-1, Anfíbio-2}

  • Obtendo descrições dos grupos
    • Tornando os grupos disjuntos

G2

G1

Lista de exceções

{Anfíbio-1, Anfíbio-2}

G1={Mamífero, Pássaro}

G2={Réptil}

slide44
Obtendo descrições maximamente específicas de cada grupo

G1 = {Mamífero, Pássaro}

G2 = {Réptil}

a2= [Cobertura do Corpo = {pelos, penas}]  [Cavidades do Coração = {4}]  [Temperatura do Corpo = {regulada}]  [Fertilização = {interna}]

b2= [Cobertura do Corpo = {pele seca}]  [Cavidades do Coração = {4 imperfeitas}]  [Temperatura do Corpo = {não regulada}]  [Fertilização = {interna}]

slide45

Agrupamento A (G1 + Anfíbio-1)

Agrupamento B (G2 + Anfíbio-1)

a1= [Cobertura do Corpo = {pelos, penas,pele úmida}]  [Cavidades do Coração = {3,4}]  [Temperatura do Corpo = {regulada,não regulada}]  [Fertilização = {interna}]

a2= [Cobertura do Corpo = {pelos, penas}]  [Cavidades do Coração = {4}]  [Temperatura do Corpo = {regulada}]  [Fertilização = {interna}]

C1

b1= [Cobertura do Corpo = {pele seca}]  [Cavidades do Coração = {4 imperfeitas}]  [Temperatura do Corpo = {não regulada}]  [Fertilização = {interna}]

b2= [Cobertura do Corpo = {pele úmida, pele seca}]  [Cavidades do Coração = {3,4 imperfeitas}]  [Temperatura do Corpo = {não regulada}]  [Fertilização = {interna}]

C2

  • Inserindo o primeiro objetos da lista de exceções nos grupos e obtendo descrições maximamente específicas de cada grupo
slide46

Avaliação dos Agrupamentos obtidos em função da qualidade das descrições

  • Critério: a) para cada par de descrições de agrupamentos diferentes calcula-se o número de variáveis cuja interseção é vazia; b) faz-se a soma para cada par; o agrupamento escolhido é aquele cuja soma é máxima
  •  o Agrupamento B é selecionado
  • O segundo objeto da lista de exceções é inserido no agrupamento B
  • um processo semelhante ao descrito para a incorporação de anfíbio-1 é relizado
  • O processo descrito deve ser realizado para todas as 9 combinações de descrições maximamente discriminantes
  • Das 9 possibilidades, escolhe-se a melhor partição em dois grupos
  • Em seguida, novas sementes são selecionadas e o processo continua
slide47

Módulo Hierarquico

  • O módulo hierárquico construi uma árvore de classificação
  • Nessa árvore os arcos representam as descrições e nós a extensão de cada grupo

{mamífero, pássaro, réptil, anfíbio-1, anfíbio-2}

[Cobertura do Corpo = {pelos, penas}]  [Cavidades do Coração = {4}]  [Temperatura do Corpo = {regulada}]  [Fertilização = {interna}]

[Cobertura do Corpo = {pele úmida, pele seca}]  [Cavidades do Coração = {3,4 imperfeitas}]  [Temperatura do Corpo = {não regulada}]  [Fertilização = {interna, externa}]

{mamífero, pássaro}

{réptil,anfíbio-1,anfíbio-2}

slide48
Classificação politética
  • Construção de árvore de cima para baixo
  • O módulo hierárquico usa o módulo partição como uma subrotina
  • o módulo partição fornece partições de vários tamanhos (2, 3 e 4) e seleciona a melhor
  • O módulo hierárquico construi um nível da árvore de cada vez
  • A construção da árvore finaliza quando a qualidade da partição obtida no nível seguinte não é melhorada
slide49

IFCS

•••

BCS

GfKl

CSNA

JCS

SFC

Congressos Bianuais da IFCS

Congressos anuais das Associações Nacionais

http://edfu.lis.uiuc.edu/~class/ifcs

slide50
Referências
  • Fisher, D.H. and Langley, P. W., “ Methods of Conceptual Clustering and their relation to Numerical Taxonomy”, Technical Report 85-26, University of California, Irvine, 1985
  • Fisher, D. H., “ Knowledg Acquisition via Incremental Conceptual Clustering”, Machine Leaning, Vol2, No. 2, pp. 139-172, 1987
  • Guenoche, ª , “Generalization and Conceptual Classification: Indices and Algorithms”, Proceedings of the Conference on Data Analysis, Learning symbolic and Numeric Knowledg, pp. 503-510, INRIA, Antibes, 1989
  • Kodratoff, Y. and Ganascia, J., “Improving the Generalization Step in Learning,” Chapter in the book, Machine Learning:An Artificial Intelligence Approach, R. S. Michalski, J.G. Carbonell and T.M. Mitchell (Eds.), TIOGA Publishing Co., PaloAlto, pp. 215-244, 1983.
slide51
Lebowitz, M., “Experiments with Incremental Concept Formulation:
  • UNIMEN”, Machine Learning, Vol. 2, No. 2, pp. 103-138, 1987.
  • Michalski, R. S., Stepp, R., and Diday, E., "A Recent Advance in Data Analysis: Clustering Objects into Classes Characterized by Conjunctive Concepts," Chapter in the book Progress in Pattern Recognition, Vol. 1, L. Kanal and A. Rosenfeld (Editors), North-Holland, pp. 33-55, 1981
  • Michalski, R. S. and Stepp, R., "Learning from Observation: Conceptual Clustering," Chapter in the book, Machine Learning:An Artificial Intelligence Approach, R. S. Michalski, J.G. Carbonell and T.M. Mitchell (Eds.), TIOGA Publishing Co., PaloAlto, pp. 331-363, 1983.
  • Michalski, R.S. and Kaufman, K.A., "Data Mining and Knowledge Discovery: A Review of Issues and a Multistrategy Approach," Reports of the Machine Learning and Inference Laboratory, MLI 97-2, George Mason University, Fairfax, VA, 1997.
slide52

Formação de ConceitosDado: um conjunto de instâncias e as suas descrições respectivas (apresentados seqüencialmente ou não)Encontrar: agrupamentos que organizem essas instâncias em gruposEncontrar: uma definição intencional de cada grupoEncontrar: uma organização hierárquica desses gruposCom que objetivo: para uma melhor compreensão do mundo e para prever o comportamento do mesmo no futuro

slide53

Características dos Métodos para Formação de ConceitosRepresentação do conhecimento em uma hierarquia conceptual cada nó representa um conceito os nós são ordenados parcialmente segundo a generalidade cada nó dispõe de uma descrição intencional do conceitoClassificação Top-dow das instânciasNatureza não supervisionada das tarefas de aprendizagemIntegração da aprendizagem e da performance a componente performance (classificar uma instância) dirige a aprendizagem (modificação da hierarquia de conceitos)Aprendizagem como uma escalada incremental de colinas

ad