Análise de Clusters – Introdução Método K-means

1. Análise de Clusters – Introdução Método K-means AULA 14 DATA MINING

2. Agrupamento -Análise de Clusters Doença X a1 a1 a2 a3 Doença Y a7 a2 . . . a9 a10 a8 a5 a4 a6 a11 Doença Z Nome Sexo Sintomas Conceito = Doença Número de Clusters = 3

3. Análise de Clusters: Objetivos • Compreensão dos dados • Existe algum conceito inerente a cada grupo. • Que conceito é este ? • Utilidade em outras tarefas Cada cluster pode ser representado por um objeto protótipoque caracteriza o cluster • Sumarização : Algoritmos aplicados em grandes volumes de dados podem ser aplicados apenas aos protótipos, reduzindo assim o tempo de execução • Compressão : o objeto protótipo representa cada objeto dentro do seu cluster • Otimização do cálculo dos vizinhos mais próximos: Se dois protótipos estão distantes então os objetos nos respectivos clusters também estão distantes. Os objetos mais próximos do objeto X devem ser procurados no cluster correspondente ao protótipo mais próximo de X.

4. Clusterização versus Classificação • Classificação • Aprendizado Supervisionado • Amostras de treinamento são classificadas • Número de Classes é conhecido • Aprendizado por Exemplo • Clusterização • Aprendizado Não Supervisionado • Aprendizado por Observação

5. Tipos de Agrupamentos • Particionais versus Hierárquicos • Particionais: clusters são disjuntos • Hierárquicos: • Clusters possuem subclusters – organizados em árvore • Cada cluster (nó interno da árvore) é a união de seus filhos • Exclusivos versus Não-exclusivos versus Fuzzy • Exclusivos: cada objeto pertence a um único cluster • Não exclusivos: existem objetos que são associados a diferentes clusters • Fuzzy : objetos são associados a um cluster com um certo grau de pertinência • Completos versus Parciais • Completos: cada objeto pertence a algum cluster • Parciais: existem objetos que não estão associados a nenhum cluster (outliers, ruidos, sem interesse)

6. O que é um cluster ? Como definir a noção de Cluster? Protótipos Bem separados Um cluster é um conjunto de objetos no qual cada objeto está mais próximo (ou é mais similar) a objetos dentro do cluster do que qualquer objeto fora do cluster. Baseados em Protótipos Um cluster é um conjunto de objetos no qual cada objeto está mais próximo ao protótipo que define o cluster do que dos protótipos de quaisquer outros clusters. Em geral: Protótipo = centróide Os clusters encontrados tendem a ser globulares.

7. O que é um cluster ? • - Os dados podem ser representados por um grafo, onde os vértices são objetos e existe aresta de a para b se aestá mais perto de b do que de outros objetos no conjunto. • Estar pertosignificaestar diretamente conectado. • Um cluster é uma componente conexa do grafo, isto é, um conjunto de objetos que estão conectados um no outro, mas que não estão conectados com nenhum outro objeto de outro cluster. Baseados em Grafos Boa definição quando os clusters são irregulares e entrelaçados. Problema: quando os dados têm ruidos, Pode haver distorções nos clusters Exemplo: dois clusters distintos podem se transformar num único cluster (os dois clusters são ligados através de uns poucos Outliers, como mostrado na figura). b a a está perto de b d(a,b) < α

8. O que é um cluster ? Esta definição é utilizada quando os clusters são irregulares ou entrelaçados e quando ruido e outliers estão presentes. Uma definição baseada em grafos não seria adequada neste caso, pois os outliers poderiam fazer uma ponte entre as regiões transformando-as em um único cluster. Os outliers seriam absorvidos nos clusters. Baseados em Densidade Um cluster é uma região densa rodeada por uma região de baixa densidade. No exemplo, temos 3 clusters = 3 regiões densas A ‘’ponte’’ de outliers ligando as duas esferas foi ‘’dissolvida’’ nos outros outliers.

9. O que é um cluster ? Clusters Conceituais Os objetos de um cluster possuem uma propriedade que é derivada do conjunto total de objetos. No exemplo, podemos distinguir 3 clusters: o triângulo, o retângulo e os dois anéis. Um cluster representa um conceito. Definição utilizada em Reconhecimento de Padrões.

10. Tipos de Técnicas de Clusterização • Particionamento • K-means: • K-medóides: PAM, CLARA, CLARANS Particional e baseada em protótipos. Encontra um número k de clusters (k é fornecido pelo usuário) que são representados por seus centróides.

11. Particionamento • BD com n amostras • K = número de clusters desejado ( parâmetro ) K ≤ n

12. Tipos de Técnicas de Clusterização • Hierárquicas Aglomerativas Produzem agrupamentos hierárquicos começando com clusters unitários e repetidamente aglutinando clusters próximos dois a dois até chegar no número k de clusters solicitado pelo usuário. Exemplos: BIRCH, CURE, CHAMELEON, ROCK...)

13. Hierárquicos Aglomerativos • BD com n amostras • K = número de clusters desejado ( parâmetro ) K ≤ n

14. Tipos de Técnicas de Clusterização • Hierárquicas Divisórias Produzem agrupamentos hierárquicos começando com um cluster único contendo todo o conjunto de objetos e repetidamente dividindo os clusters em duas partes de acordo com algum critério de similaridade até chegar no número k de clusters solicitado pelo usuário. Exemplo: algoritmo DIANA

15. Tipos de Técnicas de Clusterização • Por densidade • Adequados para identificar clusters de formato arbitrário. Robustos com respeito a ruídos e outliers. • Regiões densas = clusters Regiões de baixa densidade = ruídos e outliers • Um ponto pertence a uma região densa se numa vizinhança de raio α pequeno existem pelo menos M objetos (M dado pelo usuário). • O número k de clusters não precisa ser dado pelo usuário. É determinado pelo algoritmo. Exemplos: DBSCAN, OPTICS, DENCLUE

16. Dados de Treinamento Matriz de dados padronizados Matriz de dissimilaridade Distância Euclidiana d(x,y) = (x1-y1)2 + (x2-y2)2 + .... + (xp – yp)2 Outras distâncias : Manhattan, Minkowski, Ponderada

17. m Outras distâncias • Manhattan • Minkowski • Distância em geral Qualquer função d(x,y)  N que satisfaz as seguintes propriedades: • d(i,j) ≥ 0 • d(i,i) = 0 • d(i,j) = d(j,i) • d(i,k) ≤ d(i,j) + d(j,k) (desigualdade triangular) • Distância poderada d(x,y) = |x1-y1|+ |x2-y2| + .... + |xp – yp| d(x,y) = (x1-y1)m + (x2-y2)m+ .... + (xp – yp)m d(x,y) = p1 (x1-y1)2 + p2 (x2-y2)2+ .... +pk (xk – yk)2

18. Outras medidas de similaridade • Para documentos • p1,p2, p3, ... : vocabulário (palavras) • Um documento = vetor (n1,n2,...,nk) • ni = número de vezes que a palavra i aparece no documento • Medida de similaridade entre documentos d1,d2 = cos(d1,d2) = d1.d2 |d1| |d2| d1 θ d2

19. Exercicio • Sejam X1 = (1,2) e X2 = (4,6). Calcula as distâncias euclidianas, Minkowski com m = 3 e Manhattan entre X1 e X2. • Ilustre no plano xy os segmentos representando tais distâncias.

20. Algoritmo K-means Exemplo K = 3 + + + 2ª Iteração 1ª Iteração

21. Algoritmo K-Means • Selecione k pontos como centróides iniciais • Repeat • Forme k clusters associando cada objeto a seu centróide mais próximo • Recompute o centróide de cada cluster • Until Centróides não apresentam mudanças Centróide = centro de gravidade do cluster Coordenada i = média aritmética das coordenadas i de seus objetos constituintes.

22. Observações • Boa parte dos clusters já convergem nos primeiros passos do algoritmo, ficando somente uma quantidade pequena de clusters que ainda modificam. • Assim, a condição 5 do algoritmo é substituida por : “até que somente 1% dos objetos mudam de clusters”.

23. Objetivo • Erro (x) = d(x,ci) = distância de x até o centróide ci de seu cluster Ci • Objetivo do método K-means • Minimizar a soma dos erros (SSE = sum of square errors) • Maximizar a coesão (no caso de documentos) SSE =ΣΣ d(x,ci)2 Coesão = ΣΣcoseno(x,ci)2 K K x ɛ Ci i = 1 x ɛ Ci i = 1

24. Observação • Nem sempre o K-means consegue minimizar o SSE • Isto depende muito da escolha dos centróides iniciais.

25. Técnicas para inicializar os centróides • Escolha aleatória – diversas rodadas do k-means até encontrar a escolha que produz o menor SSE (ou maior coesão). • Nem sempre funciona- depende dos dados e do número k de clusters que se quer encontrar. • Utilizar uma amostra, aplicar um método de clusterização hierárquica sobre a amostra. Centróides iniciais = centróides dos clusters das amostras. • Funciona se a amostra é pequena (métodos hierárquicos são computacionalmente caros !) e K é relativamente pequeno com relação ao tamanho da amostra.

26. Exercício 1 2 1 3 4 5 6 7 8 9 12 13 11 14 15 10 16 17 Achar 3 clusters utilizando o k-means