Redes Neurais

1. Redes Neurais Luana Bezerra Batista luana@dsc.ufcg.edu.br

2. Roteiro • Introdução • Neurônio Artificial • Perceptron • Perceptrons de Múltiplas Camadas • Algoritmo Backpropagation • Mapas Auto-Organizáveis

3. Introdução • Redes Neurais são modelos computacionais inspirados no cérebro humano que aprendem através de exemplos • Compostas por várias unidades de processamento (‘neurônios’) • Interligadas por conexões (‘sinapses’) • Cada conexão possui um peso associado (‘peso sináptico’)

4. Introdução Camada intermediária • Arquitetura genérica de uma RN Camada de entrada Camada de saída

5. x1 w1i v(i) xj wji o(i) wni xn f(.) å f(v(i)) = 1, se v(i)0 f(v(i)) = 0, se v(i)<0 v ( i ) = w ´ x ji j o ( i ) = f ( v ( i ) ) Neurônio Artificial • Modelo de McCulloch-Pitts (1943)

6. Perceptron • Desenvolvido por Rosemblat (1958) • Forma mais simples de uma Rede Neural utilizada para classificação de padrões linearmente separáveis • Utiliza o modelo de neurônio de McCulloch-Pitts

7. Perceptron • Problemas linearmente separáveis

8. Perceptron • Algoritmo de Treinamento (Supervisionado) iniciar todas as conexões com wj = 0; repita para cada padrão de treinamento (x, d) faça calcular a saída o se (d o) então ajustar pesos até o erro ser aceitável

9. Perceptron • Ajuste dos pesos por correção do erro • wji =  xj (dj - oj ), se (d  o) • Onde (dj - oj ), representa o erro • e  é a taxa de aprendizado • wji = 0, se (d = o)

10. Perceptron • Algoritmo de Teste Para cada padrão xfaça apresentar x a entrada da rede calcular a saída o se (o=1) então x classe 1 senão x classe 2

11. Perceptron • Perceptrons de uma única camada resolvem apenas problemas linearmente separáveis • Grande número de aplicações importantes são não-linearmente separáveis

12. Perceptron • Exemplo: problema XOR

13. Perceptron • Solução: perceptrons de múltiplas camadas

14. Perceptrons de múltiplas camadas • Uma rede neural MLP (Multi-Layer Perceptrons) é uma extensão do Perceptron proposto por Rosenblatt, composta de várias camadas de neurônios • Arquitetura de rede neural mais utilizada

15. Perceptrons de múltiplas camadas • Contém três tipos de camadas: • camada de entrada • camada(s) intermediárias(s) • camada de saída • Qualquer neurônio de uma camada pode interligar-se com outro neurônio da camada seguinte

16. Perceptrons de múltiplas camadas Camada intermediária Camada de entrada Camada de saída

17. Perceptrons de múltiplas camadas • O treinamento de uma rede neural MLP é realizado de maneira supervisionada com o algoritmo Backpropagation (ou retropropagação do erro) • Nesse algoritmo, a determinação do sinal de erro d é um processo recursivo que se inicia nos neurônios da camada de saída e vai até os neurônios da primeira camada intermediária

18. Backpropagation • O algoritmo Backpropagation opera em dois passos: 1) Forward • um padrão é apresentado à camada de entrada da rede e propagado em direção à camada de saída • a saída obtida é comparada com a saída desejada para esse padrão particular. Se esta não estiver correta, o erro é calculado

19. Backpropagation 2) Backward • o erro é propagado a partir da camada de saída até a camada de entrada • os pesos das conexões dos neurônios das camadas internas vão sendo modificados conforme o erro é retropropagado

20. Backpropagation • Para os neurônios das camadas intermediárias, onde não existem saídas desejadas, o sinal do erro d é determinado recursivamente em termos dos sinais dos erros dos j neurônios diretamente conectadas a eles e dos pesos destas conexões

21. Backpropagation • Erro dos neurônios na camada de saída • Erro dos neurônios nas camadas intermediárias • Ajuste dos pesos

22. Backpropagation

23. Backpropagation • Vantagens • simples de implementar • boa capacidade de generalização • Desvantagens • dificuldade de justificar as respostas • custo computacional significativo • baixa velocidade de aprendizado

24. Mapas Auto-Organizáveis • O mapa auto-organizável (SOM: Self-Organizing Map) é um tipo especial de rede neural não-supervisionada onde é realizado um processo de aprendizagem competitiva • O neurônio mais próximo do padrão de entrada (com a menor distância Euclidiana) é declarado vencedor

25. Mapas Auto-Organizáveis • Segundo Haykin (2001), o principal objetivo do SOM é transformar um padrão de entrada, de dimensão arbitrária, em um mapa discreto uni- ou bi-dimensional

26. Mapas Auto-Organizáveis Camada computacional • SOM bidimensional Camada de entrada

27. Mapas Auto-Organizáveis • Os mapas auto-organizáveis possuem duas propriedades principais: • Quantização vetorial (redução do espaço de entrada) • Agrupamento de padrões similares em regiões geograficamente próximas

28. Mapas Auto-Organizáveis • Algoritmo • Inicialize os vetores de pesos com valores aleatórios wj = [wj1, wj2, …, wjm], j=1,2,…n • Onde m é a dimensão do espaço de entrada e n é o número total de neurônios do mapa • Restrição: os vetores de pesos devem ser diferentes • Para cada padrão de entrada x = [x1, x2, ...xm] • encontre o neurônio mais próximo desse padrão (neurônio vencedor i(x)=arg min||x-wj||) • atualize os pesos • Repita o passo 2 até que não sejam observadas modificações significativas no mapa

29. Mapas Auto-Organizáveis • Ajuste dos vetores de pesos • wj = h(i(x))(x - wj ) • Onde h(i(x)) é a função de vizinhança que mede o grau de participação dos neurônios vizinhos a i(x) no processo de aprendizado

30. Mapas Auto-Organizáveis • Experimento: • agrupamento de 16 animais em 3 categorias • Caçadores • Pássaros • Espécies pacíficas • SOM 10x10 • 2000 iterações

31. Atributos

32. Mapa Contextual Caçadores Pássaros Espécies pacíficas

33. Referências • Mitchell, T., Machine Learning. McGraw-Hill, 1997 • Haykin, S. Redes Neurais – Princípios e prática. 2. Ed. Porto Alegre, RS: Bookman, 2001