Redes Neurais

1. Redes Neurais Wladimir Araújo Tavares

2. Características • Degradação progressiva e qualidade. Significa que a performance de um sistema baseado em rede neural diminui lenta e monotonicamente em presença de informações falsas ou ausentes. • Raciocínio por Default. Capacidade de manipular e representar informações incompletas e ausentes. • Generalização. Uma vez uma rede aprendendo um conceito ela é capaz de funcionar com conceitos similares que não foram aprendidos e isto sem esforço suplementar. • Raciocínio impreciso. Capacidade de representar e manipular incertezas

3. Aplicações • Classificação • Reconhecimento de padrões • Predição de Falhas • Otimização • Filtragem de ruído

4. Neurônio Biológico

5. Conceitos importantes • Axônio: responsável pela transmissão de sinais a partir do corpo celular. Em geral são compridos e apresentam poucas ramificações • Dendritos: conduzem sinais para a célula; têm muitas ramificações (zonas receptivas) • Sinapse: local de contato entre neurônios, onde ocorre a transmissão de impulsos nervosos de uma célula para outra • Plasticidade: capacidade de adaptação de um neurônio ao ambiente. Fundamental para as redes neurais. Mecanismos de plasticidade: criação de novas conexões sinápticos; Modificação das sinapses existentes, etc.

6. Neurônio de McCulloch-Pitts

7. Neurônio de McCulloch-Pitts • O neurônio artificial funciona como sendo um circuito binário. A entrada do neurônio também é binária. A atividade do neurônio é tudo ou nada. O neurônio pode estar no estado ativado ou desativado.

8. Conceitos: • [x1,...,xn] são os estímulos. • [w1,...,wn] são os pesos sinápticos. • Σ é a integração sináptica, ou seja, a soma ponderada dos estímulos que produzem um nível de atividade do neurônio. • Ѳ é o limiar. Se a atividade neural exceder o limiar a unidade produz determinada saída. • f é chamada função de transferência ou função excitatória.

9. Função de Transferência

10. Defina o neurônio McCulloch-Pitts, para representar a função booleana E para a seguinte função booleana utilizando a seguinte função de transferência: f(x)=0, x<=0 e f(x)=1, se x>0.

12. Interpretação Geométrica (0,1) (1,1) (0,0) (1,0) X+Y-1=0

14. Interpretação Geométrica (0,1) (1,1) (0,0.5) (0,0) (1,0) (0.5,0) X+Y-1=0

15. Defina o neurônio McCulloch-Pitts, para representar a função booleana OU para a seguinte função booleana utilizando a seguinte função de transferência: f(x)=0, x<=0 e f(x)=1, se x>0.

17. Interpretação Geométrica (0,1) (1,1) (0,0) (1,0) X+Y=0

18. Defina o neurônio McCulloch-Pitts, para representar a função booleana XOR para a seguinte função booleana utilizando a seguinte função de transferência: f(x)=0, x<=0 e f(x)=1, se x>0.

19. Existe Ѳ tal que 1- Ѳ > 0 e 2- Ѳ <= 0 ?

20. Interpretação Geométrica (0,1) (1,1) (0,1) (1,1) (0,0) (0,0) (1,0) (1,0) (0,1) (1,1) (0,1) (1,1) (0,0) (0,0) (1,0) (1,0)

21. Função XOR • O neurônio McCulloch-Pitts consegue representar qualquer função booleana linearmente separável. • Minsk e Papert (1969) escrevem artigo afirmando que o problema da separabilidade linear não poderia ser resolvido por uma rede neural do tipo perceptron.

22. Analise as duas funções booleanas abaixo e veja se cada uma é linearmente separável.

23. Analise a seguinte função booleana com três entradas e diga se ela é linearmente separável.

24. Aprendizagem • Em 1949, o biólogo Hebb propôs um princípio pelo qual o aprendizado em sistemas neurais complexos (biológicos) poderia ser reduzido a um processo puramente local, em que a intensidade das conexões sinápticas é alterada apenas em função dos erros detectáveis localmente.

25. Hipótese de Hebb • Baseada na hipótese proposta por Hebb (um neuropsicólogo) de que a probabilidade de um neurónio disparar esta correlacionada com a possibilidade de este neurónio levar os outros neurónios que estão ligados a si a dispararem também. • Quando isto acontece (um neurónio dispara e leva aqueles que estão ligados a dispararem também) o peso entre eles será fortalecido (aumentado).

26. O conhecimento em um RNA(Rede Neural Artificial) está distribuído por toda a rede, ou seja, nenhum neurônio retém em si todo o conhecimento, mas a sua operação em conjunto permite às RNAS resolver problemas complexos. • Exemplo : Formigas.

27. Regra Delta

28. Algoritmo de Aprendizagem Inicialize os pesos e o limiar com 0. Para cada padrão de entrada e a saída correspondente aplique a regra delta para atualizar os pesos sinápticos até que o resultado esteja satisfatório

29. Treine um neurônio McCulloch-Pitts para aprender a função booleana OR.

30. w1 X w2 saída Y Ѳ bias

31. Inicialize os pesos e o limiar com 0. η = 1 0 X 0 saída Y 0 bias

32. Para a entrada (0,1), a saída desejada deve ser 1. Δw2 = 1*(1-0)*1 = 1 w2 = 0 + 1 = 1. 0 X 0 0*0 + 0*1 – 0 = 0 Y bias 0

33. Para a entrada (1,0), a saída desejada deve ser 1. Δw1 = 1*(1-0)*1 = 1 w1 = 0 + 1 = 1. 0 X 1 1*0 + 0*1 – 0 = 0 Y bias 0

34. Para todas as entradas, o ajuste do peso sináptico obtido produz o resultado desejado. 1 X 1 saída Y bias 0

35. Treine um neurônio McCulloch-Pitts para aprender a função booleana AND.

36. w1 X w2 saída Y Ѳ bias

37. Inicialize os pesos e o limiar com 0. η = 1 0 X 0 saída Y 0 bias

38. Para a entrada (1,1), a saída desejada deve ser 1. Δw1 = 1*(1-0)*1 = 1 w1 = 0 + 1 = 1. 0 X 0 1*0 + 1*0 – 0 = 0 Y bias 0

39. Para a entrada (1,0), a saída desejada deve ser 0. ΔѲ = 1*(-1)*(0-1) = 1 Ѳ = 0 + 1 = 1. 1 X 0 1*1 + 1*0 – 0 = 1 Y bias 0

40. Para a entrada (1,1), a saída desejada deve ser 1. Δw2 = 1*(1)*(1-0) = 1 w2= 0 + 1 = 1. 1 X 0 1*1 + 1*0 – 1 = 0 Y bias 1

41. Para todas as entradas, o ajuste do peso sináptico obtido produz o resultado desejado. O neurônio está treinado corretamente. 1 X 1 X+Y-1 Y bias 1

42. Regra Delta • Pode-se provar que esta regra converge em número finito de passos quando: • Os dados de treinamento são linearmente separáveis. • η é suficientemente pequeno. • Quando os dados de treinamento não são linearmente separáveis falha em convergi.

43. Modelo Perceptron • O Perceptron, proposto por Rosenblatt, é composto pelo neurônio de McCulloch-Pitts, com  Função de Limiar, e Aprendizado Supervisionado. Sua arquitetura  consiste na entrada e uma camada de saída. • A limitação desta Rede Neural se encontra na reduzida gama de problemas que consegue tratar: classificação de conjuntos linearmente separáveis.

44. O algoritmo de aprendizagem converge em um número finito de passos que classifica corretamente um conjunto de treinamento linearmente separável. • A superfície de decisão(curva de separação) forma um hiperplano, ou seja, para um dos lados está uma classe e para o outro lado está a outra classe.

45. Superfície de Decisão • Podemos “ver” o perceptron como uma superfície de separação em um espaço N-dimensional de instâncias. • Um único perceptron consegue separar somente conjuntos de exemplo linearmente separáveis.

48. Variáveis e Parâmetros: X(n) = vetor de entrada (m+1)-por-1; W(n) = vetor de pesos (m+1)-por-1; b(n) = bias; y(n) = resposta real; d(n) = resposta desejada; e(n) = erro na saída da unidade; h = taxa de aprendizagem, uma constante positiva entre 0 e 1; n = contador dos passos do algoritmo.

49. Funções Linearmente Separáveis

50. 1 - Inicialização: Inicializar os valores do vetor w e da taxa de aprendizado h. 2 - Repetir: 2.1- Apresentar o vetor de entrada X(n) e a saída desejada d(n), de cada par do conjunto de treinamento T = {(x,d)} 2.2- Calcular a resposta real do Perceptron, da seguinte forma: y(n) = f(W(n)X(n)+b(n)), onde f(.) é a Função de Limiar utlizada como função de ativação. 2.3- Calcular o erro da saída da unidade da seguinte forma: e(n) = d(n) - y(n);