Redes neuronales artificiales autoorganizadas
Download
1 / 21

Redes Neuronales Artificiales Autoorganizadas - PowerPoint PPT Presentation


  • 174 Views
  • Uploaded on

Redes Neuronales Artificiales Autoorganizadas. Autoorganización. Autoorganización es el proceso en el cual, por medio de interacciones locales, se obtiene ordenamiento global. El aprendizaje no supervisado puede ser aplicado solo si hay redundancia presente en el input.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Redes Neuronales Artificiales Autoorganizadas' - betty_james


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

Autoorganizaci n
Autoorganización

Autoorganización es el proceso en el cual, por medio de interacciones locales, se obtiene ordenamiento global.

El aprendizaje no supervisado puede ser aplicado solo si hay redundancia presente en el input.

Redundancia: diferencia entre la máxima cantidad de información que puede ser enviada por el canal de en-trada y el contenido de información actual del canal.


Capacidades
Capacidades

  • Las redes neuronales artificiales con aprendizaje no supervisado pueden realizar lo siguiente:

  • Análisis de similaridad. Una neurona puede decirnos exactamente cuan similar es un nuevo patrón de entrada con respecto a un patrón típico que ha sido visto antes.

  • Análisis de componente principal. Extendiendo lo anterior a varias neuronas, se puede desarrollar un conjunto de ejes coordenados, por medio del cual se aplica este análisis. Cuando se proyectan los patrones de entrada sobre estos ejes, la discrepancia entre el conjunto inicial y el proyectado será tan pequeña como sea posible.


Capacidades continuaci n

  • Agrupación (clustering). Un conjunto de neuronas con sali-das binarias, de las cuales solo una está activa en cada ins-tante, nos puede decir a qué categoria pertenece la entrada actual.

  • Prototipado. La salida de la red es un ejemplo prototípico de la correspondiente categoría.

  • Codificación. La salida de la red puede representar versio-nes codificadas del patrón de entrada usando un menor nú-mero de símbolos (p.ej. bits) tratando de retener el mayor detalle posible de la entrada.

  • Mapas topográficos. Si las neuronas tienen un ordenamien-to geométrico fijo (p.ej. rejilla bidimensional) y si hay solo una neurona activa en cada instante, diferentes patrones de entrada pueden activar diferentes neuronas y patrones de en-trada similares pueden activar neuronas vecinas.

Capacidades (continuación)


Aprendizaje hebbiano no supervisado
Aprendizaje Hebbiano no supervisado sali-das binarias, de las cuales

Por simplicidad consideremos una neurona. Asumamos que se tiene un conjunto de vectores de entrada {I} obtenido de una distribución de entrada P(I). En cada instante un vector I se obtiene de la distribución P(I) y se presenta a la red. Después de un tiempo la red nos podrá decir en qué grado cierto patrón de entrada forma parte de la distribución de entrada.

wi .IiwT . I

 es la medida escalar de similaridad: mayores valores de  indican mayor probabilidad de que la entrada actual I perte-nezca a P(I).


Regla de aprendizaje de oja
Regla de aprendizaje de Oja sali-das binarias, de las cuales

Introduce un término de decaimiento de peso: Wj . Esto da como resultado que cada Wj converja a un valor final.

 Wj =  (Ii - Wj)

El vector de pesos W =[Wj] converge a un vector de longitud unidad cuya dirección corresponde al maximo vector principal (eigenvector) de la matriz de correla-ción.


An lisis de componente principal acp
Análisis de componente principal (ACP) sali-das binarias, de las cuales

El objetivo es encontrar M vectores ortogonales de longi-tud unidad que modelicen la mayor parte posible de la variabilidad de los datos. Típicamente M N de modo tal que este análisis implementa reducción de dimensio-

nalidad que preserva la mayor información de en-trada posible. Usando la regla de Oja, podemos en-contrar el primer compo-nente principal sin necesi-dad de usar la matriz de correlación.


An lisis de componente principal contin
Análisis de componente principal sali-das binarias, de las cuales (contin.)

Para encontrar el segundo, tercer,...componente principal:

Regla de aprendizaje de Sanger:

i

 Wij = i (Ij - kWkj)

k=1

Regla de aprendizaje de Oja:

M

 Wij = i (Ij - kWkj)

k=1

Ambas reglas de aprendizaje convergen a vectores unitarios ortogonales. En la regla de Sanger los vectores peso corres-ponden a los M más importantes componentes principales.


An lisis de componente principal cont
Análisis de componente principal (cont.) sali-das binarias, de las cuales

  • Importancia práctica de las reglas Hebbianas

  • Permiten calcular ACP sin resolver la matriz de correla-ción.

  • Permiten que la red adapte sus vectores peso a una distribución de entrada que pueda ser cambiante. Esto es importante y necesario cuando la entrada proviene de sensores, cuyas características varían con el tiempo.

  • Importancia de ACP en las redes neuronales:

  • Compresión de datos.

  • Reducción de la dimensionalidad.


An lisis de componente principal cont1

Compresión de datos sali-das binarias, de las cuales

La varianza de la salida de cada neurona es una medida de la contribución de la neurona a la calidad de los datos compri-midos en comparación con los originales.

Reducción de dimensionalidad

Permite descubrir agrupamientos de datos más fácilmente. Si la dimensionalidad es muy alta se hace más dificultoso entrenar una red: cuanto más grande la dimensionalidad del espacio de entrada mayor es el número de ejemplos de entrenamiento necesarios (p.ej.al entrenar multicapas de perceptrones).

Análisis de componente principal (cont.)


Aprendizaje competitivo no supervisado
Aprendizaje competitivo no supervisado sali-das binarias, de las cuales

Regla de aprendizaje para redes neuronales que tiene por objetivo formar categorías (temporalmente).

Solo una neurona de salida está activa en cualquier momento: las neuronas de salida tienen interacciones inhibitorias.

Conex.excitatoria

Conex.inhibitoria


Forma simple de aprendizaje competitivo y agrupamiento
Forma simple de aprendizaje competitivo y agrupamiento sali-das binarias, de las cuales

En general la función i/o es del tipo hard limiter, debido a esto la neurona ganadora será “1” y las salidas de las otras neuronas serán todas “0”

Conex.excitatoria

Conex.inhibitoria


Forma simple de aprendizaje competitivo cont
Forma simple de aprendizaje competitivo (cont.) sali-das binarias, de las cuales

La neurona ganadora i* es la neurona de salida con el mayor input neto hi = jWij Ij para el vector actual de entrada I

En consecuencia:

Wi* .I Wi .I,i

Si los vectores peso son normalizados, la definición de gana-dora es equivalente a:

Wi* - I Wi - I ,i

y la regla de aprendizaje es:

 Wij = i (Ij - Wij)


Forma simple de aprendizaje competitivo cont1

Ejemplo de clustering en 3D con vectores normalizados, por lo que estan sobre la esfera unidad. Los tres vectores peso son rotados hacia los centros de gravedad de los tres clusters de entrada.

Forma simple de aprendizaje competitivo (cont.)


Aplicaciones
Aplicaciones lo que estan sobre la esfera unidad. Los tres vectores peso son rotados hacia los centros de gravedad de los tres clusters de entrada.

Cuantización de vectores. Usada para obtener una compre-sión de datos. En general es usada para el almacenamiento y la transmisión de información tal como imágenes y habla. Se particiona un conjunto de vectores de entrada {I} o una dis-tribución P(I) de vectores de entrada en M categorías para

representar cada vector de en-trada con un índice (número). Luego con el índice de cate-goría podemos reconstruír el vector de entrada original.

Los vectores peso representan los vectores prototipo.


Formaci n de mapa topogr fico kohonen
Formación de mapa topográfico (Kohonen) lo que estan sobre la esfera unidad. Los tres vectores peso son rotados hacia los centros de gravedad de los tres clusters de entrada.

Si podemos ordenar los vectores peso en el espacio de entrada de manera tal que neuronas activas vecinas (en el espacio de salida), se correspondan con vectores de entrada vecinos ( en el espacio de entrada), decimos que la red forma un mapa topográfico del espacio de entrada.

Algoritmo de Kohonen

Regla de aprendizaje:

 Wij = (i,i*) (Ij - Wij)

Donde (i,i*) es la función vecindario


Formaci n de mapa topogr fico cont

Sombrero mexicano. Interacción lateral alrededor de la neurona ganadora como función de la distancia: excitación de las neuronas más cercanas, inhibición de las lejanas.

Formación de mapa topográfico (cont.)


Formaci n de mapa topogr fico cont1

Convergencia de un mapa conservador de la topología: neurona ganadora como función de la distancia: excitación de las neuronas más cercanas, inhibición de las lejanas.

Evolución de una grilla bidimensional de 8x8 neuronas entrenada con una distribución de entrada uniforme y cuadrada.

Formación de mapa topográfico (cont.)


Aplicaciones1
Aplicaciones neurona ganadora como función de la distancia: excitación de las neuronas más cercanas, inhibición de las lejanas.

  • Regresión. Puede realizarse si el número de entradas al problema de regresión es igual a la dimensionalidad de la grilla. El algoritmo de Kohonen permite colocar la grilla de neuronas en el espacio de entrada de manera tal que el error (cuadrático) entre los vectores peso y los puntos de la distribución de entrada es mínimo.

  • Agrupamiento (clustering). Ej. a partir de 16 animales diferentes con una red de 10x10 neuronas. La idea central es que durante el entrenamiento la parte de los atributos domine sobre la del nombre del animal.

  • Análisis de agrupamiento con información incompleta. Ej. de la riqueza y nivel de vida en distintos países.


Aplicaciones2
Aplicaciones neurona ganadora como función de la distancia: excitación de las neuronas más cercanas, inhibición de las lejanas.


Algunos consejos
Algunos consejos neurona ganadora como función de la distancia: excitación de las neuronas más cercanas, inhibición de las lejanas.

  • Inicialización.

  • Forma de la grilla de neuronas.

  • Apredizaje con un número pequeño de ejemplos.

  • Incremento de importancia de casos raros.

  • Escalado de componentes del vector.

  • Forzado de la representación en ciertas posiciones en el mapa.

  • Seguimiento de la calidad del aprendizaje.


ad