Perceptrón Multicapa

1. Perceptrón Multicapa Aplicaciones

2. Compresión Clasificación Datos originales Peligro Calma MLP-1 MLP Datos comprimidos MLP Estado de un reactor nuclear Datos originales Perceptrón Multicapa ¿Para qué se puede usar un perceptrón multicapa? Aproximación de funciones Radiación solar MLP Latitud Longitud ... Altitud

3. A New Compression Technique Using an Artificial Neural Network B. Verma, M. Blumenstein, S. KulkarniGriffith University - Australia • Objetivo: presentar un método basado en Redes Neuronales para compresión de imágenes • Problemática: transmisión de imágenes como proceso costoso  reducir la cantidad de bits  aumentar el volumen de datos transmitidos en un lapso • Superioridad de las redes neuronales frente a datos incompletos o con ruido

4. Compresión de imágenes por encoder/decoder • Entrada=salida (autoasociador) • M << N

5. Compresión de imágenes por encoder/decoder • Entrada: ventanas de 8x8 de la imagen (blanco y negro). Las entradas similares fueron eliminadas • Parámetros: • Cantidad de neuronas en la capa oculta: 20 • Pares del conjunto de entrenamiento: entre 100 y 400 • Velocidad de aprendizaje: 0.2 • Momentum: 0.2

6. Compresión de imágenes con wavelets “Improving Wavelet Image Compression with Neural Networks”, Christopher Burges, Patrice Simard y Henrique Malvar Transferencia de imágenes comprimidas con wavelets • Wavelet es una transformada, como Taylor o Fourier • señal = a f1(x) + b f2(x) + c f3(x) + ... • Se transmiten los coeficientes (a,b,c) discretizados y codificados • Si se consigue codificarlos con menos bits, la imagen ocupa menos.

7. Compresión de imágenes con wavelets • Con un MLP se intenta predecir el siguiente coeficiente a partir de los anteriores Se logra que el residuo (lo que se transmite) sea mucho más chico, y pueda ser codificado con menos bits

8. Compresión de imágenes con wavelets -Predictor • Una capa oculta (20 unidades) y una unidad de salida, sigmoideas • Las unidades de entrada corresponden al contexto del coeficiente a predecir (24 / 42 unidades). • Valores de velocidad de aprendizaje: 0.1; 0.01 • Se entrena una red por cada subbanda de detalle de resolución 0 y 1 • Entrenamiento con un conjunto fijo de16 imágenes. Testeo 7 imágenes • Conjunto de entrenamiento para LH0: 150.000 patrones (con más patrones el resultado no mejoraba) • Medida de error: Error Cuadrático Medio

9. Compresión de imágenes con wavelets Resultados • Buena calidad de la imagen reconstruida • Mejora la tasa de compresión para la misma calidad de imagen • El uso del predictor incorpora un tiempo adicional de procesamiento

10. Reconocimiento de voz • Modelo más usado: Hidden Markov Model • Un Modelo de Markov es un Autómata Finito, con probabilidades asignadas a las transiciones • Si: estado i • aij: transición entre el estado i y el estado j • En un Hidden Markov Model no podemos saber en qué estado estamos. • A partir de algunos datos tenemos una distribución de probabilidad sobre los estados.

11. Reconocimiento de voz qi: estado i P(qi|qj): probabilidad de pasar del estado i al estado j u: emisión bi(u): probabilidad de obtener la emisión u en el estado i Fonema Probabilidad de que el fonema j aparezcadespués del fonema i Sonido Probabilidad de que el fonema i sea pronunciado con el sonido u

12. Reconocimiento de voz “"An Introduction to HMM/Connectionist Continuous Speech Recognition", Nelson Morgan and Hervé Bourland • Modelos híbridos: Utilizan un MLP para estimar la probabilidad de que un sonido x corresponda a un fonema i • Entrada: Características del sonido • Salida: Fonema que representa el sonido {0,0,...,1,...,0} Se puede demostrar que entrenando de esta manera se consigue una red cuya salida es la probabilidad de que la entrada pertenezca a cada una de las clases {0.2, 0.4, 0.1, ...}  = 1. • Nelson Morgan • 1988 (Paper original): Precisión 30% • 1995: Precisión 70% • 9 x 26 entradas • 500 – 4000 unidades en la capa oculta • 61 salidas

13. Reconocimiento de voz • Características importantes • Actualización on-line • Cross validation para mejorar la generalización y evitar el sobreentrenamiento • Conjunto de 10%-20% de los patrones de entrenamiento para validación • Después de cada época se calcula el error en ese conjunto. • Si el error no mejoró en ese conjunto, se reduce la velocidad de aprendizaje • Es muy importante la representación de la entrada • Características dinámicas (que dependen de la secuencia de frames) • Más de un frame por vez (información de contexto) • Función de energía: entropía o Kullback-Leibler

14. Calibración de cámara de video A Non-parametric Method for Video Camera Calibration Using a Neural Network", Enrique Segura A partir de una imagen de video, un robot tiene que deducir la distancia y la orientación respecto de un objeto Características: • No paramétrico • No requiere estimación de parámetros (distorsión de la lente, distancia focal, etc) • Método aproximado • La precisión aumenta con el tamaño del conjunto de entrenamiento

15. Calibración de cámara de video f(x,y) = (d,θ,h) x,y coordenadas de la cámara (CCD) d,θ distancia y ángulo al objeto h tamaño del objeto Se utiliza un MLP para aproximar la función f. Una capa oculta, unidades sigmoideas, aprendizaje con el algoritmo SAGA (simulated annealing + gradient descent + adaptative growing)