Perceptrón Simple – Redes Neuronales con Aprendizaje Supervisado

Presentación para cátedra de Inteligencia Artificial.
Tema de la clase: Redes Neuronales de Aprendizaje Supervisado, más específicamente. Perceptron Simple.
Author: Andrea Lezcano
Tutor de Cátedra: Ing. Sergio Pohlmann

1. Perceptrón Simple Redes Neuronales con Aprendizaje Supervisado

2. Inteligencia Artificial Tutor de Cátedra : Ing. Sergio Pohlmann Alumno : Andrea Fidela Lezcano Irala

3. Algunas Posibles Aplicaciones Espacio Aéreo Automotriz Pilotos automáticos de alto desempeño Simulaciones y predicciones de trayectoria de vuelo Sistemas de control de vuelo Detección de fallas de componentes de la nave Sistemas automáticos de navegación Comando por voz Bancos Lectores de documentos Evaluadores de asignación de crédito Identificador de firmas.

4. Algunas Posibles Aplicaciones Telecomunicaciones Electrónica Compresión de datos e imágenes Servicios automáticos de información T raducción de lenguaje hablado en tiempo real Predicción de secuencias de códigos Control de procesos Análisis de fallas de circuitos Visión de máquina Síntesis de voz Modelado no lineal

5. Algunas Posibles Aplicaciones Robótica Transportación Control de trayectorias Control de manipuladores Sistemas de visión Sistemas ruteadores Diagnóstico de motores Tiempos y movimientos Voz Reconocimiento de voz Compresión de voz Sintetizadores de texto a voz Seguridad Reconocimiento de rostros Identificación Acceso de personas

6. Algunas Posibles Aplicaciones Financieros Manufactura Evaluación de bienes raíces Consultor de prestamos Evaluación de bonos corporativos Análisis del uso de la línea de crédito Predicción de tipo de cambio Control de procesos de manufactura Análisis y diseño de productos Diagnóstico de máquinas y procesos Identificación de partes en tiempo real Sistemas de inspección de calidad Predicción de fin de proceso Análisis de mantenimiento de máquinas Modelado de sistemas dinámicos

7. Algunas Posibles Aplicaciones Medicina Otros… Detección de cáncer mamario o en la piel Análisis de EEG y ECG Diseño de prótesis Optimización de tiempos de trasplante Reducción de gastos en hospitales Oficinas postales Verificación remota Predicciones Climatológicas Filtrado de ruido ServoControl etc.

8. Modelos existentes de RNA Perceptrón Adaline Perceptrón multicapa Memorias asociativas Máquina de Boltzmann Máquina de Cauchy Propagación hacia atrás ( backpropagation ) Redes de Elman Redes de Hopfield Red de contrapropagación Redes de neuronas de base radial Redes de neuronas de aprendizaje competitivo Mapas Autoorganizados (Redes de Kohonen ) Crecimiento dinámico de células Gas Neuronal Creciente Redes ART ( Adaptative Resonance Theory )

9. Clasificación de las RNA Según su Topología o Patrón de Conexiones pueden ser: Redes de propagación hacia adelante Monocapa Multicapa Redes Recurrentes Según su Tipo de Entrada pueden ser: Redes Analógicas Redes Discretas Redes Híbridas //Entrada Analógica y Salida Discreta

10. Clasificación de las RNA Según su Tipo de Aprendizaje pueden ser: Aprendizaje Supervisado Aprendizaje por corrección de error. Aprendizaje por refuerzo. Aprendizaje estocástico. Aprendizaje No Supervisado Aprendizaje Hebbiano . Aprendizaje competitivo y cooperativo. Aprendizaje Híbrido //Fase Supervisada y No Supervisada

11. Clasificación de las RNA Según el Aprendizaje que Observan: Redes OFF LINE //son más estables, poseen pesos estáticos Se distingue entre la fase de aprendizaje y la fase de operación Redes ON LINE //se debe estudiar estabilidad, pesos dinámicos No se distingue entre la fase de entrenamiento y de operación

12. El Perceptrón se sitúa en: Según su Topología o Patrón de Conexión: Red de propagación hacia adelante Monocapa Según su Tipo de Entrada: Red Híbrida // su entrada es analógica y su salida es discreta Según su Tipo de Aprendizaje: Aprendizaje Supervisado

13. Entonces podemos decir que… El Perceptrón es un tipo Red Neuronal Monocapa Híbrida de Aprendizaje Supervisado. Ahora veamos las analogías de la Red Neuronal Biológica y las Redes Neuronales Artificiales para comprender mejor como trabaja y aprende el Perceptrón…..

14. Inspiración Biológica “Entender el cerebro y emular su potencia”

15. Bases Biológicas El cerebro humano es un sistema súper complejo y es el más poderoso que existe. El proceso de información biológico es robusto y tolerante a fallos. Los procesadores de información biológicos son flexibles, no necesitan volver a ser programados cuando se cambia de entorno o ambiente, sino que ellos mismos se reajustan al entorno. Son capaces de trabajar con información incompleta, con ruido e inconsistente. La maquinaría que realiza estas funciones es altamente paralela, pequeña, compacta y disipa poca cantidad de energía. Esta maquinaria biológica es la célula del cerebro llamada neurona.

16. Neurona Biológica

17. Funcionamiento de la neurona biológica Las Neuronas biológicas se componen de: Sinapsis, Dendritas, Axones y Cuerpos Celulares. Un axón es el encargado de transportar la salida de la neurona hasta las conexiones de otras neuronas Las dendritas facilitan la conexión con los axones de otras neuronas. Una neurona no hace nada, a menos que la influencia colectiva de todas sus entradas alcance un nivel de umbral. Los axones influyen en las dendritas sobre unos espacios estrechos llamados Sinapsis. La estimulación en unas sinapsis hace que las neuronas se disparen y en otras desalienta el disparo.

18. Analogía de las RNA y Redes Biológicas Las señales que llegan a la sinapsis son las entradas a la neurona. Dichas señales son ponderadas (atenuadas o modificadas) a través de un parámetro, denominado PESO, asociado a la sinapsis correspondiente . Las señales pueden excitar a la neurona (sinapsis con peso positivo) o inhibirla (peso negativo). El efecto es la suma de las entradas ponderadas. Si la suma es igual o mayor que el umbral de la neurona, entonces la neurona se activa. Cada neurona se activa o no se activa

19. Representación Gráfica

20. Topologías Varias

21. Perceptrón Simple Definiciones, Características y Algoritmos de Aprendizaje.

22. ¿Qué es una RNA? Es un arreglo masivo de elementos de procesamiento simple llamados neuronas, los cuales poseen un alto grado de inter conectividad entre sus elementos, en los que la información puede fluir en cascada o en retroceso. Estos arreglos están inspirados en la naturaleza biológica de las neuronas, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico.

23. Característica de las RNA Aprendizaje Adaptativo. Capacidad de aprender tareas basada en un entrenamiento o una experiencia inicial. Auto organización. La red crea su propia organización o representación de la información que recibe mediante una etapa de aprendizaje. Tolerancia a fallos. La red puede funcionar con información incompleta o errónea o a pesar de algunos elementos inoperantes. Operación en tiempo real. La red procesa la información en paralelo y muy rápido Operación paralela.

24. Red Perceptrón. Propuesta Original En 1943 Warren Mc Culloch /Walter Pitts .- Originaron el primer modelo de operación neuronal. La característica principal del modelo neuronal de Warren es que la suma ponderada de las señales de entrada es comparada con un umbral para determinar la salida de la neurona. Cuando la suma es mayor o igual al umbral, la salida es igual a 1. Cuando la suma es menor que el umbral, la salida es 0

25. Contribución en 1950 de Frank Rosenblatt Su contribución fue: Una regla de aprendizaje para entrenar el perceptrón en la solución de problemas de reconocimiento. La regla de aprendizaje simple convergirá a los pesos correctos de la red si es que existen los pesos que solucionan dicho problema. La regla de aprendizaje es simple y automáticamente la red aprende de sus errores.

26. Características del Perceptrón Aprendizaje Supervisado (offline) Aprendizaje por corrección de error Reconocimiento de patrones sencillos Clasificación de patrones linealmente separables

27. Arquitectura del Perceptrón Dos Capas 1a Capa compuesta de varias neuronas 2a. Capa formada por una sola neurona Función de transferencia en escalón . p 1 p 2 w 1,1 w 1,2 n a  b 1

28. El Perceptrón Bloque de construcción básico Compuesto por el peso sináptico y la neurona Los Pesos ponderan los valores de las entradas La combinación de los pesos y la función de transferencia F(x), transforma las entradas a la salida “O” necesaria El entrenato es a traves de los cambios en los pesos hasta que el lograr la salida deseada

29. ¿Qué tipo de problemas resuelve? Un hiperplano es un objeto de dimensión n-1 que actúa en un espacio de dimensión n. En general un perceptron de n entradas puede ejecutar cualquier función que esté determinada por un hiperplano que corte un espacio de dimensión n. ¿Implicaciones?

30. Regla del Perceptrón Propuesta de Warren Mc Culloch y Walter Pitts

31. Regla de Aprendizaje

32. Ejemplo 1.

33. Punto de Partida Presentar p 1 a la RNA: Inicialización aleatoria de los pesos Clasificación Incorrecta

34. Regla de Aprendizaje Tentativo • Conjunto 1 w para p 1 – No es estable • Agregar p 1 a 1 w Regla Tentativa:

35. Segundo Vector de Entrada (Clasificación Incorrecta) Modificación de la Regla:

36. Tercer Vector de Entrada Los patrones están ahora correctamente clasificados (Clasificación Incorrecta)

37. Regla del mínimo error o delta Contribución de Frank Rosenblatt

38. Unificación de la Regla de Aprendizaje El bias es un PESO con entrada de 1

39. Perceptrones de Múltiples Neuronas Para actualizar la fila i de la matriz de Pesos: Forma Matricial:

40. Ejemplo 2. Conjunto de Entrenamiento Pesos Iniciales

41. Recordando la función de transferencia se define como: n=Wp+b n

42. Época y Bias Se le llama época a cada iteración de la red por el lote de entradas en la que haya ajuste de variables. El ajuste de variables se puede hacer después de la presentación de vectores de entrada individuales o por lotes. La variable  también es llamada elemento de tendencia o ' bias ‘, que es el que mueve el hiperplano de decisión a lo largo del eje 'x' o ‘y’. A esta variable se le denomina en muchas ocasiones con el símbolo ‘ b ’.

43. Algoritmo de entrenamiento del Perceptrón repetir para cada par de los vectores de entrenamiento (x, t) evaluar la salida a i cuando x i es la entrada al perceptrón si a  t, entonces forme un nuevo vector de pesos w’ de acuerdo a... la ecuación correspondiente de otra manera, no haga nada fin (del si) fin (del para) hasta que a = t para todos los vectores. Los valores de los pesos para este caso están restringidos entre -1 y 1.

44. ¿Qué pasa si la función que queremos realizar ahora es la siguiente? x1 x2 (0,0) (1,0) (1,1) (0,1) 1 1 ¿Esta función sería realizable con un Perceptron , o no?

45. La capacidad de la Regla del Perceptrón La regla del Perceptrón siempre convergirá a los pesos que cumplan con la clasificación deseada, asumiendo que tales pesos existan. NOTA: Recordar que la longitud del vector de pesos no es importante, lo único importante es su dirección.

46. Soluciona Problemas linealmente Separables

47. Incapaz de Resolver Problemas no linealmente separables

48. Limitaciones del Perceptrón Simple: El Perceptrón básico de dos capas o dimensiones solo pude establecer dos regiones separadas por una frontera lineal en el espacio de patrones de entrada, donde se tendría el hiperplano . 48

49. Solución a problemas no lineales Un Perceptrón con tres niveles de neuronas puede formar cualquier región convexa en este espacio. Un Perceptrón con cuatro capas puede generar regiones de decisión arbitrariamente complejas. 49

50. 50 Clasificación con el Perceptrón Multicapa

51. ¿Preguntas? Google es tu mejor amigo 

52. Ejercicios Propuestos Con un “poco” de ayudita extra para saber si vas por el buen camino