REDES NEURONALES DE APRENDIZAJE NO SUPERVISADO HEBB

REDES DE APRENDIZAJE NO SUPERVISADO

1. UNIDAD I UNIDAD I
REDES DE APRENDIZAJE REDES DE APRENDIZAJE
NO SUPERVISADONO SUPERVISADO
INTRODUCCIÓN INTRODUCCIÓN

2. Aprendizaje en Aprendizaje en
Redes NeuronalesRedes Neuronales
nEl aprendizaje es esencial para El aprendizaje es esencial para
la mayoría de las arquitecturas la mayoría de las arquitecturas
de redes neuronales; por lo que de redes neuronales; por lo que
la elección de un algoritmo de la elección de un algoritmo de
aprendizaje es un punto central aprendizaje es un punto central
en el desarrollo de una red.en el desarrollo de una red.

3. Aprendizaje Aprendizaje
nEl aprendizaje implica que una El aprendizaje implica que una
unidad de procesamiento es unidad de procesamiento es
capaz de cambiar su capaz de cambiar su
comportamiento entrada/salida comportamiento entrada/salida
como resultado de los cambios como resultado de los cambios
en el medio. en el medio.

4. AprendizajeAprendizaje
El aprendizaje puede ser:El aprendizaje puede ser:
nSupervisadoSupervisado, se provee una , se provee una
respuesta correcta durante su respuesta correcta durante su
entrenamiento.entrenamiento.
nNo supervisadoNo supervisado, el objetivo a , el objetivo a
alcanzar no esta presente.alcanzar no esta presente.

5. Reglas de AprendizajeReglas de Aprendizaje
Supervisado Supervisado
nRegla del Perceptron.Regla del Perceptron.
nAprendizaje Supervisado Aprendizaje Supervisado
Hebbiano.Hebbiano.
nAprendizaje de Widrow-Hoff.Aprendizaje de Widrow-Hoff.
nAlgoritmo de Retropropagación.Algoritmo de Retropropagación.

6. Aprendizaje Auto supervisadoAprendizaje Auto supervisado
nLas redes con aprendizaje no supervisado Las redes con aprendizaje no supervisado
(auto supervisado) no requieren influencia (auto supervisado) no requieren influencia
externa para ajustar los pesos de las externa para ajustar los pesos de las
conexiones entre sus neuronas. conexiones entre sus neuronas.
nLa red no recibe ninguna información por La red no recibe ninguna información por
parte del entorno que le indique si la parte del entorno que le indique si la
salida generada esalida generada enn respuesta a una respuesta a una
determinada entrada es o no correcta; por determinada entrada es o no correcta; por
ello suele decirse que estas redes son ello suele decirse que estas redes son
capaces de capaces de auto organizarseauto organizarse

7. Redes con aprendizaje No Redes con aprendizaje No
supervisadosupervisado
nEn este tipo de redes la salida En este tipo de redes la salida
representa el grado de familiaridad representa el grado de familiaridad
o similitud entre la información o similitud entre la información
que se le que se le estáestá presentando a la presentando a la
entrada y las informaciones que se entrada y las informaciones que se
le han mostrado hasta entonces.le han mostrado hasta entonces.

8. Aprendizaje No Aprendizaje No
SupervisadoSupervisado
nEstá constituido por un Está constituido por un
conjunto de reglas que dan a la conjunto de reglas que dan a la
red la habilidad de aprender red la habilidad de aprender
asociaciones entre los patrones asociaciones entre los patrones
que ocurren en conjunto, que ocurren en conjunto,
(frecuentemente)(frecuentemente). .

9. Aprendizaje no Aprendizaje no
SupervisadoSupervisado
nUna vez que los patrones se Una vez que los patrones se
han aprendido como han aprendido como
asociación asociación le permite a las le permite a las
redes realizar tareas útiles de redes realizar tareas útiles de
reconocimiento de patrones y la reconocimiento de patrones y la
habilidad de recordar.habilidad de recordar.

10. 1.1 REGLAS DE 1.1 REGLAS DE
APRENDIZAJE NO APRENDIZAJE NO
SUPERVISADOSUPERVISADO
Regla de aprendizaje Hebbiana.
Regla de aprendizaje competitivo.
Regla de aprendizaje Hebbiana diferencial.
Regla de aprendizaje competitiva diferencial.

11. Introducción a Introducción a
aprendizaje asociativo.aprendizaje asociativo.
INTRODUCCIÓNINTRODUCCIÓN

12. ¿Qué es una Asociación? ¿Qué es una Asociación?
nEs cualquier relación entre la Es cualquier relación entre la
entrada de un sistema y su entrada de un sistema y su
salida de tal forma que cuando salida de tal forma que cuando
el patrón el patrón AA se presenta al se presenta al
sistema éste responde con un sistema éste responde con un
patrón patrón BB..

13. Estimulo / Respuesta Estimulo / Respuesta
nCuando dos patrones son Cuando dos patrones son
relacionados por una relacionados por una
asociaciónasociación, al patrón de , al patrón de
entrada se le conoce como entrada se le conoce como
estímuloestímulo y al patrón de salida se y al patrón de salida se
le refiere como le refiere como respuestarespuesta..

14. InvestigadoresInvestigadores
Aprendizaje Asociativo Aprendizaje Asociativo
nTeuvo KohonenTeuvo Kohonen (red asociativa lineal)
nJames Anderson James Anderson (red asociativa lineal)
nStephen GrossbergStephen Grossberg
(red asociativa no lineal continua)
nD.O HebbD.O Hebb

15. Aprendizaje AsociativoAprendizaje Asociativo
Iván PavlovIván Pavlov
ExperimentoExperimento
nCondicionamientoCondicionamiento
–comidacomida
–Salivación a la comida.Salivación a la comida.
–campanacampana
–Salivación al oír la Salivación al oír la
campanacampana

16. Aprendizaje AsociativoAprendizaje Asociativo
nCondicionamiento Condicionamiento
PositivoPositivo
–reforzamientoreforzamiento
nCondicionamiento Condicionamiento
NegativoNegativo
–NocivoNocivo

17. 1.1.11.1.1REGLA DE APRENDIZAJEREGLA DE APRENDIZAJE
HEBBIANO NO SUPERVISADO HEBBIANO NO SUPERVISADO
INTRODUCCIÓNINTRODUCCIÓN

18. Aprendizaje HebbianoAprendizaje Hebbiano
nDonald O. Hebb Donald O. Hebb
(1904-1985).(1904-1985).
n Padre de Padre de
Psicobiologia Psicobiologia
Cognoscitiva.Cognoscitiva.
nThe Organization of The Organization of
Behaviour (1942).Behaviour (1942).
nEn 1949, su En 1949, su
postulado.postulado.

19. Postulado de HebbPostulado de Hebb
nCuando un axón de una celda A esta
suficientemente cerca como para conseguir
excitar una celda B y repetida o
persistentemente toma parte en su
activación, algún proceso de crecimiento
tiene lugar en una o ambas celdas, de tal
forma que la eficiencia de A, cuando la celda
a activar es B, aumenta.

20. Aprendizaje HebbianoAprendizaje Hebbiano
nEl aprendizaje Hebbiano El aprendizaje Hebbiano
consiste básicamente en el consiste básicamente en el
ajuste de los pesos de las ajuste de los pesos de las
conexiones, de acuerdo con la conexiones, de acuerdo con la
correlación de los valores de correlación de los valores de
activación (salidas) de las dos activación (salidas) de las dos
neuronas conectadas.neuronas conectadas.

21. Los Pensamientos 1Los Pensamientos 1
nLos pensamientos son disparados a Los pensamientos son disparados a
menudo por estimulación externa.menudo por estimulación externa.
nEl mismo pensamiento es El mismo pensamiento es
estimulado por un infinito número estimulado por un infinito número
de estímulos.de estímulos.

22. Los Pensamientos 2Los Pensamientos 2
nLos pensamientos permanecen aun Los pensamientos permanecen aun
después de que la estimulación se después de que la estimulación se
ha ido.ha ido.
nLos pensamientos no siempre son Los pensamientos no siempre son
estimulados por agentes externos.estimulados por agentes externos.

23. Células agrupadas:Células agrupadas:
Circuitos ReverberantesCircuitos Reverberantes
nUn concepto no se almacena en Un concepto no se almacena en
una sola célula; este se almacena una sola célula; este se almacena
en un conjunto de celdas.en un conjunto de celdas.
nUna celda no puede estar activa Una celda no puede estar activa
durante mucho, pero un conjunto durante mucho, pero un conjunto
de ellas sí.de ellas sí.
nAl circuito reverberante se le llama Al circuito reverberante se le llama
células agrupadas (CA).células agrupadas (CA).

24. ActivaciónActivación
nLos pensamientos Los pensamientos
son activados por son activados por
estimulación externaestimulación externa
nsi existe suficiente si existe suficiente
estímulo se piensa estímulo se piensa
en un concepto.en un concepto.
nEl pensamiento es El pensamiento es
activado por un activado por un
número infinito de número infinito de
estímulos.estímulos.

25. EstímuloEstímulo

26. RespuestaRespuesta
SnoopySnoopy

27. Curva de SnoopyCurva de Snoopy
nLos pensamientos Los pensamientos
permanecen aun permanecen aun
cuando el estímulo cuando el estímulo
haya desaparecido.haya desaparecido.
nLa activación La activación
remanente es baja.remanente es baja.
nLa activación decae La activación decae
gradualmente.gradualmente.

28. Algoritmo HebbianoAlgoritmo Hebbiano
nEste algoritmo de tipo no supervisado Este algoritmo de tipo no supervisado
pretende medir la familiaridad o extraer pretende medir la familiaridad o extraer
las características de los datos de las características de los datos de
entrada.entrada.
nEste tipo de aprendizaje se basa en el Este tipo de aprendizaje se basa en el
siguiente postulado formulado por siguiente postulado formulado por
Donald O. Hebb en 1949:Donald O. Hebb en 1949:

29. Postulado de HebbPostulado de Hebb
n““Cuando un axón de una Cuando un axón de una celdacelda A esta A esta
suficientemente cerca como para suficientemente cerca como para
conseguir excitar una celda B y repetida conseguir excitar una celda B y repetida
o persistentemente toma parte en su o persistentemente toma parte en su
activación, algún proceso de activación, algún proceso de
crecimiento o cambio metabólico tiene crecimiento o cambio metabólico tiene
lugar en una o ambas celdas, de tal lugar en una o ambas celdas, de tal
forma que la forma que la eficienciaeficiencia de A, cuando de A, cuando
la celda a activar es B, aumenta”.la celda a activar es B, aumenta”.

30. Cuando un Cuando un
peso peso
contribuye en contribuye en
la activación la activación
de una de una
neurona, el neurona, el
peso se peso se
incrementa. Y incrementa. Y
si contribuye a si contribuye a
la inhibición la inhibición
éste se éste se
decrementa.decrementa.
Postulado de HebbPostulado de Hebb

31. Celda y EficienciaCelda y Eficiencia
nPor Por celdacelda, Hebb entiende un , Hebb entiende un
conjunto de neuronas fuertemente conjunto de neuronas fuertemente
conectadas a través de una conectadas a través de una
estructuraestructura compleja. compleja.
nY por Y por eficiencia, eficiencia, la intensidad o la intensidad o
la magnitud de la conexión; es la magnitud de la conexión; es
decir el decir el pesopeso..

32. Aprendizaje HebbianoAprendizaje Hebbiano
nEl aprendizaje Hebbiano consiste El aprendizaje Hebbiano consiste
básicamente en el ajuste de los pesos de las básicamente en el ajuste de los pesos de las
conexiones, de acuerdo con la correlación de conexiones, de acuerdo con la correlación de
los valores de activación (salidas) de las dos los valores de activación (salidas) de las dos
neuronas conectadas:neuronas conectadas:
j
i
i
neurona la de salida
neurona la de salida
rate learning
=
=
=
=D
j
jiji
x
y
xyw
h
h
.

33. Topología de la RedTopología de la Red
y
i
x
j
i j
W
ji
Si las dos unidades son activas (positivas),
se produce un reforzamiento de la conexión.

34. nPor el contrario, cuando una es activa
y la otra pasiva (negativa), se produce
un debilitamiento de la conexión.
n
nLa modificación de los pesos se realiza en
función de los estados (salidas) de las
neuronas obtenidas tras la presentación de
cierto estímulo (información de entrada a la
red), sin tener en cuenta si se deseaba
obtener o no esos estados de activación.

35. NOTA 1:NOTA 1:
nHebb sugirió que la fuerza de la sinapsis en Hebb sugirió que la fuerza de la sinapsis en
el cerebro cambia proporcionalmente a la el cerebro cambia proporcionalmente a la
correlación entre el disparo de las neuronas correlación entre el disparo de las neuronas
pre y post sinápticas.pre y post sinápticas.
nMuchas reglas de aprendizaje de RNA reflejan Muchas reglas de aprendizaje de RNA reflejan
con frecuencia el principio de la regla con frecuencia el principio de la regla
Hebbiana.Hebbiana.

36. NOTA 2:NOTA 2:
nLa regla de aprendizaje de Hebb es NO La regla de aprendizaje de Hebb es NO
Supervisada y se utiliza en redes Supervisada y se utiliza en redes
neuronales feedforward debido a que neuronales feedforward debido a que
solo se emplea el producto de las solo se emplea el producto de las
entradas y las salidas actuales para la entradas y las salidas actuales para la
modificación de los pesos.modificación de los pesos.
nNinguna salida deseada se proporciona Ninguna salida deseada se proporciona
para generar la señal de aprendizaje para generar la señal de aprendizaje
que actualizará los pesos.que actualizará los pesos.

37. NOTA 3:NOTA 3:
nLa regla de aprendizaje de Hebb La regla de aprendizaje de Hebb
requiere de la inicialización de los requiere de la inicialización de los
pesos en valores pequeños y pesos en valores pequeños y
aleatorios cercanos a cero antes aleatorios cercanos a cero antes
de realizar el aprendizaje.de realizar el aprendizaje.

38. APLICACIONESAPLICACIONES
nEn el diseño de circuitos integrados En el diseño de circuitos integrados
VLSI. Por su fácil implementación.VLSI. Por su fácil implementación.
nEn el reconocimiento de voz.En el reconocimiento de voz.
nEn el reconocimiento de imágenes.En el reconocimiento de imágenes.
nEn el control de motores.En el control de motores.

39. nResolución de problemas de Resolución de problemas de
optimización.optimización.
nResolución de ecuaciones.Resolución de ecuaciones.
nManipulación de grafos.Manipulación de grafos.
nProcesamiento de señales (diseño de Procesamiento de señales (diseño de
convertidores analógico-digitales).convertidores analógico-digitales).
nProcesamiento de imágenes.Procesamiento de imágenes.
nReconocimiento de patrones.Reconocimiento de patrones.
APLICACIONESAPLICACIONES

40. Wake up!Wake up!

41. Introducción a aprendizaje Introducción a aprendizaje
asociativo.asociativo.
1.1.1 Regla de aprendizaje 1.1.1 Regla de aprendizaje
Hebbiano no supervisada.Hebbiano no supervisada.
1.1.2 Regla Instar.1.1.2 Regla Instar.