REDES NEURONALES ADALINE

REDES NEURONALES, ADALINE

1. AGOSTO 2002 ESCOM I P N 1
Red AdalineRed Adaline
B. Widrow B. Widrow
& M. Hoff& M. Hoff
(Adaptive Linear Element)

2. AGOSTO 2002 ESCOM I P N 2
REDES ADALINE Y MADALINEREDES ADALINE Y MADALINE
bDesarrolladas en 1960 por Bernie Widrow y Desarrolladas en 1960 por Bernie Widrow y
Marcian Hoff en la Universidad de Stanford. Marcian Hoff en la Universidad de Stanford.
bADALINE: ADAptive LINear ElementADALINE: ADAptive LINear Element
bADALINE: Una única Neurona de Salida.ADALINE: Una única Neurona de Salida.
bMADALINE: Varias Neuronas de Salida.MADALINE: Varias Neuronas de Salida.
bMADALINE (Multiple ADALINE)MADALINE (Multiple ADALINE)

3. AGOSTO 2002 ESCOM I P N 3
Bernard WidrowBernard Widrow
Professor Adaptive Systems. Widrow concentrates on
adaptive signal processing, adaptive control systems, and
adaptive neural networks. Adaptive systems have the ability
to learn and improve their behavior through contact with
their environments. Applications include signal processing,
control systems, and pattern recognition. Sc.D. MIT 1956
Department of Electrical Engineering
Durand Bldg., Rm. 139
723-4949
[email protected]

4. AGOSTO 2002 ESCOM I P N 4
Marcian E. HoffMarcian E. Hoff
Marcian E. Hoff was born in 1937 in Rochester N.Y. and
graduated with a degree in Electrical Engineering from Rensselaer
Polytechnic Institute in 1958. He received his Ph.D. from Stanford
University in 1962 and stayed on as a research associate in
computer area until 1968. Hoff joined Intel as Manager of
Application Research in 1968, became an Intel fellow in 1980 and
remained in this position until 1983. After a year at Atari, Marcian
E. Hoff became a consultant with time for independent technical
projects. Dr. M. E. Hoff is a recipient of the Stuart Ballantine
award of the Franklin Institute, the Cledo Brunetti Award and
holds an IEEE Centennial Medal. Dr. Hoff is a member of Sigma
Xi and is an IEEE Fellow.

5. AGOSTO 2002 ESCOM I P N 5
CaracterísticasCaracterísticas

6. AGOSTO 2002 ESCOM I P N 6
Diferencias con Diferencias con
el PERCEPTRONel PERCEPTRON
bAlgoritmo de aprendizaje: Regla del Mínimo Error Algoritmo de aprendizaje: Regla del Mínimo Error
Cuadrado Medio (LMS), o regla Delta, o regla de Cuadrado Medio (LMS), o regla Delta, o regla de
Widrow-HoffWidrow-Hoff
bSu función de transferencia es lineal, (pureline )Su función de transferencia es lineal, (pureline )
bProcesamiento de información analógica, tanto Procesamiento de información analógica, tanto
de entrada como de salida, utilizando una función de entrada como de salida, utilizando una función
de Activación Lineal o Sigmoidal.de Activación Lineal o Sigmoidal.
bTambién puede resolver problemas linealmente También puede resolver problemas linealmente
separables.separables.

7. AGOSTO 2002 ESCOM I P N 7
Diferencias con Diferencias con
el PERCEPTRON el PERCEPTRON
bEl algoritmo LMS minimiza el error El algoritmo LMS minimiza el error
cuadrático medio y trata de mover la cuadrático medio y trata de mover la
frontera de decisión tan lejos como sea frontera de decisión tan lejos como sea
posible de los patrones de entrenamientoposible de los patrones de entrenamiento
bLa red ADALINE es menos sensible al ruido La red ADALINE es menos sensible al ruido
bLas redes ADALINE y MADALINE tiene usos Las redes ADALINE y MADALINE tiene usos
prácticos en el procesamiento de señales prácticos en el procesamiento de señales
digitales.digitales.

8. AGOSTO 2002 ESCOM I P N 8
ArquitecturaArquitectura

9. AGOSTO 2002 ESCOM I P N 9

ArquitecturadeADALINE

ArquitecturadeADALINE
X
0
=1
X
1
W
0
X
N
X
2
X
3
W
1
W
2
W
3
W
N
S
s Salida
Lineal
Salida
binaria
y
Combinador Adaptativo Lineal
Conmutador Bipolar
s
y
-1
1

10. AGOSTO 2002 ESCOM I P N 10

ArquitecturadeADALINE

ArquitecturadeADALINE
bFormada por un elemento denominado: Formada por un elemento denominado:
Combinador Adaptativo Lineal (ALC).Combinador Adaptativo Lineal (ALC).
bLa salida lineal obtenida del ALC se aplica a La salida lineal obtenida del ALC se aplica a
un Conmutador Bipolar.un Conmutador Bipolar.
bEl Umbral de la F. de T. se representa a través El Umbral de la F. de T. se representa a través
de una conexión ficticia de peso Wo (b)de una conexión ficticia de peso Wo (b)

11. AGOSTO 2002 ESCOM I P N 11

Arquitecturade

Arquitecturade
ADALINEADALINE
apurelinWpb+( )Wpb+= =

12. AGOSTO 2002 ESCOM I P N 12
AplicacionesAplicaciones

13. AGOSTO 2002 ESCOM I P N 13
Aplicaciones de ADALINEAplicaciones de ADALINE
bProcesamiento de Señales.Procesamiento de Señales.
•Filtros que eliminen el ruido en señales Filtros que eliminen el ruido en señales
portadoras de información.portadoras de información.
•Filtros de ecualización adaptativos en Filtros de ecualización adaptativos en
Módems de alta velocidad.Módems de alta velocidad.
•Cancelación del ruido materno de Cancelación del ruido materno de
grabaciones ECG del latido del feto humano.grabaciones ECG del latido del feto humano.

14. AGOSTO 2002 ESCOM I P N 14
AplicacionesAplicaciones
(continuación)(continuación)
•Eliminación de ecos en circuitos telefónicos.Eliminación de ecos en circuitos telefónicos.
•Canceladores adaptativos del eco para el Canceladores adaptativos del eco para el
filtrado de señales en comunicaciones filtrado de señales en comunicaciones
telefónicas de larga distancia y telefónicas de larga distancia y
comunicaciones vía satélite.comunicaciones vía satélite.

15. AGOSTO 2002 ESCOM I P N 15
Filtros AdaptativosFiltros Adaptativos
Tapped Delay Line Adaptive Filter
ak()purelinWpb+( ) w
1i,
yki–1+( )
i1=
R
å
b+= =

16. AGOSTO 2002 ESCOM I P N 16
Ejem. : Cancelación Ejem. : Cancelación
de Ruidode Ruido

17. AGOSTO 2002 ESCOM I P N 17
Cancelación de ruido, Filtro Cancelación de ruido, Filtro
AdaptativoAdaptativo

18. AGOSTO 2002 ESCOM I P N 18
Algoritmo de Algoritmo de
Aprendizaje Aprendizaje

19. AGOSTO 2002 ESCOM I P N 19
Aprendizaje en la Red Aprendizaje en la Red
ADALINEADALINE
•Aprendizaje OFF-LINE con Supervisión
LMS
•LMS trata de minimizar una diferencia
entre el valor obtenido y el deseado; como en
el PERCEPTRON, sólo que ahora la salida
considerada es la salida obtenida al aplicar
una función de activación lineal.

20. AGOSTO 2002 ESCOM I P N 20
Aprendizaje en ADALINEAprendizaje en ADALINE
(continuación)(continuación)
bEl entrenamiento de la red consiste en El entrenamiento de la red consiste en
adaptar los pesos a medida que se vayan adaptar los pesos a medida que se vayan
presentando los patrones de presentando los patrones de
entrenamiento y salidas deseadas para entrenamiento y salidas deseadas para
cada uno de ellos.cada uno de ellos.
bPara cada combinación E/S se realiza un Para cada combinación E/S se realiza un
proceso automático de pequeños ajustes proceso automático de pequeños ajustes
en los valores de los pesos hasta que se en los valores de los pesos hasta que se
obtienen las salidas correctas.obtienen las salidas correctas.

21. AGOSTO 2002 ESCOM I P N 21
Ecuaciones PrincipalesEcuaciones Principales
Wk1+( )Wk()2aek()p
T
k()+=
bk1+( )bk()2aek()+=
En forma de Matriz:
0a1l
max
¤<<
REpp
T
[]
1
2
---p
1p
1
T1
2
---p
2p
2
T
+==
a es la velocidad
de aprendizaje
determinada por
Donde : l max: es el eigenvalor
más grande de la matriz
Hessiana R

22. AGOSTO 2002 ESCOM I P N 22
Algoritmo de Aprendizaje Algoritmo de Aprendizaje
en ADALINEen ADALINE
1. Se aplica un patrón de entrada P.
2. Se obtiene la salida del ALC y se calcula la
diferencia con respecto a la deseada (error).
3. Se actualizan los pesos.
4. Se repiten pasos 1 a 3 con todos los vectores de
entrada.
5. Si el Error es un valor aceptable, detenerse, si
no repetir algoritmo.

23. AGOSTO 2002 ESCOM I P N 23
Consiste en hallar el vector de pesos W
deseado, único, que deberá asociar cada vector de
entrada con su correspondiente valor de salida
correcto o deseado.
La regla minimiza el error cuadrático medio
definido como:
donde:
es la función de error
RRR at-=e
å
=
=
p
R
RR
p
1
221
ee
Regla de Widrow-HoffRegla de Widrow-Hoff

24. AGOSTO 2002 ESCOM I P N 24
La derivada de la suma del error
cuadrático con respecto a un peso W(i,j)
(de la entrada j a la neurona i) para un
solo vector de entrada p y vector objetivo
t, es:
)()(2)()(),()(
),(),(
2
1
jpieibjpjiWit
jiWjiW
sse
R
j
-=
÷
÷
ø
ö
ç
ç
è
æ
--=
¶
¶
=
¶
¶
å
=

25. AGOSTO 2002 ESCOM I P N 25
La regla de Widrow-Hoff es implementada La regla de Widrow-Hoff es implementada
realizando cambios a los pesos en la dirección realizando cambios a los pesos en la dirección
opuesta en la que el error está incrementando y opuesta en la que el error está incrementando y
absorbiendo la constante -2 en absorbiendo la constante -2 en lrlr..
En forma de matriz:En forma de matriz:

Transformando a la expresión del umbral Transformando a la expresión del umbral
(considerando que en el umbral es un peso con (considerando que en el umbral es un peso con
entradas de 1):entradas de 1):
)()(),( jpjelrjiW ××=D
T
EplrW ×=D
Elrb×=D

26. AGOSTO 2002 ESCOM I P N 26
SuperficieSuperficie
de Error de Error

27. AGOSTO 2002 ESCOM I P N 27
a) ADALINE b) PERCEPTRÓN
Superficies de errorSuperficies de error

28. AGOSTO 2002 ESCOM I P N 28
Esta función de error está definida en el
espacio de pesos multidimensional para un conjunto de
entradas, y la regla de Widrow-Hoff busca el punto de
este espacio donde se encuentra el mínimo global.
Con función de activación lineal Con función de activación sigmoidal
Superficies de ErrorSuperficies de Error

29. AGOSTO 2002 ESCOM I P N 29
Función de errorFunción de error..
|Para un ALC con solo |Para un ALC con solo
dos pesos, la dos pesos, la
superficie de error es superficie de error es
un paraboloide. Los un paraboloide. Los
pesos que minimizan pesos que minimizan
el error se tienen en el error se tienen en
el fondo de la el fondo de la
superficie superficie
paraboloidalparaboloidal

30. AGOSTO 2002 ESCOM I P N 30
EjerciciosEjercicios

31. AGOSTO 2002 ESCOM I P N 31
Ejemplo 1Ejemplo 1
p
1
1–
1
1–
t
1, 1–= =
î þ
ï ï
í ý
ï ï
ì ü
p
2
1
1
1–
t
2, 1= =
î þ
ï ï
í ý
ï ï
ì ü
REpp
T
[]
1
2
---p
1p
1
T1
2
---p
2p
2
T
+==
R
1
2
---
1–
1
1–
1–11–
1
2
---
1
1
1–
111–+
100
011–
01–1
= =
l
1
1.0 l
2
0.0l
3
2.0=,=,=
a
1
l
max
------------<
1
2.0
-------0.5==
Banana Manzana

32. AGOSTO 2002 ESCOM I P N 32
Iteración UnoIteración Uno
a0()W0()p0()W0()p
1000
1–
1
1–
0====
e0()t0()a0()t
1
a0()1–01–=–=–=–=
W1()W0()2ae0()p
T
0()+=
W1()
000
20.2()1–()
1–
1
1–
T
0.40.4–0.4
=+=
Banana

33. AGOSTO 2002 ESCOM I P N 33
Iteración dosIteración dos
Manzana
a1()W1()p1()W1()p
20.40.4–0.4
1
1
1–
0.4–====
e1()t1()a1()t
2
a1()10.4–()1.4=–=–=–=
W2()0.40.4–0.420.2()1.4()
1
1
1–
T
0.960.160.16–=+=

34. AGOSTO 2002 ESCOM I P N 34
Iteración TresIteración Tres
a2()W2()p2()W2()p
10.960.160.16–
1–
1
1–
0.64–====
e2()t2()a2()t
1
a2()1– 0.64–( )0.36–=–=–=–=
W3()W2()2ae2()p
T
2()+ 1.10400.01600.0160–= =
W¥()100=

35. AGOSTO 2002 ESCOM I P N 35
Simulación de Simulación de
ADALINE en Neural ADALINE en Neural
Network Toolbox de Network Toolbox de
Matlab Matlab

36. AGOSTO 2002 ESCOM I P N 36
Modelo de una neuronaModelo de una neurona
lineal en MATLAB lineal en MATLAB
p(1)
p(2)
p(3)
p(R)
W(1,1)
W(1,R)
1
b
n a
å
a = purelin(w*p+b)
a = w*p+b
0
0
1
-1
a
a
b/w
b/w
p
n
a = purelin(n)

37. AGOSTO 2002 ESCOM I P N 37
ADALINE NetworkADALINE Network
apurelinWpb+( )Wpb+= =
a
ipurelinn
i()purelinw
T
ipb
i+( )w
T
ipb
i+= = =
¼
w
i
w
i1,
w
i2,
w
iR,
=

38. AGOSTO 2002 ESCOM I P N 38
b [ , ]= (, )
Wb initlinPT
[ , ]= (, )
Wb initlinPT
bcrea un conjunto de pesos y umbrales crea un conjunto de pesos y umbrales
aleatorios iniciales positivos y negativos aleatorios iniciales positivos y negativos
para una red Adaline.para una red Adaline.
bToma una matriz de de vectores de entrada Toma una matriz de de vectores de entrada
P, y de salida TS , regresando los valores de P, y de salida TS , regresando los valores de
W y b correspondientes a las dimensiones W y b correspondientes a las dimensiones
de la red.de la red.

39. AGOSTO 2002 ESCOM I P N 39
b [ , ]= (, );
Wb solvelinPT
[ , ]= (, );
Wb solvelinPT
b = (, );
WsolvelinPT
= (, );
WsolvelinPT
b
Diseña redes Adaline directamente

Diseña redes Adaline directamente

si se conocen sus vectores de

si se conocen sus vectores de
,
entrada y objetivo calculando los
,
entrada y objetivo calculando los

valores de los pesos y el bias sin

valores de los pesos y el bias sin
.
necesidaddeentrenamiento
.
necesidaddeentrenamiento

40. AGOSTO 2002 ESCOM I P N 40
b [ , , , ]=
Wbeptr
[ , , , ]=
Wbeptr
( , , , , )
trainwhWbPTtp
( , , , , )
trainwhWbPTtp
b=[ _ -
tp disp freqmaxepoch
=[ _ -
tp disp freqmaxepoch
- ]
errgoallr
- ]
errgoallr
bEntrena una red Adaline, hasta alcanzar el Entrena una red Adaline, hasta alcanzar el
minimo error eepecificado en sus minimo error eepecificado en sus
parametros iniciales.parametros iniciales.

41. AGOSTO 2002 ESCOM I P N 41
b = (, , )
A simulinPWb
= (, , )
A simulinPWb
bSimula la red Adaline con los parametros Simula la red Adaline con los parametros
calculados en el entrenamiento y prueba calculados en el entrenamiento y prueba
cada uno de los patrones clasificandolos.cada uno de los patrones clasificandolos.

42. AGOSTO 2002 ESCOM I P N 42
Entrenamiento Paso a PasoEntrenamiento Paso a Paso
A = simulin (P,W,b)
E = T - A
[dW,db] = learnwh (P,E,lr)
W = W + dW
b = b + dW

43. AGOSTO 2002 ESCOM I P N 43

E = T - A;
[ dW, db ] = learnwh( P, E, lr )
lr es la tasa de aprendizaje. Si es grande, el
aprendizaje es rápido, pero si es demasiado grande, el
aprendizaje es inestable y puede incrementarse el
error.
lr = maxlinlr( P ); % si se utiliza bias
lr = maxlinlr( P, ‘bias’ ); %si no se utiliza bias
W = W + dW; b = b + db;

44. AGOSTO 2002 ESCOM I P N 44
Ejemplo de CodificaciónEjemplo de Codificación
bP = [ 1 1; 1 -1 ];P = [ 1 1; 1 -1 ];
bT= [ 1 0];T= [ 1 0];
b[W,b] = initlin ( P,T )[W,b] = initlin ( P,T )
b[W,b] = solvelin ( P,T )[W,b] = solvelin ( P,T )
bplotpv ( P,T ) plotpv ( P,T )
bplotpc ( W,b )plotpc ( W,b )

45. AGOSTO 2002 ESCOM I P N 45
Dudas ???Dudas ???

46. AGOSTO 2002 ESCOM I P N 46
Hasta la próxima !!!Hasta la próxima !!!