Modelo de Hopfield

El modelo de Hopfield es un algoritmo de Inteligencia Artificial para el Aprendizaje no supervisado offline.

Consiste en una red monocapa con $N$ neuronas cuyas salidas son binarias. Cada neurona está conectada a las demás mediante conexiones laterales. Los pesos asociados a las conexiones entre pares de neuronas son simétricos. Es un modelo backforward.

En su versión discreta, la red usa una función de transferencia escalón en $[-1,1]$. En las redes continuas se usa la función sigmoidal en $[-1,0]$.

Esta es una red autoasociativa: puede almacenar varios patrones durante el aprendizaje y después, cuando llega algún patrón distorsionado, puede clasificarlo en alguno de los que aprendió.

Cada neurona recibe una entrada del exterior y las salidas de las demás neuronas multiplicadas por los pesos de su conexión. Así se calcula el $net$ de cada neurona y su correspondiente salida. Este proceso se retroalimenta hasta que la red se estabiliza.

Funcionamiento:

1. En $t=0$ se aplica la información de entrada ($e_1,e_2,\dots ,e_N$).
2. Iterar hasta alcanzar la convergencia (cuando $s_i(t+1)=s_i(t)$):

$s_i(t+1)=f\left({\sum }_{j=1}^N{w}_{ij}{s}_j(t)-{\theta }_i\right)1\le i\le N$

En la etapa de aprendizaje se fijan los valores de los pesos. Esta red usa un aprendizaje no supervisado de tipo hebbiano (autoasociativo), tal que el peso de una conexión entre una neurona $i$ y otra $j$ se obtiene mediante el producto de los componentes $i$-ésimo y $j$-ésimo del vector que representa el patrón a almacenar.

Siendo $M$ patrones, y suponiendo una red discreta que trabaja con $[-1,1]$, se obtienen los pesos:

$$w_{ij}\{\begin{array}{llc}{\sum }_{k=1}^M{e}_i^{(k)}{e}_j^{(k)}& \text{si }i\ne j& 1\le i,j\le N\\ 0& \text{si }i=j& 1\le i,j\le N\end{array}$$

Con los ceros para eliminar la conexión autorecurrente. Representación matricial de los pesos:

$$W=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \dots & w_{1N}\\ w_{21}& w_{22}& \dots & w_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ w_{N1}& w_{N2}& \dots & w_{NN}\end{array}\right]$$

Las informaciones que debe aprender la red son:

$$\begin{array}{rl}{E}_1& =\left[e_1^{(1)}{e}_2^{(1)}\dots e_N^{(1)}\right]\\ E_1& =\left[e_1^{(2)}{e}_2^{(2)}\dots e_N^{(2)}\right]\\ & ⋮\\ E_1& =\left[e_1^{(M)}{e}_2^{(M)}\dots e_N^{(M)}\right]\end{array}$$

Tal que el aprendizaje es:

$W={\sum }_{k=1}^M\left[E_k^T{E}_k-I\right]$

Luego se presenta un patrón nuevo y se calcula:

$$\begin{array}{rl}S(t+1)& =E_d\cdot W\\ E_d& =S(t+1)\end{array}$$

Y se repite este proceso hasta que $S(t)=S(t+1)$. Si existe una repetición $S(t)=S(t+n)$ con $n>1$ entonces la red no se estabiliza.

Estos modelos no clasifican, sino que encuentran patrones similares. Si se almacenan demasiados patrones en una red de Hopfield, la red puede no estabilizarse o incluso estabilizarse en patrones desconocidos.

Condiciones de Recuperabilidad

Siendo la capacidad la cantidad de patrones que esta red puede almacenar, se conoce que:

$$\text{Capacidad}=\{\begin{array}{ll}0.138\cdot N& \text{para una recuperacioˊn buena}\\ \frac{N}{4\ln (N)}& \text{para una recuperacioˊn perfecta}\end{array}$$

Se observa que este modelo es ineficiente: requiere muchas neuronas para almacenar pocos patrones.

Esto no garantiza obtener una salida correcta estable si los patrones no son lo suficientemente diferentes entre sí. Para ello surge la ortogonalidad: se recomienda que la diferencia entre patrones sea al menos del 50%, calculada como:

${\sum }_{i=1}^N{e}_i^{(k)}\cdot e_i^{(m)}\le 0\forall k\ne m$