Self-Organizing Maps

Este modelo de Redes Neuronales está inspirado en la neuroplasticidad del cerebro. T. Kohonen desarrolló el modelo basado en el comportamiento autoasociativo. Hay dos variantes:

• LVQ: Learning Vector Quantization. Es unidimensional (analizamos este modelo).
• TPM: Topology-Preserving Map (o SOM). Es bidimensional/tridimensional.

Este no es un modelo backforward ni autorecurrente. Cada una de las $N$ neuronas de entrada se conecta con las $M$ neuronas de salida. Entre las neuronas de salida hay relaciones laterales de inhibición, que son como “conexiones” implícitas sin peso. Los valores que se asignan a los pesos dependerán de la interacción lateral.

La influencia que ejerce una neurona sobre las demás es función de la distancia entre ellas, siendo muy poca cuando están alejadas. La zona de influencia se calcula mediante una función de vecindad.

Cuando se presenta una información:

$$\begin{array}{rl}{E}_k& =\left(e_1^{(k)},\dots ,e_N^{(k)}\right)\\ s_j(t+1)& =f\left(\underset{\text{net}}{\underbrace{\sum _{i=1}^N{w}_{ji}\cdot e_i^{(k)}}}+\underset{\text{interacciones}}{\underbrace{\sum _{i=1}^{M}In{t}_{pj}\cdot s_p(t)}}\right)\end{array}$$

El entrenamiento tiene dos fases:

1. Competencia: consiste en activar una sola neurona ganadora, aquella que tenga sus pesos más parecidos a la entrada.

$$s_j=\{\begin{array}{ll}1& \min ||E_k-W_j||=\min \left(\sqrt{{\sum }_{i=1}^N{\left(w_{ji}-e_i^{(k)}\right)}^2}\right)\\ 0& \text{el resto de neuronas}\end{array}$$

2. Colaboración: se adaptan los pesos de la neurona ganadora y los pesos de las neuronas más cercanas a ellas.

Los valores finales de los pesos se corresponderán con los valores del patrón de entrada que consigue activar la neurona correspondiente.

La etapa de entrenamiento sigue refinando el mapa hasta que las neuronas de salida representan específicamente una zona del espacio de entradas. Se quiere que los pesos queden estables.

Algoritmo

1. Inicializar los pesos $w_{ji}$ con valores aleatorios pequeños. Fijar la zona de vecindad inicial.
2. Presentar un vector de entrada $E_k$.
3. Determinar la neurona ganadora:

$d_j={\sum }_{i=1}^N{\left(w_{ji}-e_i^{(k)}\right)}^2\text{y}{d}_{j^{\ast }}=\min (d_j)$

4. Actualizar los pesos:

$w_{ji}(t+1)=w_{ji}(t)+\alpha (t)h_{ji}(t)\left[\underset{\text{error}}{\underbrace{e^{(k)}-w_{ji}(t)}}\right]$

Siendo $h_{ji}(t)=e^{\frac{-d_{ji}^2}{2{\sigma }^2(t)}}$ la función de vecindad gaussiana y $\alpha (t)=\frac{1}{t}$ el coeficiente de aprendizaje (donde un $1/t\to 0$ ayuda a evitar oscilaciones y acelerar la convergencia).

La función de vecindad representa la influencia lateral entre neuronas de salida. Es común usar la función o distribución gaussiana. También se puede usar vecindad nula (implica un modelo sin cooperación).

Gráficamente, los pesos del SOM se van acercando al os patrones presentados conforme avanza el entrenamiento de la red.

Una vez entrenada la red, ya no se usa la fase de cooperación. El SOM agrupa cada patrón nuevo en uno de los grupos ya formados durante el Aprendizaje. No se trata de clasificación sino de agrupamiento.