Perceptrón Multicapa

El Perceptrón Multicapa (MLP) es un tipo de Redes Neuronales similar a un Perceptrón simple pero con mayor cantidad de neuronas. Solucionan el problema de que los perceptrones simples solo pueden aprender funciones linealmente separables.

Regla Delta

La regla delta o Least Mean Squared (LMS) es el método para hallar el vector de pesos $W$ deseado. Siendo $d$ la salida deseada, $s$ la salida obtenida, y $L$ el número de patrones, se minimiza el error cuadrático medio definido como:

$<{ϵ}_k^2>=\frac{1}{2L}{\sum }_{k=1}^L{ϵ}_k^2=\frac{1}{2L}{\sum }_{k=1}^L(d-s{)}^2$

Las modificaciones en los pesos son proporcionales al gradiente decreciente del error:

$$\begin{array}{rl}\Delta w_i& =-\alpha \frac{\partial <{ϵ}_k^2>}{\partial w_i}=-\alpha \frac{\partial <{ϵ}_k^2>}{\partial s_k}\frac{\partial s_k}{\partial w_i}=\cdots =\alpha {ϵ}_k{x}_{ki}\\ w_i(t+1)& =w_i(t)+\alpha (d_k-s_k)x_{ki}\end{array}$$

El error cuadrático medio se calcula al final de cada época teniendo en cuenta cada error de patrón ${ϵ}_k$ obtenido al aplicar un patrón individual.

Regla Delta Generalizada

La regla delta generalizada (backpropagation) permite entrenar redes neuronales con capas ocultas. Las funciones de activación deben ser crecientes, continuas y derivables.

$$\begin{array}{rl}\Delta w_{ji}(t+1)& =\alpha {\delta }_{pj}{y}_{pi}\\ \text{donde }{\delta }_{pk}& =(d_{pk}-y_{pk})f^{\prime }(ne{t}_k)\text{ si es una capa de salida}\\ \text{o bien }{\delta }_{pj}& =(\sum _k{d}_{pk}{w}_{kj})f^{\prime }(ne{t}_k)\text{ si es una capa oculta}\end{array}$$

El error de patrón y error global resultan:

$E_p=\frac{1}{2}{\sum }_{k=1}^M(d_{pk}-y_{pk}{)}^2\text{ y }{E}_g=\frac{1}{L}{\sum }_{j=1}^L{E}_{p_j}$

Control de Convergencia

Dado un dataset dividido en dataset de entrenamiento y dataset de validación, se tiene un error global asociado al entrenamiento y un error de validación. Estos errores deberían ser similares.

Si el error global y el error de validación divergen antes de que termine el entrenamiento, puede haber sobreajuste (overfitting). Esto es un comportamiento no deseado que provoca que el modelo no se generalice bien a nuevos datos. El modelo tiene que generalizar bien, por lo que el overfitting es un problema.

Para solucionar el overfitting se debe ajustar el modelo o su entrenamiento:

• Cambiar la inicialización de los pesos.
• Cambiar la función de transferencia.
• Cambiar la cantidad de capas.
• Cambiar la cantidad de neuronas por capa.

Momento

Se puede agregar un término momento en la regla delta generalizada:

$$\begin{array}{rl}{w}_{ji}(t+1)& =w_{ji}(t)+\alpha {\delta }_{pj}{y}_{pi}+\beta (w_{ji}(t)-w_{ji}(t-1))\\ \Delta w_{ji}(t+1)& =\alpha {\delta }_{pj}{y}_{pi}+\beta \Delta w_{ji}(t)\end{array}$$

El momento ayuda a acelerar la convergencia y filtrar oscilaciones. El coeficiente $\beta$ determina la importancia del término momento.

Este tipo de técnicas se llaman optimizadores: algoritmos que ajustan los parámetros durante el entrenamiento para minimizar el error. El momento es un optimizador básico. Adam es una mejora sobre el momento que funciona mejor.