sábado, 18 de julio de 2015

REDES DE NEURONAS DE BASE RADIAL

 Fecha: 15 de Julio 2015
Tema: Redes de Neuronas de Base Radial

INTRODUCCIÓN

En si el contenido acerca de las redes neuronales es muy amplio, las Redes Neuronales de Base Radial  facilitan un análisis prudente que permite su aplicación práctica. Se caracterizan por ser redes multicapa, y sus conexiones son hacia adelante. Estas redes poseen tres capas de neuronas: capa de entrada, capa oculta y capa de salida.
La capa de entrada: Es la encargada de transmitir las respectivas señales de entrada a las neuronas ocultas.
La capa Oculta: Posee una única capa oculta en las cuales las neuronas ocultas tienen carácter local. En cambio las neuronas de salida ejecutan una combinación lineal de las aceleraciones de las neuronas ocultas. 
Estas redes proporcionan un entrenamiento más eficiente a comparación de retro propagación. 
En el transcurso de este documento se ira conociendo más acerca de esta red, como es su arquitectura, Aprendizaje y aplicaciones en las que son empleadas.

MARCO  TEÓRICO

REDES DE NEURONAS DE BASE RADIAL

Cada neurona de la capa oculta se especializa en una determinada región del espacio de entradas. La relación entre la entrada y la salida es una suma de funciones no lineales y locales.
CARACTERÍSTICAS
Las funciones de base radial están constituidas  cada una de ellas por  carácter Local, ya que estas son funciones que logran alcanzar un nivel próximo al máximo de su recorrido cuando el patrón de entrada X(n) está próximo al centro de la neurona. Cuando el patrón se va alejando del centro, el valor de la función va tendiendo al valor mínimo de su recorrido.
Las salidas de las redes de neuronas de base radial en si son una combinación lineal de gausianas, las mismas que se activan para una determinada parte del espacio, que están definidos por los patrones de entrada.

ESTRUCTURA DE UNA RED

Para una Red Neuronal de Funciones de Base Radial (RBF), la idea es centrar funciones de base radial alrededor de los datos a aproximar, una de las funciones más utilizadas es la de tipo Gausiana
FUNCIONES DE BASE RADIAL
Son funciones en la cual su salida depende de la distancia a un punto denominado centro.
En general, una red RBF tiene un mejor desempeño con un mayor volumen de datos de entrenamiento.
La construcción de una red RBF requiere de una mayor cantidad de neuronas en los nodos ocultos que en las redes que usan backpropagation.
Características:
Simétricas respecto de x=0
Estas se especifican con al menos dos parámetros, el centro y achura.
Centro: El centro es un punto donde la función posee un extremo.
Anchura: Es la magnitud de la variación de la función según se aleja del centro.

ARQUITECTURA RNBR

Las RNBR tienen una construcción rígida de tres capas:

Imagen 1.Arquitectura de RNBR


CAPA DE ENTRADA

En la primera capa se tiene como entradas el error, la derivada del error y una constante, reciben las señales del exterior, no realizan ningún preprocesado.

CAPA DE OCULTA

Esta capa de gran dimensión y en la que las unidades  (neuronas) son las funciones de base radial, reciben las señales de la capa de entrada y realizan una transformación local y no lineal sobre dichas señales (Diferencia con el MLP).

CAPA DE SALIDA
Se realiza una combinación lineal de las activaciones de las neuronas de la capa oculta y actúa como salida de la red, es decir esta tiene la responsabilidad en la red de la activación de patrones aplicados en la capa de entrada.
APRENDIZAJE DE ENTRENAMIENTO
El entrenamiento que realiza este tipo de redes, determina todas las medidas de la red.
Parámetros de la capa de salida: Pesos, W
Parámetros de la capa Oculta: Centros, C y desviaciones asociadas d.
La determinación de los parámetros de la capa oculta, es ejecutada mediante la optimización en el espacio de entradas, ya que cada neurona va a representar una zona diferente en dicho espacio y en la capa de salida, la optimización se realiza en base a las salidas que se desea obtener (salidas deseadas), ya que en su globalidad, las redes de base radial se utilizan para aproximar relaciones entre el conjunto de variables de entrada y salida que definen el problema.
APRENDIZAJE HÍBRIDO
MÉTODO NO SUPERVISADO: La fase no supervisada es la determinación de parámetros de la capa oculta.
Las neuronas ocultas se determinan porque estas representan zonas desiguales del espacio de entradas, puesto que los centros y desviaciones de estas deben de calcularse con este objetivo, (hay que clasificar el espacio de entradas en otras clases).
 Determinación de Centros
Para la determinación de centros se debe aplicar:
Algoritmo K-medias
Mapas de Kohonen
Determinación de Desviaciones
Estos se deben de calcular de manera que cada neurona de la capa oculta se active en una región del espacio de entradas y de manera que el solapamiento de las zonas de activación de una neurona sea lo más ligero posible, para que de esta manera se pueda suavizar la inserción.
MÉTODO SUPERVISADA: Esta fase es la determinación de pesos en capa de salida. En si es el más utilizado, se basa en lo dicho en el apartado anterior sobre la separación de técnicas de optimización, conserva las características locales de la red.
MÉTODO TOTALMENTE SUPERVISADO
El método totalmente supervisado son todos los parámetros de las redes de neuronas de base radial, es decir los centros, desviaciones y los pesos, se determinan de forma supervisada con el objetivo de minimizar el error cuadrático medio.
Este  método  totalmente supervisado no conserva, en principio, las propiedades o características locales de las RNBR.
GENERALIZACIÓN DE UNA RBF
Después de entrenada una red RBF se mide su capacidad de generalizar antes nuevos ejemplos de entrada. A este proceso se le conoce como Interpolación.
INCONVENIENTES
Esta red presenta algunos inconvenientes como los siguientes:
En algunos casos, es necesario un elevado número de neuronas en la capa oculta. Lo que ocasiona la  pérdida de generalización.
El número de neuronas ocultas aumenta exponencialmente con la dimensión del espacio de entradas.
APLICACIONES
Las RBNR han sido aplicadas a un sinfín de problemas, frecuentemente son utilizadas para resolver problemas de clasificación de mapeo, no obstante son aplicadas también para:
Análisis de series temporales
Diagnósticos médicos.
Reconocimiento de rostro
Sensores de olor
Procesamiento de lenguaje

Visión y procesamiento de imágenes

CONCLUSIONES

Las Redes Neuronales de Base Radial son prácticamente muy fácil de efectuar y al mismo tiempo sobresalen con respecto a su comportamiento. 
Las Funciones de Base Radial (RBF), muestran una opción en el procedimiento de las Redes Neuronales ya que admite ejecutar procedimientos provechosos, en sí lo que hace está es establecer la distribución óptima de una red neuronal en la que se especifica la aplicación.
No obstante todavía queda por resolver el problema de la cantidad de neuronas, pero a excepción de esto existen algunas instrucciones en las cuales emprenden esta dificultad.
BIBLIOGRAFÍA
Colmenares, G.2004. Función de Base Radial. (En Línea). Consultado el 15 de Julio 2015. Formato PDF.Disponible en   http://www.webdelprofesor.ula.ve/economia/gcolmen/programa/redes_neuronales/capitulo4_funciones_bases_radiales.pdf

González, M. Redes de Base Radial. Sistemas Conexionistas. (En Línea). Consultado el 15 de Julio 2015. Formato PDF.Disponible en   http://www.varpa.org/~mgpenedo/cursos/scx/archivospdf/Tema5-6.pdf

Poma, F. 2009.Modelo de Redes Neuronales de base radial. Revista de Información, Tecnología y Sociedad. (En Línea). Consultado el 15 de Julio 2015. Disponible en http://www.revistasbolivianas.org.bo/scielo
                                                                                                          
Pérez, M; Valenciano, P. 2007. Empleo de redes neuronales de base radial. Ciencia Ergo Sum, Vol.14, Nº1, marzo-junio, 2007, pp.6-14.Universidad Autónoma del Estado de México. Disponible en  http://www.redalyc.org

 Valls, J.2007. Redes de Neuronas de Base Radial. (En Línea). Consultado el 15 de Julio 2015. Formato PDF.Disponible en  http://eva.evannai.inf.uc3m.es/et/docencia/rn-inf/documentacion/Tema4-RNBR.pdf





miércoles, 8 de julio de 2015

RED ADALINE

FECHA: 30 de Junio del 2015
TEMA: RED ADALINE

INTRODUCCIÓN

Las Redes Neuronales son dispositivos, programados de manera tal que tratan de representar el cerebro humano, simulando de cierto su proceso de aprendizaje. Dentro de los tipos de neuronas artificiales tenemos a la Red Adaline.
La Red Adaline tiene una diferencia significativa  con relación al Perceptrón ya que esta emplea  una regla de aprendizaje más fuerte que la del perceptrón que es la llamada regla LMS (Least Mean Square) mínimo cuadrado medio.
El perceptrón se basa en diferenciar de una clase de otra, separa por decirlo así manzana de peras ,personas altas de bajas por decir un ejemplo , en cambio una red Adaline tiene una salida lineal y toma valores continuos que pueden ir de valores negativos hasta positivos.

MARCO TEÓRICO

RED ADALINE
ANTECEDENTES

La Red Adaline fue desarrollada en el 1960 por Bernard Widrow y su estudiante Marcian Hoff de la universidad de Stanford.
ADALINE proviene de Adaptive Lineal Element (Elemento Lineal Adaptativo), pero antes de que se le diera este nombre esta red sufrió un cambio ya  que primeramente se llamaba Adaptive Lineal Neuron (Neurona Linear Adaptiva), dicho cambio se dio por que la Red Adaline es un dispositivo que consta de un único elemento de procesamiento, como tal no es técnicamente considerada una red neuronal.
Adaline fue desarrollada para el reconocimiento de patrones binarios, por ejemplo predecir el siguiente bit en una línea telefónica.

CARACTERISTICAS

Las Redes ADALINE son redes muy similares al Perceptrón con la diferencia de que su función de activación es lineal en lugar de ser un limitador fuerte como es el caso del Perceptrón, estas presentan la misma limitación del Perceptrón respecto al tipo de problemas que pueden resolver,  ya que ambas redes solo pueden resolver problemas linealmente separables.
Son redes de aprendizaje supervisado que  usan la regla de Widrow – Hoff para dicho aprendizaje o también denominada regla Delta. El algoritmo que estas usan es el LMS (Least Mean Square) siendo este  más eficiente que la regla de aprendizaje del Perceptrón puesto que minimiza el error medio cuadrático.
Adaline está limitada a una única neurona de salida, un  vector x como su entrada y un número real y como su salida.

ARQUITECTURA

Como se aprecia en la (Imagen 1), la  Red Adaline está formada por un elemento denominado Combinador Adaptativo Lineal (ALC).
La salida lineal obtenida del ALC es aplicada  a un Conmutador Bipolar.
El Umbral se representa  a través de una conexión ficticia de peso W0 (b).

La red Adaline puede tomar valores continuos.

ALGORITMO DE APRENDIZAJE:

1.- Inicializar los pesos en forma aleatoria
2.- Introducir un patrón de entrada
3.- Calcular la  salida (y), compararla con la deseada (d) y obtener la diferencia (dp - yp)
4.- Multiplicar el resultado del paso anterior por la entrada correspondiente a cada uno de los pesos  y ponderarla por la tasa de aprendizaje.
5.- Actualizar los pesos, sumando al valor antiguo la cantidad obtenida en el paso anterior
6.- Si no se ha cumplido el criterio de parada, regresar al paso 2, si se ha acabado todos los  patrones repetir el algoritmo.

Criterios de parada:

Criterio 1: Fijar un número de ciclos máximo. Dicho número debe garantizar que el error cuadrático para los patrones de entrenamiento se haya estabilizado.
Criterio 2: Cuando el error cuadrático sobre los patrones de entrenamiento no cambia durante x ciclos.
Criterio 3: Cuando el error cuadrático sobre los patrones de validación no aumenta o se mantiene estable a lo largo de x ciclos.
EJEMPLO:



VENTAJAS


Una de las principales ventajas que presenta la Red Adaline frente al perceptrón es que esta su gráfica de error es un  hiperparaboloide la cual contiene un mínimo global o también puede tener una recta de infinitos valores.
De esta manera se evita los problemas que proporciona el perceptrón al momento del entrenamiento ya que su función de error tiene cuantiosos mínimos específicos.

APLICACIONES

La principal aplicación de las redes de tipo Adaline se encuentra en el campo de procesamiento de señales. Específicamente en el diseño de filtros, estas son capaces de eliminar ruido en señales portadoras de información.
Otra aplicación que tiene esta red  es la de los filtros adaptivos.
Un Adaline tiene la suficiente capacidad  de predecir el valor de una señal en el instante ( t+1) si se conoce el valor de la misma en los p instantes anteriores (p es >0 y su valor depende del problema).
Predecir el valor futuro de una señal a partir de su valor actual.
El error predicción  va a variar, es decir la predicción va a ser mayor o menor dependiendo de la señal que se va a predecir. Si dicha señal corresponde a una serie de temporal el Adaline, transcurrido un tiempo, estará apta para dar predicciones correctas.

CONCLUSIONES
La Red Adaline es un mecanismo físico capaz de realizar aprendizaje es un elemento Combinador Adaptativo, recibe un conjunto de entradas y las combina para producir una salida entonces ADALINE es un modelo de aprendizaje.
Las redes Adaline se basan en el objetivo de evaluar  de la forma más  correcta la salida, para de esta manera poder minimizar el error medio cuadrático, por tanto son muy similares al Perceptrón, lo único en lo que cambian es la transferencia en la salida.
Adaline tiene una considerable diferencia con respecto a Perceptron, puesto que en la modificación de los pesos que se dan en la preparación, la Red Adaline tiene muy presente el valor de corrección de la salida estimada con relación a la esperada.

BIBLIOGRAFÍA

Medina, E; Cubides, H; Salazar, J y Sigüencia, J. 2010. Redes Adaline – Filtros Adaptativos. (En Línea). Consultado,  03 de Jun del 2015. Disponible en: http://es.scribd.com/doc/52002261/Adeline-1

Galván, I y Valls, J. 2010. Redes de Neuronas Artificiales. (En Línea). Consultado,  02 de Jun del 2015. Formato (PDF). Disponible en: http://ocw.uc3m.es/ingenieria-informatica/redes-de-neuronas-artificiales/transparencias/material-de-clase.-tema-2

Torres, Luis .2008. Redes Neuronales Artificiales. (En Línea).Consultado 16 de Jun 2015. Formato (PDF).Disponible en http://disi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf

Valls, J. 2007. Redes de Neuronas Perceptrón y Adaline. (En Línea). Consultado,  24 de Junio 2015. Formato (PDF). Disponible en: http://eva.evannai.inf.uc3m.es/et/docencia/rn-inf/documentacion/Tema2-PerceptronAdaline.pdf

Roncagllolo, P. s.f. Procesamiento Digital de Imágenes. (En Línea). Consultado,  24 de Jun 2015. Formato (PDF). Disponible en: http://www2.elo.utfsm.cl/~elo328/PDI21_RedesNeuronales.pdf





PERCEPTRON MULTICAPA


Fecha: 16 de Junio del 2015
Tema: Perceptrón Multicapa

INTRODUCCIÓN

En el siguiente documento se dará a saber una de las clases de redes de neuronas, como lo es el Perceptrón Multicapa.
El Perceptrón Multicapa es una descendencia del Perceptrón Simple, cuenta con la habilidad de aprender a partir de un conjunto de ejemplos, aproximar, filtra ruidos en  los datos, esto es lo que lo hace que sea un modelo conveniente para poder resolver problemas reales.
En la actualidad el Perceptrón Multicapa está desempeñando un rol muy importante  con respecto a la resolución de problemas, esto sin duda alguna se debe a su capacidad como aproximador universal, así como su fácil uso  y su aplicabilidad.
MARCO TEÓRICO

ARQUITECTURA  DEL PERCEPTRÓN
La arquitectura del Perceptrón , llamada mapeo de patrones (pattern-mapping), aprende a clasificar modelos mediante un aprendizaje supervisado. Los modelos que clasifica suelen ser generalmente vectores con valores binarios (0,1) y las categorías de la clasificación se expresan mediante vectores binarios.

ARQUITECTURA DEL PERCEPTRÓN MULTICAPA

El perceptrón multicapa se identifica porque este tiene sus neuronas agrupadas entre sí, cada capa la conforma un conjunto de neuronas entre ellas se tienen 3 capas deferentes:
- Capa de Entrada
- Capas Ocultas 
- Capa de Salida

En el caso de las neuronas de entrada solo se encargan exclusivamente  de recibir las señales y extender dichas señales a las demás neuronas de la capa siguiente.
Las neuronas de las capas ocultas cumplen un procesamiento no lineal de los patrones recibidos.
Las conexiones de Perceptrón Multicapa siempre van hacia adelante nunca hacia atrás, es decir las neuronas de una capa constantemente se conectan con las neuronas de la siguiente capa.
La última capa funciona como la salida de la red, aportando al exterior la respuesta de la red hacia cada modelo de entrada. Las conexiones entre las neuronas tienen un peso y también un umbral, en este caso el umbral se le trata como  una conexión más a la neurona, esta entrada es constante e igual a 1.
CARACTERÍSTICAS
Una de sus características es que posee una arquitectura para la resolución de problemas reales.
Tienen una capa de entrada y una capa de unidades procesadoras que constituyen la capa de salida.

APRENDIZAJE EN EL PERCEPTRÓN MULTICAPA
El objetivo principal del  aprendizaje del perceptrón multicapa es ajustar los parámetros de red: Pesos y Umbrales ya que se quiere que la entradas produzcan las salidas deseadas.
Se evalúa el error cuadrático.
Se implementa las reglas para  la modificación de pesos y umbrales:
Se calculan los valores para todas las neuronas de la capa de salida.
Se calcula para el resto de neuronas, empezando por la última capa oculta y terminando en la capa de entrada.
Se modifica los pesos y umbrales.

CONCLUSIONES

El perceptrón tiene una capa de datos, dándole paso a la siguiente capa para de esa manera dar respuestas acertadas con respecto a las variables de entrada en base al aprendizaje.
El perceptrón multicapa a pesar de ser una de las redes más utilizadas, no necesariamente es una de las más potentes ya que posee ciertas limitaciones como es el caso del proceso de aprendizaje para problemas complejos.


BIBLIOGRAFÍA

Basogian, X. 2010. Redes neuronales Artificiales y sus Aplicaciones. Tesis. Escuela Superior de Ingeniería de Bilbao. (En Línea). Consultado el 22 de Junio, 2015. Formato PDF. Disponible en: http://www.ciberesquina.una.edu.ve:8080/2014_2/350_E.pdf

Viñuela, P y Galván, I. 2004. Redes de Neuronas artificiales. Un enfoque práctico. Pearson Education. Madrid. p 1-5.