CIS-IXB-002

UNIVERSIDADNACIONALDE LOJA

Area de la Energa las Industrias y los Recursos Naturales No Renovables

Carrera de Ingeniera en Sistemas

Funciones de Activacion

Tarea- Extra ClaseNoveno B

Autor:

Henry Paul Vivanco Encalada

Docente: Ing. Henry-Paz,

Loja-Ecuador2014

1

IndiceA. FUNCION DE ACTIVACION 3

1 . Funcion Sigmoidal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 . Funcion Lineal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 . Funcion Tansig (Tangente Hiperbolica) . . . . . . . . . . . . . . . . . . . . 64 . Funcion Logsig (Logistica) . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 . Funcion Umbral o Threshold Function . . . . . . . . . . . . . . . . . . . . 86 . Funcion Signo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

B. BIBLIOGRAFIA 11

Indice de figuras1. Funcion Sigmoidal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42. Funcion Lineal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53. Funcion Lineal Acotada . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64. Funcion Lineal Simetrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65. Funcion Tansig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76. Funcion Logsig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87. Funcion Umbral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98. Funcion Signo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

A. FUNCION DE ACTIVACIONEn redes computacionales, la Funcion de Activacion de un nodo define la salida de

un nodo dada una entrada o un conjunto de entradas. Se podra decir que un circuitoestandar de computador se comporta como una red digital de funciones de activacion alactivarse como .ON(1) u .OFF(0), dependiendo de la entrada. Esto es similar al funcio-namiento de un Perceptron en una Red neuronal artificial.

El valor de red, expresado por la funcion de base, u(w, x), se transforma mediante unafuncion de activacion no lineal.[1]

Una neurona biologica puede estar activa o inactiva; es decir, que tiene un estadode activacion. Las neuronas artificiales tambien tienen diferentes estados de activacion;algunas de ellas solamente dos, al igual que las biologicas, pero otras pueden tomar cual-quier valor dentro de un conjunto determinado.[2]

La funcion activacion calcula el estado de actividad de una neurona; transformandola entrada global (menos el umbral) en un valor (estado) de activacion, cuyo rango nor-malmente va de (0 a 1) o de (1 a 1).cite2

Esto es as, porque una neurona puede estar totalmente inactiva (0 o 1) o activa (1).

La funcion activacion, es una funcion de la entrada global (gini) menos el umbral.[2]

Las funciones de activacion nos permiten dar mayor flexibilidad al sistema, y por tantomayor capacidad.[3]

La funcion de activacion se utiliza para limitar el rango de valores de la respuesta dela neurona.

Generalmente los rangos de valores se limitan a [0,1] o [-1,1], sin embargo otros rangosson posibles de acuerdo a la aplicacion o problema a resolver.[4]

Existen diversas funciones de activacion y la decision entre una u otra dependera nue-vamente de la aplicacion o problema a resolver.

1 . Funcion Sigmoidal

Los valores de salida que proporciona esta funcion estan comprendidos dentro de un

3

rango que va de 0 a 1. Al modificar el valor de gse ve afectada la pendiente de la funcionde activacion.[2]

Figura 1: Funcion Sigmoidal

2 . Funcion Lineal

Los valores de salida obtenidos por medio de esta funcion de activacion seran:

a*(gini- umbral), cuando el argumento de (gini- umbral) este comprendido dentro delrango (-1/a, 1/a).

Por encima o por debajo de esta zona se fija la salida en 1 o 1, respectivamente.Cuando a = 1 (siendo que la misma afecta la pendiente de la grafica), la salida es igual ala entrada. [2]

Se utiliza en problemas de aproximacion o estimacion lineal. [4]

4

Figura 2: Funcion Lineal

Una regresion lineal simple puede ser vista como la respuesta de una neurona confuncion de activacion lineal.

Funcion Lineal Acotada

Esta funcion esta definida como:

5

Figura 3: Funcion Lineal Acotada

Funcion Lineal Simetrica

Esta funcion esta definida como:

Figura 4: Funcion Lineal Simetrica

3 . Funcion Tansig (Tangente Hiperbolica)Los valores de salida de la funcion tangente hiperbolica estan comprendidos dentro de

un rango que va de -1 a 1. Al modificar el valor de g se ve afectada la pendiente de lafuncion de activacion.[2]

6

Esta funcion esta definida como:

Es la version continua de la funcion signo y se usa en problemas de aproximacion. Esimportante por sus propiedades analticas. Es continua a valores en [-1, 1] e infinitamentediferenciable.[4]

Figura 5: Funcion Tansig

4 . Funcion Logsig (Logistica)Con funcion logsig conseguimos obtener las probabilidades a posteriori para la sepa-

racion de dos gaussianas multivariadas con igual matriz de covariana.[3]

Esta funcion esta definida como:

Es una de las funciones mas utilizadas en la construccion de redes neuronales. Es con-tinua a valores en [0, 1] einfinitamente diferenciable. Es la version continua de la funcionumbraly se utiliza en problemas de aproximacion.[4]

7

Figura 6: Funcion Logsig

5 . Funcion Umbral o Threshold FunctionEsta funcion esta definida como:

La respuesta de la neurona es entonces 1 o 0.

Estos valores se pueden asociar a verdadero o falso y esta condicion dependera de si

Generalmente se utiliza para establecer criterios de clasificacion. Por ejemplo,1=Elementotipo A,0=Elemento tipo B.[4]

8

Figura 7: Funcion Umbral

6 . Funcion SignoEsta funcion esta definida como:

La respuesta de la neurona es entonces -1, 0 o 1.

9

Figura 8: Funcion Signo

10

B. BIBLIOGRAFIA

Referencias[1] Introduccion a las redes neuronales aplicadas. Disponible en: http://www.cs.stir.

ac.uk/lss/NNIntro/InvSlides.html

[2] Universidad Tecnologica Nacional. Facultad Regional Rosario. Departamento de In-geniera Qumica. Grupo de Investigacion Aplicada a la Ingeniera Qumica (GIAIQ).Informatica Aplicada a la Ingeniera de Procesos Orientacion I. Redes Neuronales:Conceptos Basicos y Aplicaciones. Damian Jorge Matich. Rosario Marzo del 2001

[3] R. Carballo (Dpto. Matematica Aplicada y C.C.)

[4] Introduccion a Las redes Neuronales (Neurales). CO-6612. Minaya Villasana

11

FUNCIN DE ACTIVACINFuncin SigmoidalFuncin LinealFuncin Tansig (Tangente Hiperbolica)Funcin Logsig (Logistica)Funcin Umbral o Threshold FunctionFuncin Signo

BIBLIOGRAFIA