Conceptos Básicos de Neuronas

Galo Valverde Landívar

3.2

Redes Neuronales

Funciones discrimativas lineales

Introducción

 Otra forma de emular características propias de los humanos: memorizar y asociar hechos.

 Se aprende de la experiencia.

 El cerebro humano es el ejemplo más perfecto de sistema capaz de adquirir conocimiento.

 Se modela artificialmente ese sistema.

 Una red neuronal es "un nuevo sistema para el tratamiento de la información, cuya unidad básica de

procesamiento está inspirada en la célula fundamental del sistema nervioso humano: la neurona".

 Las neuronas son un componente relativamente simple pero conectadas de a miles forman un

poderoso sistema.

 Unidades de procesamiento que intercambian datos o información.

 Se utilizan para reconocer patrones, incluyendo imágenes, manuscritos, tendencias

financieras, etc.

 Tienen la capacidad de aprender y mejorar su funcionamiento.

Modelo Biológico

 El cerebro humano contiene más de cien mil millones de

neuronas.

 La clave para el procesamiento de la información son las

conexiones entre ellas llamadas sinápsis.

 Las dendritas son la vía de entrada de las señales que se

combinan en el cuerpo de la neurona.

 El axón es el camino de salida de la señal generada por

la neurona.

 En las terminaciones de las sinápsis se encuentran unas

vesículas que contienen unas sustancias químicas
llamadas neurotransmisores, que propagan señales
electroquímicas de una neurona a otra.

 La neurona es estimulada por sus entradas y cuando

alcanza cierto umbral, se dispara o activa pasando una
señal hacia el axón.

 Neurona: base del funcionamiento del cerebro.
 Sistema de procesamiento cerebral de la información:

 Complejo, No lineal y Paralelo.

 Elementos de que consta: sinapsis, axón, dendritas y soma o cuerpo

REDES NEURONALES

Modelo Biológico

Una neurona típica tiene una estructura física que consiste en un
cuerpo celular, un axón que envía mensajes a otras neuronas y
dendritas que reciben señales o información de otras neuronas.

https://www.youtube.com/watch?v=7831NGClsrM

Una neurona artificial genérica

• Las neuronas están conectadas entre sí en una red y trabajan juntas para

realizar tareas complejas, como la clasificación de imágenes o la traducción
de idiomas.

• Las entradas a una neurona son números que representan la información, y

la salida de una neurona es una decisión sobre qué hacer con esa
información.

Un modelo abstracto de neurona

 Las neuronas están conectadas por

canales unidireccionales con peso.

 El peso wij está asociado al canal que

conecta la neurona j con la neurona i.

 La entrada total de la neurona j es netj

= Σwijyi.

 La salida de la neurona j es yj = f(netj).
 θi representa un desplazamiento o

umbral de activación (sesgo o bias).

 Se puede pensar θi como el peso w0i

que conecta una neurona imaginaria

x0 con a0(t) = 1.

a

y

Neurona Artificial

 Elementos:

 Conjunto de entradas, xj

 Pesos sinápticos, wi

 Función de activación: w1·x1+ w2·x2 + ... + wn·xn = a

 Función de transferencia: y = F (w1·x1+ w2·x2 + ... + wn·xn )
 Bias o polarización: entrada constate de magnitud 1, y peso b que se introduce

en el sumador

Neurona artificial: unidad de procesamiento de la
información, es un dispositivo simple de cálculo que
ante un vector de entradas proporciona una única
salida.

Elementos de una red neuronal

 Se interconectan neuronas

en tres tipos de capas:

 De entrada: reciben

estímulos externos.

 Oculta: elementos internos

de procesamiento (se pueden
estructurar en varias capas).

 De salida: reciben la

información procesada y
retornan la respuesta del
sistema al exterior.

https://www.youtube.com/watch?v=6vwfT3-mBBw

Modelo de Neurona

 Una neurona es un componente básico

de una red neuronal. Es como una
pequeña computadora que puede
realizar cálculos simples y tomar
decisiones basadas en entradas.

 Una de las funciones más cruciales en

la arquitectura de redes neuronales la
desempeñan las funciones de
activación .

 Las funciones de activación son

transformaciones simples que se
aplican a las salidas de neuronas
individuales en la red, introduciéndole
no linealidad y permitiéndole aprender
patrones más complejos.

Neurona artificial

Funciones de activación

 Cuando construye su red neuronal, una de las

decisiones que debe tomar es qué función de
activación usar en las capas ocultas, así como en las
unidades de salida de su red neuronal.

 Sin embargo, sin funciones de activación, las

neuronas simplemente estarían haciendo aburridos
cálculos lineales con las entradas. Esto significa que
no importa cuántas capas de neuronas agreguemos
a la red, lo que puede aprender seguirá siendo
limitado porque la salida siempre será una
combinación lineal simple de las entradas.

 Las funciones de activación vienen al rescate al

introducir no linealidad en la red. Esto indica que la
salida de una neurona puede ser más compleja que
una simple suma lineal de sus entradas. Al agregar
no linealidad, la red puede modelar relaciones más
complejas entre las entradas y las salidas, lo que le
permite descubrir patrones más interesantes y
valiosos

 Las funciones no lineales, como la función

sigmoidea, Tanh, ReLU y ELU, proporcionan
resultados que no son proporcionales a la entrada.
Como resultado, cada tipo de función de activación
tiene sus propias características únicas que pueden
resultar útiles en diferentes escenarios

Función de Activación

 La neurona recibe señales de otras neuronas a través de las

dendritas. El peso (fuerza) asociado con una dendrita, llamado
pesos sinápticos, se multiplica por la señal entrante. Las señales
de las dendritas se acumulan en el cuerpo celular, y si la
intensidad de la señal resultante está por encima de un cierto
umbral, la neurona pasa el mensaje al axón. De lo contrario, la
neurona mata la señal y no se propaga más.

 La función de activación toma la decisión de pasar o no la

señal. En este caso, es una función de paso simple con un solo
parámetro: el umbral. Ahora, cuando aprendemos algo nuevo (o
desaprendemos algo), el umbral y los pesos sinápticos de
algunas neuronas cambian. Esto crea nuevas conexiones entre
las neuronas que hacen que el cerebro aprenda cosas nuevas.

 El vector de señal

que se multiplica

con los pesos

. A esto le sigue la

acumulación (es decir, suma + adición de
sesgo segundo). Finalmente, f se aplica
una función de activación a esta suma.

 Tenga en cuenta que los pesos

y

la polarización b transforman la señal de
entrada de forma lineal. La activación, por
otro lado, transforma la señal de forma no
lineal y es esta no linealidad la que nos
permite

aprender

transformaciones

arbitrariamente complejas entre la entrada
y la salida.

Funciones de activación

 Cuando construye su red neuronal, una

de las decisiones que debe tomar es
qué función de activación usar en las
capas ocultas, así como en las unidades
de salida de su red neuronal. Hasta
ahora, solo hemos estado usando una
función de activación, pero a veces
otras opciones pueden funcionar mucho
mejor.

 La función de activación es como un

guardián de cada neurona de la RNA.
Decide si una neurona debe
"encenderse" o "apagarse".

 Diferentes tipos de funciones de

activación realizan este proceso de
toma de decisiones de diferentes
maneras

Principales funciones de activación:

Función de Activación

Taller Neurona
Función activación

x = np.array([2, 3])

# x1 = 2, x2 = 3

weights = np.array([0, 1]) # w1 = 0, w2 = 1

bias = 4

# b = 0

class Neuron:

def __init__(self, weights, bias):

self.weights = weights

self.bias = bias

def feedforward(self, inputs):

# Weight inputs, add bias, then use the activation function

total = np.dot(self.weights, inputs) + self.bias

return sigmoid(total)

n = Neuron(weights, bias)
print(n.feedforward(x))

# 0.9990889488055994

def sigmoid(x):
# Activation function: f(x) = 1 / (1 + e^(-x))

return 1 / (1 + np.exp(-x))

https://colab.research.google.com/drive/15DRNhAbBs8Cmr-4zeIaEFYFGascBWv_b?usp=sharing

Regla de aprendizaje

 Biológicamente se acepta que la

información memorizada en el
cerebro se relaciona con los valores
sinápticos de las conexiones.

 En las RNA se considera que el

conocimiento se encuentra
representado en los pesos de las
conexiones.

 El proceso de aprendizaje se basa en

cambios en estos pesos.

Formas de conexión entre neuronas

 Las salidas de las neuronas se convierten en entradas de otras neuronas.
 Cuando ninguna salida de las neuronas es entrada de neuronas del mismo

nivel o de niveles precedentes, la red se describe como propagación hacia
adelante (feedforward).

 En caso contrario la red se describe como propagación hacia atrás

(feedback o backpropagation).

Redes Forward

Las más conocidas son:

 Perceptrón
 Adaline
 Madaline
 Backpropagation

Son útiles en aplicaciones
de reconocimiento o
clasificación de patrones.

Una red neuronal como caja negra

https://towardsdatascience.com/neural-network-via-information-68af7f49b978

 Aprendizaje: Las RNA tienen la habilidad de aprender mediante una etapa

que se llama etapa de aprendizaje. Esta consiste en proporcionar a la RNA
datos como entrada a su vez que se le indica cuál es la salida (respuesta)
esperada.

 Auto organización: Una RNA crea su propia representación de la

información en su interior, quitándole esta tarea al usuario.

 Tolerancia a fallos: Debido a que una RNA almacena la información de

forma redundante, ésta puede seguir respondiendo de manera aceptable
aun si se daña parcialmente.

 Flexibilidad: Una RNA puede manejar cambios no importantes en la

información de entrada, como señales con ruido u otros cambios en la
entrada (por ejemplo si la información de entrada es la imagen de un
objeto, la respuesta correspondiente no sufre cambios si la imagen cambia
un poco su brillo o el objeto cambia ligeramente).

 Tiempo real: La estructura de una RNA es paralela, por lo cual si esto es

implementado con computadoras o en dispositivos electrónicos especiales,
se pueden obtener respuestas en tiempo real.

Ventajas de una red neuronal

Elementos de una red neuronal
Caja Negra

 La entrada puede ser una imagen de cualquier tamaño, color, tipo, etc. Las tres salidas son

números entre 0 y 1. Las salidas están etiquetadas como "Cat", "Dog" y "Other". Los tres
números siempre suman 1.

 Una red neuronal perfecta generaría (1, 0, 0) para un gato, (0, 1, 0) para un perro y (0, 0, 1)

para cualquier cosa que no sea un gato o un perro. Sin embargo, en realidad, incluso una red
neuronal bien entrenada no dará resultados tan claros. Por ejemplo, si ingresa la imagen de
un gato, el número debajo de la etiqueta "Gato" podría decir 0.97, el número debajo de
"Perro" podría decir 0.01 y el número debajo de la etiqueta "Otro" podría decir 0.02.Las
salidas pueden interpretarse como probabilidades.

 Esta salida específica significa que la caja negra "piensa" que hay un 97% de probabilidad de

que la imagen de entrada sea la de un gato y una pequeña posibilidad de que sea un perro o
algo que no reconozca. Tenga en cuenta que los números de salida suman hasta 1.

Entrada de Red Neuronal

 Las imágenes son sólo una serie de números. Una imagen de 256 × 256

con tres canales es simplemente una matriz de 256x256x3 = 196,608
números. La mayoría de las bibliotecas que utiliza para leer la imagen
leerán una imagen de 256 × 256 colores en un bloque continuo de
196,608 números en la memoria.

 Con este nuevo conocimiento, sabemos que la entrada es un poco más

complicada. En realidad es 196,608 números.

Ejemplo

 X = { 2, 3 } w = { 0, 1 } Ɵ = 4
 F = sigmoid

0.9990889488055994

 X = { 3, 5 } w = { .6, 1 } Ɵ = 3
 F = escalón

 X = { 3, 4 } w = { .7, 1 } Ɵ = 2
 F = gaussiana

A=1
Ɵ=B

 X = { 3, 4 } w = { .7, 1 } Ɵ = 2
 F = sigmoid

 X = { 2, 3 } w = { 0, 1 } Ɵ = 3
 F = identidad

 X = { 2, 3 } w = { 0, 1 } Ɵ = 3
 F = ReLU

 X = { 2, 3 } w = { 0, 1 } Ɵ = 3
 F = SoftMax

Pros y contras de la
función de activación
https://machinelearningmastery.com/

 Sigmoidea: casi nunca se usa, excepto

para la capa de salida en clasificación
binaria.

 Tanh: Estrictamente superior a la

función sigmoidea, especialmente
para unidades ocultas.

 ReLU: la opción predeterminada para

la mayoría de las capas ocultas, ya que
a menudo conduce a un aprendizaje
más rápido.

 Leaky ReLU: similar a ReLU, pero con

una ligera pendiente para valores
negativos de z. Puede ser una
alternativa a ReLU.

La función de activación de ReLU solo debe usarse en las capas ocultas.
Las funciones Sigmoidea/Logística y Tanh no deben usarse en capas ocultas
ya que pueden causar problemas durante el entrenamiento.
Regresión: función de activación lineal
Clasificación binaria: función de activación logística/sigmoidea
Clasificación multiclase — Softmax
Clasificación multietiqueta — Sigmoidea

Referencias Bibliográficas

 Stephen Lucci, Danni Kopec. Artificial Intelligence in the

21st Century. Mercury Learning, 2013 (ISBN:
1936420236, ISBN-13: 9781936420230).

 Forsyth D., And Ponce J., "Computer Vision: A modern

approach", Second Edition, Pearson, 2012.

 https://medium.com/@Coursesteach/deep-learning-

part-23-activation-functions-4b7941463846