Historia del Deep Learning Josseline Alvarenga

Historia del Deep Learning

By Alvarenga 200910618

Cuando Walter Pitts y Warren McCulloch crearon un modelo computacional basado en las redes neuronales del cerebro humano. Utilizaron una combinación de algoritmos y matemáticas llamada "lógica umbral" para imitar el proceso de pensamiento. Desde entonces, el Deep Learning ha evolucionado constantemente, con dos pausas significativas debidas a los llamados "inviernos de la Inteligencia Artificial".

​

La historia del Deep Learning se remonta a 1943...

​Henry J. Kelley desarrolló en 1960 las bases de un modelo continuo de retropropagación. En 1962, Stuart Dreyfus creó una versión más simple basada en la regla de la cadena. Aunque el concepto de retropropagación (propagación hacia atrás de los errores para entrenar redes neuronales) ya existía, era ineficiente y no se volvió útil hasta 1985.

Los 60s

Durante los años 70, se produjo el primer "invierno de la IA" debido a expectativas no cumplidas y la falta de financiamiento. Sin embargo, algunos investigadores continuaron su trabajo. Kunihiko Fukushima diseñó redes neuronales con múltiples capas de agrupación y convolución. En 1979, creó el Neocognitron, una red neuronal jerárquica y multicapa capaz de reconocer patrones visuales.

Los 70s

En 1989, Yann LeCun demostró por primera vez la efectividad de la retropropagación en Bell Labs. Combinó redes neuronales convolucionales con retropropagación para reconocer dígitos escritos a mano. Este sistema se utilizó posteriormente para leer cheques bancarios.

80s y 90s

A principios de los 2000, surgió el problema del "gradiente desvaneciente", donde las capas inferiores de las redes neuronales no aprendían correctamente debido a la falta de una señal de aprendizaje. Este problema se debía a ciertas funciones de activación. En 2001, un informe de META Group destacó la creciente importancia del Big Data para el aprendizaje automático. En 2009, la profesora Fei-Fei Li de Stanford lanzó ImageNet, una base de datos con más de 14 millones de imágenes etiquetadas para entrenar redes neuronales.

2000 a 2010

En 2011, el aumento en la velocidad de los procesadores gráficos (GPUs) permitió entrenar redes neuronales convolucionales sin necesidad de preentrenamiento capa por capa. Un ejemplo es AlexNet, que ganó varias competiciones internacionales en 2011 y 2012 gracias al uso de unidades lineales rectificadas (ReLU) y la técnica de dropout.

2011 a 2020

Multiple Choice

¿Quién desarrolló el primer modelo computacional basado en redes neuronales en 1943?

• Warren McCulloch y Walter Pitts
• Norbert Wiener
• Alan Turing
• John McCarthy

En 2012, Google Brain llevó a cabo el "Experimento del Gato", un proyecto de aprendizaje no supervisado. A diferencia del aprendizaje supervisado, donde se usan datos etiquetados, el aprendizaje no supervisado busca patrones en datos sin etiquetar. En este experimento, una red neuronal analizó 10 millones de imágenes aleatorias de YouTube, permitiendo al sistema identificar patrones sin intervención humana.

​

Open Ended

Escriba una conclusión que conecte los conceptos de Deep Learning con aplicaciones prácticas en psicología industrial.