SIA - Transformers

¿En qué está basado un Transformer?

• Un Modelo Recurrente

• Un Mecanismo de Atención

• Un Modelo de Redes Neuronales Generativas

• Un Mecanismo Convolucional

La arquitectura de un Transformer está basada en múltiples Autoencoders

• Verdadero

• Falso

Un Transformer no logra resolver el problema del gradiente que desaparece (vanishing gradient problem)

• Verdadero

• Falso

¿Cuál es el objetivo de la capa de Self-Attention?

• Ayudar al Encoder a establecer un orden en la secuencia

• Ayudar al Decoder a dividir la secuencia en tokens

• Ayudar al Encoder a mirar otras palabras en la secuencia

• Ayudar al Decoder a mirar palabras siguientes en la secuencia

¿En qué consiste el proceso de "pre-processing"?

• Embedding -> Tokenization -> Positional Encoding

• Tokenization -> Embedding -> Positional Encoding

• Positional Encoding -> Embedding -> Tokenization

¿Para qué sirve el proceso de Embedding?

• Establecer un orden entre las palabras

• Dividir la secuencia de palabras en tokens

• Normalizar los tokens

• Representar una palabra en un vector de números

El proceso de Positional Encoding asigna un número natural consecutivo a cada token para representar su orden

• Verdadero

• Falso

Una de las ventajas de un Transformer es que permite ejecutar operaciones en paralelo

• Verdadero

• Falso

En el cálculo de Self-Attention, ¿qué indican los puntajes (scores) calculados por cada embedding?

• Es una norma que indica la distancia entre distribuciones de probabilidad

• Cuánta atención se le pone a ese embedding mientras se está procesando otro

• Los valores con los que se inicializan los pesos en el entrenamiento

• Qué token se debe procesar primero

¿Para qué sirve el mecanismo de "Multi-Headed Attention"?

• Ayuda a enfocarse en distintas posiciones de la secuencia simultáneamente

• Mejora la performance dividiendo la palabra en tokens de forma más rápida

• Reemplaza una muestra ruidosa por el output del Decoder

• Agrega un término regularizador a las funciones de costo