Cuestionario sobre Tokenización y Embeddings

¿Cuál es el propósito principal de la tokenización en el Procesamiento del Lenguaje Natural (PLN)?

• Traducir el texto a diferentes idiomas.

• Dividir el texto en unidades más pequeñas y manejables para que los modelos puedan procesarlo.

• Corregir errores gramaticales en el texto.

• Generar un resumen automático del texto.

Según el texto, ¿cómo manejan los modelos avanzados como GPT-4o la tokenización de palabras como 'maúlla'?

• Siempre la tratan como un único token porque es una palabra completa.

• La dividen en subpalabras más pequeñas (por ejemplo, 'ma', 'úll', 'a').

• La ignoran si no está en su vocabulario principal.

• La convierten directamente en un embedding sin tokenizarla.

¿Cuál es una ventaja clave de la tokenización de subpalabras mencionada en el documento?

• Hace que el proceso de tokenización sea más rápido que la tokenización por palabras.

• Reduce la necesidad de generar embeddings.

• Permite manejar palabras raras o desconocidas dividiéndolas en partes que el modelo ya conoce.

• Asegura que cada palabra siempre corresponda a un único token.

¿Por qué es necesario asignar un ID numérico único a cada token después de la tokenización?

• Para contar el número total de palabras en el texto.

• Para que las computadoras, que solo trabajan con números, puedan procesar los tokens y usarlos como base para los embeddings.

• Para facilitar la traducción del token a otros idiomas.

• Para ordenar los tokens alfabéticamente antes de generar embeddings.

¿Qué es un 'embedding' en el contexto del PLN, según la explicación proporcionada?

• Un algoritmo para tokenizar texto de forma eficiente.

• Una representación numérica (un vector) de un token que captura su significado en contexto.

• Un identificador único asignado a cada palabra del vocabulario.

• Una técnica para comprimir el texto y reducir su tamaño.

¿Cuál es la idea clave detrás de los embeddings respecto a palabras con significados similares?

• Tendrán embeddings con un mayor número de elementos.

• Sus embeddings serán muy diferentes para evitar confusión.

• Tendrán representaciones vectoriales (embeddings) cercanas en el espacio multidimensional.

• Serán tokenizadas usando un menor número de subpalabras.

¿Qué significa que los LLM modernos generan 'embeddings contextuales'?

• Que el embedding de una palabra es siempre el mismo, sin importar la oración.

• Que el embedding de una palabra cambia dependiendo de las otras palabras que la rodean en la oración.

• Que solo se generan embeddings para palabras que aparecen en contextos muy específicos.

• Que los embeddings se actualizan cada vez que el contexto global del documento cambia.

Si la palabra 'banco' aparece en la oración 'Fui al banco a retirar dinero', ¿con qué tipo de palabras se esperaría que su embedding contextual esté más cerca?

• Con palabras como 'parque', 'asiento', 'madera'.

• Con palabras como 'río', 'orilla', 'pesca'.

• Con palabras como 'dinero', 'cajero', 'cuenta'.

• Con palabras como 'escuela', 'pupitre', 'clase'.

Según el documento, ¿cuál de las siguientes NO es una aplicación directa de los embeddings?

• Entender sinónimos y la polisemia (múltiples significados de una palabra).

• Agrupar ideas o temáticas similares dentro de un texto extenso.

• Corregir la ortografía de las palabras antes de la tokenización.

• Hacer recomendaciones de contenido similar (por ejemplo, películas o productos).

Si un modelo de lenguaje divide la palabra 'interesante' en los tokens ' inter', 'es', 'ante', ¿qué tipo de tokenización está empleando principalmente?

• Tokenización a nivel de carácter.

• Tokenización basada en espacios.

• Tokenización de subpalabras.

• Tokenización por frases completas.