Quizz M7

Sobre arquiteturas profundas para NLP, é correto afirmar que:

• Apenas redes neurais convolucionais são utilizadas em NLP.

• Modelos como Transformers e RNNs são exemplos de arquiteturas profundas usadas em NLP.

• Redes neurais profundas não melhoram significativamente o desempenho em NLP.

• Modelos de atenção são obsoletos e foram substituídos por SVMs.

Qual a principal limitação das redes neurais recorrentes (RNNs) tradicionais?

• Não podem ser usadas para modelar sequências temporais.

• Excesso de parâmetros comparado às redes convolucionais.

• Dificuldade em processar sequências de tamanho variável.

• Incapacidade de capturar dependências de longo prazo devido ao problema do desaparecimento do gradiente.

Qual é a principal inovação dos modelos Transformer em comparação com as RNNs?

• Uso de convoluções profundas para capturar contexto.

• Utilização de apenas uma camada para modelar texto.

• Substituição das recorrências pelo mecanismo de atenção, permitindo processamento paralelo.

• Introdução das redes LSTM para melhorar a memória de curto prazo.

Como funciona o mecanismo de atenção nos Transformers?

• Ele prioriza palavras aleatórias no texto de entrada.

• Ele ajusta dinamicamente os pesos das palavras na sequência, destacando as mais relevantes para cada token.

• Ele usa apenas a palavra anterior para prever a próxima palavra.

• Ele aplica convoluções para calcular relações entre palavras.

Qual é a principal diferença entre RNN e LSTM?

• LSTMs possuem portas que ajudam a mitigar o desaparecimento do gradiente, enquanto RNNs comuns não.

• LSTMs são redes convolucionais aplicadas ao NLP.

• RNNs são um tipo de Transformer aprimorado.

• LSTMs não conseguem lidar com sequências temporais longas.

No modelo SEQ2SEQ com LSTM, o que é o "encoder-decoder"?

• Um mecanismo de compressão de texto usado para diminuir a quantidade de dados.

• Uma abordagem que usa um LSTM para codificar uma sequência de entrada e outro LSTM para decodificá-la em uma sequência de saída.

• Um algoritmo baseado em regras para tradução automática.

• Um método exclusivo para gerar embeddings de palavras.

O que diferencia o ULMFit de outros modelos de NLP?

• Ele substitui completamente modelos baseados em Transformers.

• Ele não requer pré-treinamento e é treinado do zero para cada nova tarefa.

• Ele depende exclusivamente de redes convolucionais para processar texto.

• Ele utiliza uma abordagem de fine-tuning de aprendizado profundo para adaptar modelos pré-treinados a tarefas específicas de NLP.

A principal característica do ELMO é que ele gera embeddings de palavras que variam dependendo do contexto.

• Verdadeiro

• Falso

Por que o mecanismo de atenção é útil em modelos SEQ2SEQ?

• Ele permite que o modelo foque apenas na palavra mais recente, ignorando o contexto global.

• Ele ajusta dinamicamente o foco em diferentes partes da sequência de entrada, ajudando a lidar com sequências longas.

• Ele substitui completamente a camada de saída do modelo.

• Ele é usado apenas para melhorar a eficiência computacional, sem impacto na qualidade das previsões.

Qual a principal vantagem do Transformer sobre LSTM para NLP?

• Os Transformers não sofrem com problemas de dependências de longo prazo, pois utilizam atenção em toda a sequência.

• O Transformer possui menos parâmetros do que um LSTM.

• O Transformer depende exclusivamente de redes convolucionais.

• O Transformer não pode ser usado para tarefas de NLP.