Examen de NLP Master Data Science, Big DAta et IA

Quelle mesure est utilisée pour évaluer la performance d’un modèle de langue ?

• L’Erreur Quadratique Moyen (MSE)

• La perplexité

• Le BLEU score

• L’Entropie

Quelle est la principale limitation des RNNs ?

• Ils ne peuvent pas apprendre de texte long

• Ils ne peuvent pas être entraînés sur des données massives

• Ils ne comprennent pas les relations contextuelles complexes

• Ils oublient rapidement les informations lointaines

Que désigne le ‘hidden size’ ?

• La taille des vecteurs embedding

• La taille des vecteurs des états cachés 

• La taille des vecteurs du décodeur

• La taille des vecteurs de l'encodeur

Qu'est-ce que le NLP ?

• Un domaine de l'intelligence artificielle visant à permettre aux machines de comprendre et traiter le texte

• Un domaine de l'intelligence artificielle visant à permettre aux machines de comprendre et traiter le langage humain

• Un sous domaine de l’apprentissage profond visant à permettre aux machines de comprendre et traiter le langage humain

• Un sous domaine de l’apprentissage supervisé visant à permettre aux machines de comprendre et traiter le langage humain

Pourquoi les modèles de langage pré-entraînés sont-ils adaptés à l’apprentissage par transfert (transfer learning) ?

• Ils nécessitent moins de calculs que les RNN

• Ils permettent d’éviter l’apprentissage de zéro en ajustant un modèle pré-entraîné sur des tâches courantes

• Ils permettent d’éviter l’apprentissage de zéro en ajustant un modèle pré-entraîné sur une nouvelle tâche

• Aucun

Quel est le principal problème des modèles Seq2Seq sans attention ?

• Ils ne peuvent pas traiter de longues séquences efficacement

• Ils nécessitent un encodage spatial des tokens

• Ils utilisent trop de mémoire pour le calcul des probabilités

• Ils sont incompatibles avec les réseaux récurrents

Quel est le rôle principal du mécanisme d'attention dans un modèle Seq2Seq ?

• Réduire la complexité de calcul des réseaux de neurones

• Permettre au modèle de se concentrer sur les parties importantes de la séquence d'entrée à chaque étape du décodage

• Réduire les problèmes de mémoire à court terme des réseaux de neurones récurrents

• Réduire le temps d’apprentissage des réseaux de neurones

Dans un modèle Seq2Seq avec attention, quel composant génère la séquence de sortie ?

• L’encodeur

• La couche d'attention

• Le décodeur

• La couche softmax

Quelle(s) méthode(s) est/sont utilisée(s) pour calculer les scores d’attention ?

• Produit scalaire

• Fonction bilinéaire

• Perceptron multicouche

• Toutes les réponses ci-dessus

Pourquoi la représentation fixe de l’encodeur est problématique dans un modèle Seq2Seq sans attention ?

• Elle est trop coûteuse en mémoire

• Elle ne capture pas toute l’information de la séquence d’entrée

• Elle ne permet pas de paralléliser l’apprentissage

• Elle augmente la complexité de l’algorithme de recherche