Quiz Lab 2 - LLM

Cosa significa "language model" nel contesto dei LLM?

• Un sistema che stima la probabilità di una sequenza di parole

• Un modello che imita la grammatica umana

• Un'app che traduce tra lingue

• Un algoritmo che riconosce solo comandi vocali

Perché i LLM usano i "token" invece delle parole intere?

• Per gestire parole nuove o parziali

• Per essere compatibili con immagini

• Per occupare meno memoria

• Per criptare i dati

Cosa fa il positional encoding?

• Aggiunge l'informazione sulla posizione dei token nel testo

• Ordina alfabeticamente i token

• Codifica il tono della frase

• Traduce le parole in immagini

Nella self-attention, cosa misura il prodotto tra Q e K?

• L'importanza relativa tra token in base al contesto

• Il numero di token simili

• La differenza semantica tra token

• La posizione nel batch

Qual è l'effetto di temperature=1.5 nella generazione del testo?

• Il testo sarà più creativo ma anche meno coerente

• Il testo sarà molto breve

• Il testo sarà sempre in inglese

• Blocca la generazione

Cosa succede se `top_k` è impostato a 1?

• Il modello sceglie sempre il token più probabile

• Il modello genera solo un token

• Si attiva il training

• Non funziona la generazione

Qual è il ruolo della matrice di embedding?

• Trasformare i token in vettori numerici

• Ordinare i token

• Convertire immagini in testo

• Eseguire l'output finale

Perché i LLM hanno miliardi di parametri?

• Per rappresentare meglio le sfumature del linguaggio

• Per occupare più memoria

• Per migliorare la grafica

• Per motivi di sicurezza

Che tipo di apprendimento usa un LLM?

• Auto-supervisionato con testo

• Supervisionato con immagini

• Reinforcement learning per ogni token

• Pre-training supervisionato con numeri

A cosa serve la normalizzazione nei Transformer?

• A stabilizzare l'output e migliorare la propagazione dei gradienti

• A rimuovere gli errori ortografici

• A ridurre il vocabolario

• A codificare la grammatica