Лекция 13. Глубокие RNN

Multiple Choice

Что хранит скрытое состояние $$h_t$$ в $$RNN$$ ?

• Только текущий входной симвоk

• Контекст всех предыдущих элементов последовательности

• Случайные значения для регуляризации

• Градиенты функции потерь

Multiple Choice

Как $$RNN$$ предсказывает следующее слово в тексте?

• Запоминая все возможные комбинации слов

• Оценивая условную вероятность P(xₜ | xₜ₋₁, xₜ₋₂, ...)

• Сравнивая с эталонными шаблонами

• Используя только последний символ

Multiple Choice

Какой тип архитектуры $$RNN$$ используется для обработки последовательностей с сохранением контекста на каждом шаге?

• Many-to-One

• Many-to-Many

• One-to-Many

• One-to-One

Multiple Choice

Какой основной недостаток простой $$RNN$$ решает $$LSTM$$ ?

• Медленная скорость обучения

• Проблема "забывания" длинных контекстов

• Неспособность обрабатывать изображения

• Ограниченное количество слоёв

Multiple Choice

Какой современный аналог $$LSTM$$ появился в 2014 году?

• Свёрточные сети

• GRU (Gated Recurrent Unit)

• Трансформеры

• Автокодировщики

Multiple Choice

Какая операция в $$LSTM$$ отвечает за "забывание" ненужной информации?

• Поэлементное сложение

• Поэлементное умножение

• Матричная свёртка

• Линейная комбинация

Multiple Choice

Какая математическая операция непосредственно отвечает за добавление новой информации в вектор контекста $$C_t$$ ?

• Матричное умножение

• Поэлементное сложение

• Скалярное произведение

• Логическое ИЛ

Multiple Choice

Почему $$LSTM$$ может предсказать слово "программистом" в конце предложения?

• Потому что это последнее слово в словаре

• Благодаря сохранению смыслового контекста через $$C_t$$ и $$h_t$$

• Случайно угадывает из всех возможных вариантов

• Потому что это самое частое слово в тексте

Multiple Choice

Как кодируются выходные значения для бинарной классификации?

• 0 - положительный, 1 - отрицательный

• [1, 0] - положительный, [0, 1] - отрицательный

• -1 - отрицательный, +1 - положительный

• Любое число больше 0.5 - положительный

Multiple Choice

Как интерпретируется выход модели (2 нейрона + softmax)?

• Если argmax(res) = 0 →

  отрицательный отзыв

• Если argmax(res) = 1 →

  положительный отзыв

• Если argmax(res) = 0 →

  положительный отзыв

• Если argmax(res) = 1 →

  нейтральный отзыв