Вопросы по моделям трансформеров

Какой тип данных используется в качестве входных данных для обучения модели трансформера?

• Тексты

• Изображения

Какую задачу решает модель BERT?

• Классификация текста

• Генерация текста

Какой алгоритм используется для обучения трансформеров в BERT?

• Метод наименьших квадратов

• Градиентный спуск

Как называется слой, который позволяет модели трансформера обрабатывать последовательности?

• ReLU

• Attention layer

Что делает слой внимания (Attention) в модели трансформера?

• Усиливает важные признаки в данных

• Уменьшает размерность данных

Какой компонент используется в модели BERT для обработки контекста в предложениях?

• Recurrent Neural Network (RNN)

• Attention Mechanism

Что такое "fine-tuning" в контексте модели BERT?

• Обучение модели с нуля

• Корректировка гиперпараметров

Какой из методов используется для генерации текста в нейронных сетях?

• Markov Chains

• Gradient descent

Что означает термин "подсветка" в контексте работы моделей трансформеров?

• Увеличение внимания к важным словам

• Применение регуляризации

Какой из следующих методов используется для уменьшения переобучения в моделях нейронных сетей?

• Dropout

• SVM