Лекция 8. Методы борьбы с переобучением, батч-нормализация

Poll

Как Вы считаете, что является главным фактором успешного обучения?

• Хорошие преподаватели

• Интересный материал

• Мотивация со стороны друзей

• Удобное расписание

Multiple Choice

Что такое переобучение нейронной сети?

• Слишком точная подгонка модели под обучающие данные

• Слишком медленное обучение нейронной сети

• Полное отсутствие обучения нейронной сети

• Слишком малое количество нейронов в сети

Multiple Choice

Что рекомендуется делать при обнаружении переобучения?

• Увеличить число нейронов в сети

• Продолжить обучение без изменений

• Остановить обучение и уменьшить число нейронов

• Удалить часть обучающих данных

Multiple Choice

Как работает Dropout?

• Исключает часть нейронов случайным образом во время обучения

• Увеличивает количество нейронов в каждом слое

• Замораживает веса нейронов навсегда

• Удаляет часть обучающих данных

Multiple Choice

Как исправляется проблема искажения входного сигнала при Dropout?

• Увеличением количества нейронов

• Масштабированием выходного сигнала

• Полным отключением метода

• Уменьшением скорости обучения

Multiple Choice

Куда записывается Dropout в архитектуре сети в Keras?

• Перед слоем, к которому применяется

• После слоя, к которому применяется

• В начале архитектуры

• В конце архитектуры

Multiple Choice

Какие статистические характеристики различаются при ковариационном сдвиге?

• Медиана и мода

• Математическое ожидание и дисперсия

• Ковариация и корреляция

• Асимметрия и эксцесс

Multiple Choice

Что такое внутренний ковариационный сдвиг?

• Изменение статистических характеристик между слоями нейросети

• Различие между обучающей и тестовой выборками

• Изменение архитектуры нейросети во время обучения

• Сдвиг весовых коэффициентов в процессе оптимизации

Multiple Choice

Почему просто нормализованных значений недостаточно?

• Теряется нелинейность активационной функции

• Увеличивается время обучения

• Снижается точность модели

• Усложняется архитектура сети

Multiple Choice

Какой из перечисленных эффектов НЕ является преимуществом Batch Normalization?

• Ускорение сходимости

• Возможность увеличения шага обучения

• Уменьшение количества слоев в сети

• Меньшая чувствительность к инициализации весов

Multiple Choice

Куда в архитектуре нейросети обычно добавляется слой BatchNormalization?

• Перед первым слоем

• После выходного слоя

• После слоя, к выходам которого применяется нормализация

• Только между входным и первым скрытым слоями

Poll

Что Вы сейчас думаете о dropout?

• Хочу dropout от этой лекции

• Dropout — это про меня, я уже отключился

• Dropout — это как мой мозг после третьего часа лекции

• Dropout — это когда я пропустил половину лекции