Лекция 4. Рекомендации по обучению НС

Poll

Какова была тема предыдущей лекции?

• Сверточные нейронные сети

• Алгоритм back propagation

• Структура персептрона

• Рекуррентные нейронные сети

Multiple Choice

Какова основная проблема реализации градиентного спуска?

• Слишком быстрое обучение нейронной сети

• Попадание в локальный минимум функции ошибки

• Недостаток вычислительных ресурсов

• Отсутствие необходимости в инициализации весов

Multiple Choice

Что происходит, если веса изначально имеют значимые значения?

• Обучение ускоряется

• Нейронная сеть перестает работать

• Веса изменяются медленно из-за малого градиента

• Функция ошибки достигает глобального минимума

Multiple Select

Какие методы оптимизации чаще всего применяется для ускорения обучения?

• Momentum

• Adagrad

• Adam

• оптимизация по Нестерову

Multiple Choice

По какой формуле выполняется нормализация входных значений?

• x_i′​=(x_i​−μ)/​σ

• x_i′​=(x_i​−min)/(max−min)
  

• x_i′​=x_i​⋅max

• x_i′​=x_i​+min

Multiple Choice

Какое ключевое требование к составу обучающей выборки?

• Данные должны быть однотипными

• Данные должны быть разнообразными и охватывать разные ситуации

• Данные должны быть минимального объема

• Данные должны быть только числовыми

Multiple Choice

Что такое mini-batch в контексте обучения нейронных сетей?

• Весь набор данных, используемый для обучения

• Небольшая часть данных, на основе которой корректируются веса

• Один элемент данных

• Финальный этап обучения сети

Multiple Choice

Когда вычисляется значение критерия качества в процессе обучения нейронной сети?

• После каждого наблюдения

• После каждого mini-batch

• После прогонки всей эпохи

• В начале обучения

Multiple Choice

Что такое переобучение в контексте нейронных сетей?

• Сеть слишком хорошо обобщает данные

• Сеть слишком точно описывает обучающую выборку, теряя обобщающую способность

• Сеть использует слишком мало нейронов

• Сеть не обучается вообще

Multiple Choice

Какая выборка используется для финальной проверки качества работы сети?

• Обучающая

• Валидационная

• Тестовая

• Дополнительная

Multiple Choice

Какой из перечисленных критериев НЕ является критерием останова процесса обучения?

• Расхождение показателя качества для обучающей и валидационной выборок

• Достижение максимального числа итераций

• Увеличение количества нейронов в сети

• Малое изменение весовых коэффициентов

Poll

Как Вы оцениваете свое желание углубиться в изученный материал?

• Очень высоко заинтересован

• 
  Не очень заинтересован

• Заинтересован

• 
  Совсем не заинтересован