NEW
Font size
WorksheetsML: RandomForest + Boosting
Total questions: 12
Worksheet time: 6mins
Какой алгоритм чаще всего используется в качестве базового в градиентном бустинге?
Логистическая регрессия
k-ближайших соседей
Случайный лес
Дерево решений
Какое основное отличие случайного леса от градиентного бустинга?
Случайный лес строит деревья независимо, а бустинг — последовательно
Случайный лес всегда дает более точные предсказания, чем бустинг
В случайном лесе деревья всегда глубокие, а в бустинге — только глубины 3
Градиентный бустинг не может работать с категориальными признаками
Что из ниже перечисленного наиболее эффективно снижает дисперсию модели в случайном лесе?
Добавление L1-регуляризации к каждому дереву
Увеличение глубины деревьев
Использование одной и той же выборки для всех деревьев
Увеличение числа деревьев в ансамбле
Зачем в случайном лесе используют случайное подмножество признаков при построении каждого дерева?
Чтобы ускорить обучение в 100 раз
Потому что все признаки одинаково важны
Чтобы уменьшить корреляцию между деревьями и улучшить обобщающую способность
Чтобы уменьшить глубину деревьев
Какой гиперпараметр в XGBoost контролирует переобучение, штрафуя за сложность модели?
reg_lambda
learning_rate
n_estimators
max_depth
Как LightGBM ускоряет обучение по сравнению с другими бустингами?
Он просто использует меньше деревьев
Он не достраивает деревья
Он не строит деревья, а работает как линейная модель
Он обучается только на маленьких датасетах
Что происходит на каждой итерации в градиентном бустинге?
Строится дерево, которое предсказывает значения целевой переменной
Повторно обучается первое дерево на новом подмножестве данных
Строится модель, приближающая градиент функции потерь
Все предыдущие деревья удаляются и заменяются новым
Какой градиент используется при обучении градиентного бустинга для задачи регрессии с MSE?
Какой loss-функцией по умолчанию пользуется CatBoost для задачи бинарной классификации?
Hinge Loss
Logloss
MAE
MSE
Почему CatBoost особенно хорошо работает с категориальными признаками?
Он удаляет все категориальные признаки
Выполняет one-hot кодирования перед обучением
Использует порядковое кодирование с контролем утечки
Заменяет значения категорий на порядковые номера
Как вычисляется итоговое предсказание модели градиентного бустинга после N шагов?
Вы обучаете модель LightGBM и замечаете переобучение. Какой из способов может помочь?
Уменьшить max_depth и learning_rate
Увеличить learning_rate
Увеличить количество деревьев без изменения других параметров
Отключить регуляризацию полностью
