ML: RandomForest + Boosting

Какой алгоритм чаще всего используется в качестве базового в градиентном бустинге?

• Логистическая регрессия

• k-ближайших соседей

• Случайный лес

• Дерево решений

Какое основное отличие случайного леса от градиентного бустинга?

• Случайный лес строит деревья независимо, а бустинг — последовательно

• Случайный лес всегда дает более точные предсказания, чем бустинг

• В случайном лесе деревья всегда глубокие, а в бустинге — только глубины 3

• Градиентный бустинг не может работать с категориальными признаками

Что из ниже перечисленного наиболее эффективно снижает дисперсию модели в случайном лесе?

• Добавление L1-регуляризации к каждому дереву

• Увеличение глубины деревьев

• Использование одной и той же выборки для всех деревьев

• Увеличение числа деревьев в ансамбле

Зачем в случайном лесе используют случайное подмножество признаков при построении каждого дерева?

• Чтобы ускорить обучение в 100 раз

• Потому что все признаки одинаково важны

• Чтобы уменьшить корреляцию между деревьями и улучшить обобщающую способность

• Чтобы уменьшить глубину деревьев

Какой гиперпараметр в XGBoost контролирует переобучение, штрафуя за сложность модели?

• reg_lambda

• learning_rate

• n_estimators

• max_depth

Как LightGBM ускоряет обучение по сравнению с другими бустингами?

• Он просто использует меньше деревьев

• Он не достраивает деревья

• Он не строит деревья, а работает как линейная модель

• Он обучается только на маленьких датасетах

Что происходит на каждой итерации в градиентном бустинге?

• Строится дерево, которое предсказывает значения целевой переменной

• Повторно обучается первое дерево на новом подмножестве данных

• Строится модель, приближающая градиент функции потерь

• Все предыдущие деревья удаляются и заменяются новым

Какой градиент используется при обучении градиентного бустинга для задачи регрессии с MSE?

• 
• 
• 
• 

Какой loss-функцией по умолчанию пользуется CatBoost для задачи бинарной классификации?

• Hinge Loss

• Logloss

• MAE

• MSE

Почему CatBoost особенно хорошо работает с категориальными признаками?

• Он удаляет все категориальные признаки

• Выполняет one-hot кодирования перед обучением

• Использует порядковое кодирование с контролем утечки

• Заменяет значения категорий на порядковые номера