ML Бустинги

Случайный лес и бустинг. В чем отличия между деревьями, которые используются в этих композициях?

• Деревья в случайном лесе неглубокие, а в бустинге глубокие.

• Деревья в случайном лесе глубокие, а в бустинге неглубокие.

• Деревья в бустинге n-арные, а в случайном лесе бинарные.

• Деревья в бустинге бинарные, а в случайном лесе n-арные.

На какой обучающей выборке обучаются деревья в бустинге?

• Каждое дерево композиции использует одну и туже обучающую выборку

• Каждое дерево композиции использует обучающую выборку из новых пар {x,y}

• Каждое дерево композиции использует обучающую выборку из новых пар {x,y}, при этом x никогда не меняется

• Каждое дерево композиции использует обучающую выборку из новых пар {x,y}, при этом y никогда не меняется

Что предсказывает N-ный базовый алгоритм бустинга?

• Значения антиградиента для функции потерь композиции из N-1 алгоритмов.

• Значения градиента для функции потерь композиции из N-1 алгоритмов.

• Значения антиградиента для функции потерь композиции из N алгоритмов.

• Значения градиента для функции потерь композиции из N алгоритмов.

Главная особенность бустингов:

Выберите верное утверждение:

• Чем больше размер шага(learning rate), тем больше нужно базовых алгоритмов, чтобы достичь хорошего качества, и тем больше времени занимает процесс. 

• Чем меньше размер шага(learning rate), тем меньше нужно базовых алгоритмов, чтобы достичь хорошего качества, и тем больше времени занимает процесс.

• Чем меньше размер шага(learning rate), тем больше нужно базовых алгоритмов, чтобы достичь хорошего качества, и тем больше времени занимает процесс. 

Чем градиентный бустинг отличается от случайного леса?

• Каждый следующий алгоритм в градиентном бустинге обучается так, чтобы исправить ошибки будущих базовых алгоритмов.

• Градиентный бустинг может строить алгоритмы только для задач регрессии.

• Базовые алгоритмы, как правило, выбираются достаточно простыми — например, это могут быть неглубокие деревья.

В каком модуле библиотеки scikit-learn находится XGBClassifier?

• sklearn.ensemble

• sklearn.xgboost

• sklearn.linear_model

• Ни в каком. XGBClassifier находится в библиотеке xgboost.

Что лучше: XGBoost или CatBoost. Почему?

Выберите не верное утверждение:

• XGBoost присваивает вес каждому примеру обучающей выборке

• LightGBM строит дерево "не так как все остальные"

• CatBoost поддерживает GPU

• Если в данных много шума, AdaBoost переобучается

Правда ли, что бустинги(или композиции бустингов) в данный момент являются лучшим инструментом для работы с структурированными табличными данными?

• Нет, линейные модели справляются лучше

• Нет, случайный лес лучше

• Да, это действительно так