DS_ensemble

Как работает алгоритм дерева решений (классификация)?

• Разделяет данные на группы, минимизируя энтропию или критерий Джини на каждом шаге

• Использует градиентный спуск для оптимизации весов

• Строит линейные комбинации признаков

• Кластеризует данные по расстоянию до центроидов

Какой параметр ограничивает переобучение в дереве решений?

• learning_rate

• max_depth

• n_estimators

• ccp_alpha

Что измеряет критерий Джини в дереве решений?

• Среднеквадратичную ошибку

• Степень неопределенности в узле

• Вероятность принадлежности к классу

• Корреляцию между признаками

В чём отличие бэггинга и бустинга?

• Бэггинг строит модели параллельно, бустинг — последовательно

• Бустинг усредняет предсказания, бэггинг комбинирует с весами

• Бэггинг всегда использует деревья, бустинг — линейные модели

• Бустинг работает только для регрессии

Какой алгоритм НЕ является ансамблевым?

• Random Forest

• Gradient Boosting

• Logistic Regression

• Дерево решений

Как работает Random Forest?

• Строит одно глубокое дерево с лучшими признаками

• Обучает множество деревьев на бутстрапированных выборках и усредняет их предсказания

• Последовательно улучшает ошибки предыдущих моделей

• Использует только категориальные признаки

Какое преимущество у LightGBM перед XGBoost?

• Только работает с категориальными признаками

• Использует градиентный спуск вместо случайного леса

• Более быстрая тренировка за счёт гистограммного метода

• Не требует настройки гиперпараметров

Как CatBoost обрабатывает категориальные признаки?

• Использует target encoding и перестановки для борьбы с переобучением

• Игнорирует их, работая только с числовыми

• Применяет PCA для уменьшения размерности

Какой параметр в XGBoost контролирует скорость обучения?

• max_depth

• learning_rate

• n_estimators

• subsample