Python для конверсии

np.percentile(гистограмма, 10)

• 5

• 15

• 20

• 30

Answer explanation

10 % выборки меньше этого перцентиля

np.percentile(гистограмма, 99)

• 0

• 30

• 99

• 20

Какой стандарт в индустрии для ошибок I и II родов?

• alpha 5%

  beta 5%

• alpha 95%

  beta 20%

• alpha 95%

  beta 95%

• alpha 5%

  beta 20%

Что такое статистически значимые различия?

• Признанные верховными математиками существенными различия

• Различия, которые могли получиться случайно с вероятностью меньше alpha

• Различия в метриках выборок больше 5%

• Различия в метриках выборок больше 20%

Чем отличается двухвостовой эксперимент от однохвостового?

• В двухвостовом эксперименте две H0

• В двухвостовом эксперименте нас интересуют как увеличение метрики, так и уменьшение метрики

• В двухвостовом эксперименте нас интересуют только увеличение метрики

• В однохвостовом эксперименте нужно искать две границы доверительного интервала

Что такое доверительный интервал? confidence interval

• Интервал, в который мы попадём с вероятностью (1-alpha) при верной H0

• Интервал, в который мы попадём с вероятностью (1-alpha) при ложной H0

• Интервал, в котором лежит 95% объёма альтернативной гипотезы

• Интервал, в который мы попадём с вероятностью 5% при ложной H0

Где располагается доверительный интервал для однохвостового эксперимента? Если мы проверяем увеличение метрики

• Между 5 и 95 перцентилями

• Между 2.5 и 97.5 перцентилями

• Слева от 95 перцентиля

• Справа от 95 перцентиля

Answer explanation

Увеличение метрики значит, что альтернативная гипотеза справа. Значит, доверительный интервал слева

Где располагается доверительный интервал для двухвостового эксперимента?

• Между 5 и 95 перцентилями

• Между 2.5 и 97.5 перцентилями

• Слева от 95 перцентиля

• Справа от 95 перцентиля

Answer explanation

95% H0 должны лежать внутри доверительного интервала. Поскольку эксперимент двухвостовой, то и слева зазор и справа зазор

Что такое p_value?

• Если верна H0, то с вероятностью p_value мы бы получили такое же отклонение или больше

• Если H0 ложная, то с вероятностью p_value мы бы получили такое же отклонение или больше

• Вероятность правильнсти АБ теста

• Точность АБ теста

Что делает этот код? [e for e in sim0 if R < e]

• Перебирает все элементы списка sim0 и оставляет только которые больше R

• Перебирает все элементы списка sim0 и оставляет только которые меньше R

• Формирует список sim0 случайными числами меньше R

• Формирует список sim0 случайными числами больше R