Купить билеты
ExperimentFest#11

ИНТЕНСИВ ПО АНАЛИЗУ ДАННЫХ, МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ И A/B ТЕСТАМ

ИТ и интернет

ДАТЫ ПРОВЕДЕНИЯ

9 АВГУСТА 2022

11 АВГУСТА 2022

16 АВГУСТА 2022

18 АВГУСТА 2022

23 АВГУСТА 2022

25 АВГУСТА 2022

30 АВГУСТА 2022

1 СЕНТЯБРЯ 2022

ПРОГРАММА

Первый день. Математическая статистика как инструмент анализа A/B-тестирований.

  • Какие бывают эксперименты
    Введение: типы экспериментов, типы метрик и обзор тем курса
  • Описательные статистики
    Базовый курс математической статистики: что такое дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ

Второй день. Статистические критерии для проверки основных типов метрик: параметрика, непараметрика.

  • Статистические критерии
    Обзор классических статистических критериев. Почему для одной гипотезы подойдет критерий Стьюдента, а для другой Манн-Уитни

Третий день. Определение времени на продолжительность эксперимента и обзор темы чувствительности метрик

  • Fixed Horizon и MDE. Расчет прогноза остановки эксперимента.
    Сколько нужно данных для проведения эксперимента и как посчитать минимальный объем выборки
  • A/B/X-тестирования: множественная проверка гипотез
    Поправка на множественное сравнение и как множественная проверка гипотез сказывается на ошибки первого и второго рода.

Четвертый день. Расширенные инструменты математической статистики для анализа экспериментов.

  • Бутстрап
    Повторные выборки и квантильная оценка А/Б-экспериментов
  • Бакетирование и трансформирование метрик
    Как привести распределение к нормальному, оптимизировать метрику и ускорить расчеты эксперимента с помощью бакетов
  • Методы проверки качества систем сплитования: A/A-тестирования
    Какими способами можно проверять качество сплитования пользователей в эксперименте

Пятый день. Оптимизация скорости проведения экспериментов и ratio-метрики

  • Ускорение экспериментов: CUPED, стратификация
    Разберем теорию и закрепим на практике (демонстрации и задания) разные способы увеличения чувствительности метрик в эксперименте для сокращения времени проведения a/b тестов.
  • Ratio-метрика: дельта-метод, линеаризация, бутстрап и еще раз про бакетирование
    Обзор проблемы расчета дисперсии и оптимизация bias’a для ratio-метрик. Благодаря линеаризации появляется возможность работать с ratio-метриками и увеличить их чувствительность

Шестой день. Не лекционный день.

  • Q&A
    Разбор вопросов и кейсов студентов, накопившиеся за 2 недели материала

Cедьмой день. Симуляции и автоматизация A/B

  • Monte-Carlo и синтетические эксперименты | только для продвинутого блока
    Обзор Monte-Carlo процесса: расчет чувствительности метрик и времени на эксперимент непараметрическим методом. Ведение новой мета-метрики качества метрик – направленность
  • Разработка метрик и pipeline их расчета | только для продвинутого блока
    Обзор организации автоматизации расчетов метрик. Как придумать любую метрику с помощью числителей и знаменателей

Восьмой день. Расширенные методы математической статистики для анализа экспериментов

  • Offline-эксперименты: проблематика и обзор дизайнов | только для продвинутого блока
    Обзор популярных статистических подходов, используемые в дизайне offline-экспериментов, переход к альтернативным единицам рандомизации: гео-хрон эксперименты в delivery- / ride- сервисах(switchback), подбор точек в retail / dark kitchen / dark store, синтетический контроль, network эффекты, эксперименты в социальных сервисах
  • Sampling Bias и эффект новизны | только для продвинутого блока
    В каких случаях приходится сталкиваться с систематической ошибкой смещения выборки и как с ней бороться

 

Поделиться:

Через 33 дня
9 августа 19:00 — 1 сентября 21:00

Событие пройдет онлайн

Поделиться:

Есть вопросы?

Напишите нам, и мы обязательно вам ответим. Много интересного уже есть в нашей базе знаний.

Участник Организатор

Связь с организатором

Напоминаем, что для того чтобы сделать возврат организатору можно не писать.

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов