Симулятор A/B тестов продвинутая практика [2022]
karpov.courses
Александр Сахнов, Валерий Бабушкин, Николай Назаров
Расскажем всё о проведении экспериментов в компаниях.
На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
- Пройдите путь начинающего аналитика
- Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
- Получайте обратную связь от практикующих специалистов
- Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
- Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
- Разрабатывайте дизайн экспериментов и анализируйте результаты
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Спойлер: Содержание
Модуль 1 - Основы статистики
- Изучим основы статистики, которых будет достаточно для прохождения курса.
- В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
- Выдвинем гипотезы, оценим результаты первого эксперимента.
- Узнаем, как появилась идея проверять гипотезы.
- Создадим собственный критерий принятия решений.
- Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
- Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
- Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
- Познакомимся с методом бутстрэп.
- Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
- Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
- Научимся сокращать размер выборки, необходимый для проведения эксперимента.
- Выбрать метрику для эксперимента не всегда просто.
- Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
- Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
- Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
- Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
- При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
- Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Примечание: версия симулятора Продвинутая (Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов)
Продажник