Складчина: Производительность и наблюдаемость бэкенда. Поиск проблем в продакшене [Devhands] [Михаил Курмаев]
О курсе:
- Изучите в деталях, как работают серверы для бэкенд-приложений, что и как мерять, чтобы понять, правильно ли всё работает
- Научитесь бороться с «неведомой фигнёй» на проде: что собирать, как и как анализировать качество работы бэкенда и микросервисов
- как автоматически собирать и анализировать данные о работе систем или устройств
- как отслеживать производительность, ошибки и поведение приложений в реальном времени
- используя платформу телеметрии SigNoz
- используя сервер для сбора метрик PINBA, интегрированный с «промстэком» (Prometheus/Grafana)
- Бэкендерам
- Программистам
- DevOps и инженерам инфраструктуры
- Системным инженерам
- Инженерам по нагрузочному тестированию
- Научиться собирать данные в распределённой среде микросервисов и строить нужные графики, чтобы поиск проблем на проде был максимально простым
- Получить навыки поиска узких мест бэкенд-приложений
- Получить навыки использования платформ телеметрии и сбора перфоманс-метрик в режиме реального времени
- Получить фундамент компетенций архитектора сложных, высоконагруженных приложений
Живые лекции и живые демо с автором курса Михаилом Курмаевым. Ведётся запись, ссылка выкладывается в чат. С первого же занятия выдаётся доступ к настроенной инфраструктуре для выполнения практических заданий. Все встречи начинаются в 19:00 МСК (GMT+3), проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.
Занятие 1
- Как устроены бэкенд-приложения изнутри: балансировщики нагрузки (load balancers), базы данных (databases), кеши (cache servers), сервера приложений (application servers)
- Производительность (performance) и наблюдаемость (observability): что это, зачем заниматься перфомансом, какие показатели важны и как их измерять. Что такое rusage
- Поднимаем тестовый стенд, эмулирующий реальное prod-окружение с базой (app-server, nginx, база данных), запускаем бенчмарки
- Щупаем тестовое приложение, используя wrk, стараемся выжать максимум RPS, понимаем разницу подходов whitebox и blackbox
- Instrumentation (практика)
- Пробуем подход Zero-code instrumentation, используя инструменты OpenTelemetry, начинаем собирать телеметрию на тестовом стенде
- Изучаем особенности реализации Zero-code instrumentation на разных языках программирования (PHP, Go, Java, Python)
- Запускаем SigNoz через docker compose, разбираем его функциональность и внутреннее устройство
- Строим дашборды и графики в SigNoz
- Advanced instrumentation
- Влезаем в код, расставляем таймеры, используя библиотеки OpenTelemetry
- Переходим к подходу whitebox observability
- Смотрим на другие distributed tracing / realtime monitoring продукты на примере Jaeger и pinba
- Соединяем всё вместе. Обсуждаем, как должны выглядеть необходимые дашборды и графики, учитывая накопленный опыт
- Дополнительные рецепты и советы по улучшению производительности приложения
- Примеры из личного опыта
- Разбор домашнего задания и обмен опытом
- Вопросы и ответы участников
- Эксперт по сложным, распределённым системам
- Многие годы строил платформу в Badoo/Bumble: помог вырасти проекту с нуля до 15 млн DAU, сотен миллионов зарегистрированных пользователей и 200K RPS на бэкенд на 5 датацентрах по всему миру
- Среди платформенных решений, которые разрабатывал Михаил и его коллеги:
- шардированные базы на сотни серверов и петабайты данных
- система очередей с сабсекундной задержкой доставки между континентами
- собственная time-series база на основе Apache Cassandra, способная хранить миллиарды метрик
- Сейчас развивает дата-платформу в Т-банке, где ежедневно реплицируются десятки тысяч таблиц и сгружаются в DWH терабайты данных
Скрытая ссылка