DevSecOps на AWS: защита от LLM-скрейперов и бот-трафика [Udemy] [Sergii Demianchuk]

Bot

Администратор
Команда форума
23 Янв 2020
199,443
3,128
113
269049.jpg

Требования
  • Этот курс не для начинающих.
  • Активная учетная запись WS
  • Доменное имя для использования с CloudFront
  • Хорошие знания в области терраформинга.
  • Хорошие знания WS.
  • Понимание протокола HTTP, веб-приложений или API.
Описание
Что вы узнаете
  • Как работает кэширование CloudFront и как создавать интеллектуальные потоки доставки, учитывающие действия ботов.
  • Как реализовать стратегии разделения трафика и обработки контента с пониженным качеством с использованием CloudFront, Lambda@Edge и S3.
  • Как разделить кэш для ботов и людей с помощью CloudFront Functions
  • Как устранить проблемы с «отсутствующими активами» при использовании развертывания неизменяемых активов.
  • Как развернуть и настроить CloudFront Origin Shield
  • Как анализировать логи CloudFront с помощью Athena для получения информации о ботах и трафике.
  • Как настроить AWS WAF для защиты от DoS-атак ботов (наборы IP-адресов, географические правила, правила скорости, управляемые правила)
  • Как использовать дактилоскопию JA4 для сложных воронок ограничения скорости запросов.
  • Как на самом деле работает AWS WAF Bot Control (режимы COMMON и TARGETED)
  • Как интегрировать клиентский SDK WAF для разблокировки расширенных функций обнаружения.
  • Как читать и интерпретировать панели мониторинга и метки Bot Control
  • Как создать реальный отчет по идентификации ботов в Athena
  • Как разработать, проверить и внедрить комплексную стратегию работы с ботами (разрешение, блокировка, снижение производительности)

Требования
  • Активная учетная запись WS
  • Доменное имя для использования с CloudFront
  • Понимание протокола HTTP, веб-приложений или API.
  • Хорошие знания в области терраформинга.
  • Этот курс не для начинающих.
Краткое описание
Этот курс научит вас выживать — и побеждать — в новой эре ботов, веб-краулеров, скрейперов и автоматизированного управления трафиком на основе искусственного интеллекта .

Сегодня боты потребляют огромную часть трафика API, веб-сайтов и CDN.
Они обходятся дорого, искажают аналитику, нарушают логику кэширования и перегружают ваше приложение.
И традиционных средств защиты уже недостаточно.

Этот курс предоставляет вам полную, практическую, проверенную в боевых условиях систему для борьбы с ИИ-ботами с помощью интеллекта, а не грубой силы.

Раздел 1 — Понимание новой картины угроз

Начнём со стратегического уровня:

Почему боты с искусственным интеллектом стали реальной угрозой для бизнеса, каковы их цели, как бот-трафик вредит вашей инфраструктуре и как думать о долгосрочной защите.

Вы также получите общий обзор архитектуры — картину работы CloudFront, WAF, обработки контента с пониженным качеством и логики маршрутизации.

Раздел 2 — Проведение испытаний в колбе и подготовка к терраформированию

Прежде чем что-либо защищать, нам нужно что-то защищать.

Вам предстоит создать небольшое Flask API-приложение, запустить его локально, изучить его поведение, а затем подготовить Terraform, профили AWS и ECR для последующего развертывания в облаке.

Раздел 3 — Полное развертывание приложения с использованием Terraform

Это основа существующей инфраструктуры.

Вы будете:

  • Создание сетевых компонентов
  • Делегировать домен
  • Настройка ACM
  • Создать ALB
  • Разверните EC2 с использованием автомасштабирования.
  • Присоедините EC2 к ALB
  • Настройка CloudFront
  • Интегрировать WAF
  • Изучите консоль AWS и научитесь отлаживать поведение приложений.
Это создает полноценную «лабораторную среду», используемую для всех экспериментов по маршрутизации ботов в последующих разделах.
Раздел 4 — Автомасштабирование и неожиданные затраты на реальных ИИ-ботов

Мы исследуем, что происходит, когда боты атакуют вашу инфраструктуру в больших масштабах.

Вы увидите реальные примеры всплесков трафика, перегрузки процессора, резкого роста затрат — и узнаете, почему для ИИ-ботов требуется иной подход, чем для традиционных поисковых роботов.

Мы также обсуждаем AWS Fargate и демонстрируем реальный коммерческий пример влияния бота.

Раздел 5 — Интеллектуальная маршрутизация трафика с помощью CloudFront

Именно здесь курс становится по-настоящему уникальным.

Вы узнаете:

  • Как CloudFront работает на уровне запросов
  • Как разработать стратегию использования слабого контента — легковесный статический контент для ботов
  • Как маршрутизировать ботов с помощью Lambda@Edge
  • Как помечать ботов с помощью CloudFront Functions
  • Как возникают проблемы с кэшированием в реальных развертываниях и как их устранить
  • Как работать со статическими ресурсами, версионированием, защитой исходного кода и встроенными ресурсами.
  • Как сделать CloudFront полностью устойчивым к ботам и отказоустойчивым.
В итоге ваша дистрибуция CloudFront превращается в интеллектуальный маршрутизатор трафика, чувствительный к ботам.
Раздел 6 — AWS WAF: защита от ИИ-краулеров и автоматизированных ботов

Мы подробно рассматриваем WAF как с точки зрения защиты, так и с аналитической точки зрения:

  • Основы работы WAF и как он фактически анализирует трафик.
  • Пользовательские черно-белые списки в контексте ИИ-ботов
  • Фильтрация по географическому признаку
  • Быстрый старт Athena с использованием журналов WAF
  • JA4 дактилоскопия и статистическое обнаружение
  • Правила точного расчета скорости с привязкой к URL-адресу
  • Правила, управляемые на основе репутации
  • Теория интеллектуального противодействия ботам
  • Включение контроля ботов (ОБЩИЙ + ЦЕЛЕВОЙ)
  • Интеграция SDK для управления ботами
  • Чтение метрик и панелей мониторинга Bot Control
  • Понимание категорий ботов и определение того, какие реальные боты стоят за ними.
В этом разделе CloudFront и WAF объединены в единую систему защиты.
Раздел 7 — Стратегическая политика в отношении ботов и анализ трафика ИИ/ботов с использованием Athena

Это аналитическая и стратегическая кульминация курса.

Вы научитесь извлекать реальный бот-трафик из ваших логов, создавать полный отчет по идентификации ботов и использовать его для разработки конкретной стратегии защиты от ботов.

  • Создание отчета об идентификации бота с использованием Athena + реальных производственных данных.
  • Внедрение стратегической политики в отношении ботов — часть 1 (логика Terraform, маршрутизация CloudFront, интеграция с WAF)
  • Внедрение стратегической политики для ботов — часть 2 (завершение настройки маршрутизации, обработки контента низкого качества, правил блокировки)
  • Итоговое резюме курса + основные выводы + дальнейшие шаги
В заключение мы предлагаем понятную структуру, которую можно применять в любой реальной среде — облачной или локальной.
Для кого предназначен этот курс?

Любой, кто отвечает за веб-приложения, производительность API, безопасность облачных сервисов или оптимизацию затрат:

  • Программисты
  • DevOps и SRE
  • Архитекторы облачных решений
  • Инженеры по безопасности
  • Технические директора, руководители технологических подразделений, стартапы
  • Всем, кому интересны реальные методы защиты от ботов и управления трафиком?
Если вам нужна практичная , проверенная в боевых условиях , глубоко техническая и полностью воспроизводимая методология защиты от ботов с искусственным интеллектом — этот курс для вас.
Для кого этот курс:

  • Программисты
  • DevOps и SRE
  • Архитекторы облачных решений
  • Инженеры по безопасности
  • Технические директора, руководители технологических подразделений, стартапы
  • Всем, кому интересны реальные методы защиты от ботов и управления трафиком?