[unable to retrieve full-text content]Соберёшь полноценный DE-пайплайн на своём ноутбуке:
S3-lake → Spark → DWH → Airflow → BI
Один проект, который можно показать на собеседовании.
Для тех, кто сильный в SQL, но на собесах упирается в “где пайплайны, инкременты, оркестрация и качество”.
Программа:
0. Окружение: Docker-стенд, проверка сервисов
Практикум по Data Engineering: сквозной ETL на Spark + Postgres + Airflow + BI [Дмитрий Кузьмин]
S3-lake → Spark → DWH → Airflow → BI
Один проект, который можно показать на собеседовании.
Для тех, кто сильный в SQL, но на собесах упирается в “где пайплайны, инкременты, оркестрация и качество”.
Программа:
0. Окружение: Docker-стенд, проверка сервисов
- поднимаем стенд docker compose up и проверяем сервисы (Spark UI, Airflow, Postgres, MinIO)
- учимся читать логи контейнеров и находить причину “не стартует”
- базовая...
Практикум по Data Engineering: сквозной ETL на Spark + Postgres + Airflow + BI [Дмитрий Кузьмин]