J'enseignerai le sujet de l'ingénierie des données pyspark, sql, entrepôt de données

Vous souhaitez découvrir les derniers outils et techniques de traitement, de gestion et d'architecture des données ? Dans ce cours complet, je vous enseignerai tout ce que vous devez savoir sur les tâches ETL par lots/streaming dans le cloud, en mettant l'accent sur AWS et les briques de données. Nous approfondirons le traitement des données avec PySpark, un framework open source populaire utilisé dans le cloud. Vous apprendrez également à créer des pipelines de données avec l'architecture Lake House et un pipeline de données ELT avec DBT (Data Build Tool).

Mais ce n'est pas tout ! Je vous présenterai également la qualité des données grâce à Pydeeque et Great Expectation, deux puissants outils de validation de données. La modélisation des données est également un point clé, notamment la modélisation dimensionnelle, essentielle à la création d'architectures de données robustes. Nous aborderons également l'entreposage de données à l'aide de plateformes cloud populaires telles que Snowflake, Big Query et RedShift.

Outre ces sujets, vous découvrirez également l'orchestration avec Apache Airflow, AWS Step Function et la création de pipelines de données avec AWS Athena, AWS Kinesis, AWS Glue Catalog et AWS DMS. Nous aborderons également Data Lake avec AWS S3.