Je vais concevoir des pipelines de données ETL évolutifs avec Python, Pyspark et AWS

Certaines informations ont été traduites automatiquement.
Saurabh

Inde

Je parle Anglais

2 commandes terminées

Data Engineer, pipelines ETL, Databricks, SQL, Azure, AWS

Vous cherchez un professionnel en Data Engineering pour construire des pipelines ETL robustes et évolutifs ? Vous êtes au bon endroit ! 🔹 Python, PySpark, Pandas et SQL 🔹 AWS Glue, S3 et Redshift 🔹...
Plus d’infos
À propos de ce service

Pipeline ETL de bout en bout

  • Concevoir et mettre en œuvre des pipelines de données évolutifs en utilisant Python, PySpark, AWS Glue et Databricks pour un traitement efficace des données.


Ingénierie des données AWS

  • Créer des pipelines S3 vers Redshift avec ingestion, transformation, validation, partitionnement et chargement incrémentiel.


Ingénierie des données Azure

  • Développer des solutions évolutives avec Azure Databricks, ADLS, PySpark et Delta Lake pour des plateformes de données cloud modernes.


Nettoyage et transformation des données

  • Utiliser Pandas, PySpark et SQL pour nettoyer, transformer, fusionner, valider et standardiser des données structurées et semi-structurées.


Optimisation des performances

  • Optimiser les charges de travail Spark et ETL en utilisant le partitionnement, les jointures broadcast, la poussée de prédicats, AQE et des formats Parquet/Delta optimisés.
Plus d’infos
build scalable etl data pipelines using python pyspark and AWS
Plein écran
build scalable etl data pipelines using python pyspark and AWS

Destination Platform:

Amazon Redshift

•

PostgreSQL

•

mySQL

+2

Outils et plateformes:

AWS Glue DataBrew

•

Autres

Balises associées