Je vais construire des pipelines de données évolutifs et ETL avec python, sql, airflow et databricks

Certaines informations ont été traduites automatiquement.

Inde

Je parle Anglais, Allemand

Ingénieur en données et IA

Je suis ingénieur en Data et IA avec une maîtrise en science des données et plus de 2 ans d'expérience chez Amazon et Tata Consultancy Services. Chez Amazon, j'ai créé des pipelines traitant plus de 1...
À propos de ce service

Vous avez besoin de pipelines de données fiables qui fonctionnent simplement ? Je suis un ingénieur en données avec un master en science des données et une expérience dans l'industrie chez Amazon et Tata Consultancy Services, où j'ai construit des pipelines traitant plus de 1 To de données pour plus de 100 analystes.


Ce que je peux réaliser pour vous :

  • pipelines ETL/ELT en python et sql
  • intégration de données depuis des API, bases de données, fichiers CSV/Excel et stockage cloud
  • flux de travail planifiés avec Apache Airflow
  • entrepôts de données et modèles dbt
  • traitement avec Databricks et PySpark pour de grands ensembles de données
  • nettoyage, validation et contrôle de qualité des données
  • pipelines sur AWS, GCP ou Databricks


Pourquoi travailler avec moi :

  • Chez Amazon, j'ai réduit le temps de traitement des pipelines de 30 % et éliminé 95 % du travail manuel sur les données grâce à l'automatisation
  • Ingénieur en données certifié Databricks
  • Code propre, documenté, testé et que vous possédez entièrement
  • Communication claire et livraison à temps


Comment ça fonctionne :

  1. Envoyez-moi un message avec vos sources de données et votre objectif
  2. Je confirmerai la portée et le bon package
  3. Vous recevrez un code fonctionnel, la documentation et une présentation


Vous ne savez pas quel package choisir ? Envoyez-moi un message avant de commander, je vous répondrai rapidement.

Expertise:

Automatisations

•

Extraction des données

Technologie:

Amazon Redshift

•

Apache Kafka

•

Python

•

SAS

•

SQL