Je vais concevoir des pipelines de données ETL automatisés

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Ourdou, Anglais

Ingénieur de données

Je suis ingénieur data avec plus de 3 ans d’expérience dans la mise en place de solutions data de bout en bout sur des plateformes cloud comme Microsoft Azure. Je me spécialise dans la construction de...
À propos de ce service

Vous avez besoin de données provenant de sites Web, ou vous disposez de données mais sans système fiable pour les exploiter ? Feuilles de calcul, API et bases de données qui ne s’alignent jamais, rapports reconstruits manuellement chaque semaine, pipelines qui se cassent du jour au lendemain ? Je règle tout cela.

Je suis ingénieur data avec 4 ans d’expérience et une maîtrise en Big Data Analytics du Royaume-Uni. Je conçois actuellement des pipelines de production pour de grandes places de marché en ligne, y compris des tables de faits Redshift incrémentales de plus de 20 millions d’enregistrements.

Ce que je construis :

  • Web scraping avec BeautifulSoup, Requests, Selenium, Scrapy et Playwright, alimentant directement vos données dans votre pipeline
  • Pipelines ETL/ELT en Python, PySpark, SQL et Airflow
  • Chargements incrémentiels afin que seules les nouvelles données soient traitées
  • Chargement dans l’entrepôt Redshift, BigQuery ou Azure
  • Gestion des écarts de schéma avec AWS Lambda, pour éviter les échecs silencieux des pipelines
  • Corrections de qualité des données pour les doublons et les enregistrements manquants
  • Tableaux de bord Power BI / Microsoft Fabric sur vos données propres

Pourquoi moi : une réelle expérience en production, du code propre et documenté que vous possédez, et des mises à jour claires à chaque étape.

Veuillez me contacter avant de commander afin que je puisse bien cadrer votre projet.

Langue:

Anglais

Expertise technique:

dbt (Data Build Tool)

•

Matillion

Expertise:

Pipelines de data

•

Développement ETL

Secteur:

Analyse de données

•

Marketing et publicité