Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais concevoir des pipelines de données etl avec python, sql, spark, azure et palantir foundry
Ingénieur data, Palantir Foundry, Spark, Azure et Python
Ingénieur data senior et développeur full-stack spécialisé dans les pipelines, l’analyse, l’automatisation et les applications basées sur les données. J’utilise Python, SQL, Spark, PySpark, Azure, Dat...
À propos de ce service
Je conçois, construis et améliore des pipelines de données fiables pour l’analyse, le reporting et les cas d’utilisation opérationnels.
Je peux vous aider avec :
Le développement de pipelines ETL et ELT
Transformations en Python, SQL, Spark et PySpark
Les workflows de données sur Azure et Databricks
Les pipelines Palantir Foundry, la modélisation de données et le travail sur l’ontologie
L’ingestion de données via API et fichiers
La validation, la transformation et le contrôle de la qualité des données
Le débogage des pipelines et l’optimisation des performances
La documentation technique et le code source maintenable
Les jeux de données et couches de reporting prêts pour Power BI
Avant de passer commande, veuillez partager l’objectif métier, les systèmes source et cible, un exemple de schéma ou de données, le volume et la fréquence attendus, les transformations nécessaires, les contraintes de la plateforme et vos attentes en matière de livraison. Je vais examiner le périmètre et recommander le bon package.
L’accès aux systèmes privés doit être fourni par des méthodes sécurisées et approuvées.
Outils et plateformes:
Azure Data Factory
•
Autres
Mon portfolio
FAQ
Traduction automatique
Travaillez-vous avec de grands ensembles de données ?
Oui. Je peux concevoir des transformations Spark et PySpark pour de grands ensembles de données. Merci de partager le volume approximatif, la fréquence, l’environnement et les exigences de performance afin que je puisse confirmer la portée du projet.
Pouvez-vous automatiser le processus ETL ?
Oui. Je peux automatiser des flux de travail ETL ou ELT planifiés en utilisant la plateforme convenue, y compris Azure Data Factory, Databricks ou Palantir Foundry si nécessaire.
Ce service inclut-il des workflows de machine learning ?
Je peux préparer et automatiser le pipeline de données autour d’un workflow ML. Le développement de modèles ou MLOps doit être examiné et défini séparément en fonction des données, de la plateforme et des besoins de déploiement.
Pouvez-vous préparer des données pour Power BI ou des rapports ?
Oui. Je peux créer des ensembles de données validés, prêts pour le reporting, ainsi que des couches de transformation pour Power BI. Le développement de tableaux de bord peut être inclus si cela est convenu dans la portée.
