Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire des pipelines big data et traiter des ensembles de données avec pyspark et sql
Ingénieur en IA, Data et Web3
Je suis ingénieur en ML et Data avec un master en Data et Intelligence de l'Université Claude Bernard Lyon 1. Je me spécialise dans la création de ponts entre la recherche avancée en IA et des logicie...
À propos de ce service
Vous avez du mal avec de gros ensembles de données ou des temps de traitement lents ?
Je suis un ingénieur en données spécialisé dans le traitement à grande échelle de Big Data, ETL et analytique. Je crée des pipelines de données hautement optimisés pour ingérer, nettoyer et transformer des gigaoctets de données efficacement en utilisant PySpark et Python. Que vous ayez besoin d'agrégations complexes, de cartographie géospatiale ou de visualisations claires, je fournis du code prêt pour la production.
Mes services principaux :
- pipelines Big Data : flux ETL haute performance utilisant Apache Spark, PySpark et Python.
- Transformations avancées : requêtes Spark SQL optimisées, fonctions de fenêtre complexes, UDFs et jointures à grande échelle.
- Intégration de données : nettoyage et formatage de données structurées ou semi-structurées pour l’analyse en aval.
- Données géospatiales : traitement de données basées sur la localisation et séries temporelles.
- Visualisations : transformer de gros volumes de données en visualisations exploitables avec Pandas et Matplotlib.
Pile technologique : Python | Apache Spark | PySpark | Spark SQL | Pandas | Matplotlib
Pourquoi me choisir ?
Je rédige un code propre, évolutif et entièrement documenté, garantissant que vos opérations de données soient précises et optimisées en termes de calcul.
Veuillez me contacter avant de commander pour discuter de votre ensemble de données !
_s7yyko.jpg)
Outils et plateformes:
Autres
FAQ
Traduction automatique
Mes données sont-elles sûres et confidentielles ?
Absolument. Pour garantir une confidentialité totale, je n’ai pas besoin d’accéder à vos informations sensibles. Vous pouvez simplement me fournir un ensemble de données anonymisé ou fictif. Je construirai et testerai le pipeline avec cela, puis livrerai le code final pour que vous puissiez l’exécuter en toute sécurité sur vos données réelles.
Votre code peut-il fonctionner sur des plateformes cloud comme Databricks, AWS ou GCP ?
Oui. Je me spécialise dans la rédaction de pipelines PySpark robustes et standards. Étant donné que le code est très portable, vous pouvez facilement exécuter les scripts que je fournis localement, sur Databricks, ou les soumettre à vos propres clusters Spark gérés dans le cloud comme AWS EMR ou Google Cloud Dataproc.
Pouvez-vous gérer des ensembles de données de plusieurs gigaoctets ou téraoctets ?
Oui ! C’est précisément la mission d’Apache Spark. Je rédige des pipelines de données optimisés et distribués conçus spécifiquement pour traiter des ensembles de données massifs trop grands pour les workflows Pandas classiques.
Que vais-je recevoir exactement à la livraison ?
Vous recevrez un code entièrement commenté, prêt pour la production (sous forme de scripts .py ou de notebooks Jupyter), ainsi qu’une documentation claire expliquant comment exécuter le pipeline et planifier la tâche.
