Je construirai des pipelines ETL PySpark pour des données par lots et en streaming sur AWS
Ingénieur data spécialisé en PySpark, AWS et QuickSight
À propos de ce service
Vous cherchez un travail PySpark fiable ou un pipeline ETL complet ? Je suis ingénieur de données à plein temps, et la construction de pipelines batch et streaming avec PySpark sur AWS est mon quotidien.
Ce que je peux faire pour vous :
- Écrire des jobs ETL PySpark : ingestion, nettoyage, transformation, chargement
- Traiter de grands jeux de données par batch sur Amazon EMR
- Concevoir des jobs de streaming pour des données en temps réel
- Intégrer vos jobs avec Apache Hive et Apache Hudi
- Mettre en place ou organiser un data lake sur Amazon S3
- Optimiser ou déboguer du code PySpark existant
Ce que vous obtenez :
- Un code propre et commenté
- Des notes concises sur la façon de l’exécuter et de le programmer
- Des réponses généralement en moins d’une heure
Comment cela fonctionne :
1. Envoyez-moi votre source de données, votre cible et la transformation dont vous avez besoin
2. Je confirme le périmètre, le prix et le calendrier
3. Je livre le code et le fais évoluer en fonction de vos retours
Veuillez me contacter avant de commander afin que nous nous mettions d’accord sur le périmètre au préalable.
Technologie:
Apache Hadoop
•
Apache Spark
•
Excel
•
Python
•
SQL
•
NoSQL
FAQ
Traduction automatique
Sur quelles plateformes travaillez-vous ?
Principalement Amazon EMR et Amazon S3, avec PySpark, Apache Hive et Apache Hudi. Si vous utilisez une autre plateforme, envoyez-moi un message avant de passer commande afin que je puisse confirmer que c'est adapté.
Pouvez-vous corriger un travail PySpark qui est lent ou échoue ?
Oui. Envoyez-moi le message d'erreur ou les détails de l'interface Spark UI ainsi que le code, et je vous dirai ce qui ne va pas et ce que cela implique pour la réparation avant que vous passiez commande.
De quoi avez-vous besoin de ma part pour commencer ?
Votre source de données et la cible, un échantillon des données ou son schéma, et la transformation dont vous avez besoin. Pour le travail dans votre compte AWS, un rôle IAM limité avec accès au cluster EMR pertinent ou au seau S3 suffit.
