Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire des pipelines de données AWS, ETL en utilisant glue, pyspark, s3 et redshift
Ingénieur data AWS senior, spécialisé dans la création de plateformes de données évolutives et prêtes pour l'IA
Je suis un ingénieur de données AWS senior avec plus de 8 ans d'expérience dans la création de plateformes de données fiables et prêtes pour la production. J'aide les équipes à concevoir, auditer et o...
À propos de ce service
Je vais créer des pipelines de données AWS fiables pour l’analyse, le reporting, les tableaux de bord et les cas d’utilisation de data warehouse.
Ce service est adapté si vous avez des données provenant de fichiers, bases de données, API, applications, S3 ou bases existantes et que vous souhaitez les traiter avec des services AWS tels qu’Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA ou outils associés.
Je peux vous aider avec :
- Conception et mise en œuvre de pipelines ETL/ELT AWS
- Ingestion de données depuis fichiers, API, bases de données ou stockage cloud
- Structure du data lake sur S3
- Workflows Glue, EMR, PySpark, Redshift et Athena
- Nettoyage, transformation et chargement de données
- Vérification de la qualité des données et validation
- Journalisation, points d’audit et surveillance de base
- Corrections et améliorations de pipelines
- Recommandations en matière de coût, performance et scalabilité
- Documentation et notes de transfert
Cas d’usage courants :
- Créer un nouveau pipeline de données AWS
- Migration depuis on-premise vers AWS
- Déplacer des données vers S3 ou Redshift
- Préparer des données pour BI/reporting
- Améliorer un processus ETL existant
- Créer des datasets prêts pour l’analyse
- Revoir la qualité, le coût ou la scalabilité du pipeline
Veuillez me contacter avant de commander pour que nous puissions confirmer votre source de données, la configuration AWS, le résultat attendu, les besoins d’accès et le package adapté.
Destination Platform:
Amazon Redshift
•
PostgreSQL
•
Amazon S3
•
Autres
Outils et plateformes:
AWS Glue DataBrew
•
Autres
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Avec quels services AWS travaillez-vous ?
Je travaille avec Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA, IAM, CloudWatch et autres services de données AWS liés.
Pouvez-vous construire un pipeline ETL AWS complet ?
Oui. Je peux créer des pipelines ETL/ELT AWS pour fichiers, API, bases de données ou stockage cloud et préparer les données pour l’analyse, le reporting, Athena, Redshift ou tableaux de bord.
Dois-je fournir l’accès AWS ?
Pour la mise en œuvre, un accès limité à AWS peut être nécessaire. Si vous préférez, nous pouvons d’abord examiner les besoins, captures d’écran, données d’échantillon ou architecture avant de partager l’accès.
Pouvez-vous améliorer un pipeline AWS existant ?
Oui. Je peux revoir, corriger, améliorer ou optimiser des pipelines AWS existants, y compris la logique ETL, les jobs Spark, la structure S3, l’utilisation de Redshift/Athena, les vérifications de qualité et les problèmes de performance.
Pouvez-vous migrer des données depuis des bases on-premise ou autres sources vers AWS ?
Oui. Je peux aider à migrer des données depuis des bases on-premise, fichiers ou autres sources vers AWS en utilisant des services tels que S3, AWS Glue, DMS, EMR/PySpark, Redshift et Athena selon votre source, volume et cas d’usage cible.
Fournissez-vous des vérifications de la qualité des données ?
Oui. Les packages standard et Premium peuvent inclure des vérifications de base de la qualité des données, règles de validation, vérification des doublons, contrôles de schéma et points de journalisation.
Pouvez-vous travailler avec de grands ensembles de données ?
Oui. Je peux concevoir des pipelines évolutifs utilisant S3, Glue, EMR/PySpark, partitionnement, Parquet, Athena et Redshift selon le volume de données et les besoins en traitement. J’ai travaillé avec des péta ou téraoctets de données.
Fournirez-vous de la documentation?
Oui. La livraison inclut la documentation ou les notes de transfert selon le package choisi, comprenant le flux du pipeline, les étapes de configuration, les hypothèses et les instructions d’utilisation.
Dois-je envoyer un message avant de passer une commande ?
Oui, veuillez me contacter avant de commander pour que nous puissions confirmer votre source de données, la configuration AWS, le résultat attendu, les besoins d’accès, le calendrier et le meilleur package.
