Je vais faire de l'ingénierie des données et du big data
Ingénieur de données
À propos de ce service
Je vais construire un pipeline de données ETL/ELT personnalisé en utilisant Python et SQL pour extraire, transformer, valider et charger vos données dans des bases de données ou des entrepôts de données cloud tels que BigQuery. Le pipeline comprendra des vérifications de qualité des données de base, des tests unitaires et une documentation claire.
Outils et plateformes:
Google Cloud Dataflow
FAQ
Traduction automatique
De quelles informations avez-vous besoin pour démarrer le projet ?
J'ai besoin d'accéder à la source de données ou à un jeu de données d'exemple, au destination souhaitée, et à une brève description des transformations ou exigences métier attendues. Veuillez ne pas partager directement des identifiants sensibles dans le chat Fiverr.
Quelles sources et destinations de données supportez-vous ?
Je peux travailler avec des bases de données et des services cloud tels que PostgreSQL, MySQL, BigQuery et Google Cloud Storage. Je peux également travailler avec des fichiers structurés comme CSV et JSON.
Proposez-vous des pipelines ETL et ELT ?
Oui. Je peux concevoir des workflows ETL ou ELT selon votre architecture de données, vos besoins et la plateforme cible.
Le pipeline inclut-il des vérifications de qualité des données ?
Oui. Le package Basic inclut des validations de base telles que la vérification des valeurs nulles, la détection des doublons, la validation des types de données et une validation simple du schéma ou des valeurs.
Le pipeline comprendra-t-il des tests et une documentation ?
Oui. Le pipeline inclut des tests unitaires de base et une documentation expliquant la configuration, les dépendances, la mise en place et le processus d'exécution.
Pouvez-vous connecter le pipeline à ma base de données ou environnement cloud existant ?
Oui, à condition que les accès et informations de connexion nécessaires soient disponibles. La mise en œuvre exacte dépend de la source, de la destination et des exigences du projet.
