Je vais construire des pipelines de données snowflake avec snowpipe, streams, tasks et tables dynamiques
Ingénieur de données
À propos de ce service
Vous avez besoin de données dans Snowflake qui se chargent automatiquement, ne mettent à jour que ce qui a changé et évitent la double comptabilisation ? Je construis des pipelines directement dans Snowflake avec du SQL simple, sans outil supplémentaire à payer ou à maintenir.
Ce que je réalise :
- Ingestion : étapes, formats de fichiers et Snowpipe pour l’auto-ingestion depuis S3, Azure Blob ou Google Cloud Storage
- Capture des changements : Streams + Tasks avec MERGE pour les upserts et la déduplication
- Historique : dimensions SCD Type 2 pour les clients, produits ou comptes
- Couche de reporting : tables dynamiques pour les marts quotidiens et mensuels
- Qualité des données : vérifications des valeurs nulles, doublons, clés orphelines et fraîcheur
- Monitoring : historique des tâches, alertes en cas d’échec par email et garde-fous de coûts
Ma façon de travailler :
- Nous convenons des sources, des tables et des horaires de rafraîchissement
- Je construis dans un schéma de développement et teste avec vos données d’échantillon
- Vous examinez les résultats et l’historique des exécutions
- Remise avec un runbook et un diagramme
Vous recevez du SQL versionné, un diagramme du pipeline, les résultats des tests et la documentation.
Vous utilisez déjà Fivetran, ADF ou SSIS ? Je peux récupérer les données là où ils les déposent.
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Pourquoi créer des pipelines dans Snowflake plutôt qu'avec un autre outil ?
Snowpipe, Streams, Tasks et Dynamic Tables fonctionnent dans votre compte, il n'y a donc pas de licence ou de serveur supplémentaire. Ils conviennent bien lorsque les sources peuvent déposer des fichiers ou lorsque les données sont déjà dans Snowflake.
Pouvez-vous charger directement depuis des APIs ou des bases de données ?
Oui. Pour les bases de données et les APIs, j'utilise votre outil existant (ADF, Fivetran, SSIS) ou un petit script programmé pour déposer les fichiers dans un stage, puis Snowflake s'occupe du reste.
À quelle fréquence mes données seront-elles à jour ?
Snowpipe charge généralement les fichiers dans les minutes suivant leur arrivée. Les Tasks peuvent s'exécuter toutes les minutes, et les Dynamic Tables suivent le retard que vous choisissez, par exemple 15 minutes ou 1 heure.
Cela augmentera-t-il ma facture Snowflake ?
Les Tasks n'activent le warehouse que lorsqu'une stream contient de nouvelles données, et j'utilise le plus petit warehouse qui répond aux délais. Vous recevez une estimation des crédits quotidiens avant la mise en service.
Que se passe-t-il si un chargement échoue ?
Les Tasks échoués envoient une alerte par email, la stream conserve les changements non traités, et la prochaine exécution les récupère. Le runbook explique comment vérifier et relancer chaque étape.
1 avis concernant ce service
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
A adityapons

États-Unis
Collaboration en coursdelivered high quality work with strong understanding of business requirements
200 $US-400 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?
1 avis concernant ce service
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
A adityapons

États-Unis
Collaboration en coursdelivered high quality work with strong understanding of business requirements
200 $US-400 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?

