Je vais configurer ou auditer votre plateforme de données snowflake et dbt

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Anglais

181 commandes terminées

Ingénieur senior en données et IA, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Je conçois des plates-formes de données et des pipelines LLM qui fonctionnent en production. Dix ans d’expérience en génie logiciel et data, depuis 2016. Data Engineer II chez Careem (Uber), où notre...

Niveau 2

Répond à des critères de performance élevés et a fait ses preuves en matière de satisfaction clients.

À propos de ce service

Un entrepôt Snowflake qui s’est développé sans plan devient lent, coûteux et difficile à faire confiance. Je le configure correctement, ou j’audite celui que vous avez.


Configuration :

  • Bases de données, entrepôts, rôles et privilèges gérés dans Terraform
  • Projet dbt avec couches staging, intermédiate et mart, tests et documentation
  • CI/CD avec GitHub Actions : exécutions dbt et tests à chaque pull request
  • Ingestion avec Dagster, Airflow, Meltano ou Fivetran

Audit :

  • Dimensionnement des entrepôts, autoremise et les requêtes qui consomment des crédits
  • Structure des modèles, tests, modèles incrémentiels et nommage
  • Accès, masquage et qui peut voir les données personnelles
  • Rapport écrit avec les correctifs classés par impact

Historique : j’ai dirigé une plateforme Snowflake pour une licorne technologique de livraison aux États-Unis (Dagster sur Kubernetes, CDC basé sur les journaux depuis Postgres) et possédé la couche Snowflake d’une plateforme de correspondance de LLM en production, y compris l’accès multi-cloud et le masquage dynamique des données.

Plateforme de stockage:

Snowflake

•

BigQuery

•

ClickHouse

Type de projet:

New Build

Mon portfolio