Je vais concevoir un data lakehouse d'entreprise, databricks, ingénierie des données et pipeline ETL

Certaines informations ont été traduites automatiquement.

Ajay Bidyarthy

Inde

Je parle Anglais

1 commande terminée

Ingénieur en IA FD, Python, MLOps, LLM, Neo4j, Grafana, Logstsh, AWS Bedrock, REST

Je suis un ingénieur en intelligence artificielle senior et data scientist spécialisé en Python, IA/ML, ingénierie des données et automatisation intelligente, aidant les entreprises à transformer des ...

Plus d’infos

À propos de ce service

Description du projet :

J'ai conçu et développé un Data Lakehouse de niveau entreprise en utilisant Databricks pour centraliser, traiter, transformer et gérer des données provenant de plusieurs sources. J'ai construit des pipelines ETL/ELT évolutifs avec PySpark et SQL, mis en place des flux de travail d'ingestion et de transformation de données, et organisé les données en couches structurées pour l'analyse et la création de rapports.

Technologies utilisées :

Databricks & Apache Spark
PySpark & Python
SQL
Azure Data Lake Storage
ETL/ELT
Architecture Data Lakehouse
Delta Lake
Azure Data Factory
Power BI

Impact sur l'entreprise :

Création d'une plateforme de données évolutive et centralisée pour l'analyse d'entreprise
Automatisation des flux d'ingestion et de transformation de données
Amélioration de la qualité, de la cohérence et de l'accessibilité des données
Réduction du traitement manuel des données et de la maintenance des pipelines
Permettre des rapports d'entreprise plus rapides et plus fiables ainsi que la prise de décisions basée sur les données

Plus d’infos