Je construirai des pipelines de données AWS et Databricks, ETL et applications IA rag

Je suis un ingénieur de données qui conçoit des solutions de pipeline ETL sur Databricks et AWS avec PySpark, depuis l’ingestion jusqu’aux plateformes de production.

Senior engineer et lead technique avec 4 années d’expérience. Certifié : AWS Certified Data Engineer - Associate et Microsoft Certified Azure Database Administrator Associate.

Résultats sélectionnés :

• Migration de plus de 15 To de SQL Server vers AWS Aurora PostgreSQL avec moins de 5 minutes d’indisponibilité en utilisant DMS, Glue PySpark et Step Functions
• Lakehouse Azure Databricks traitant plus de 50 millions d’enregistrements par jour : architecture medallion, Delta Lake, Unity Catalog, Azure Data Factory
• Streaming à plus de 2 millions d’événements par jour avec Kafka/MSK et Spark Structured Streaming
• Runtime Spark réduit de 45 %, coûts réduits de 30 %, incidents de schéma diminués de 90 % (plus de 80 pipelines), échecs Airflow diminués de 40 % (plus de 30 DAGs)

Solutions IA :

• Chatbots RAG avec citations et outils de conversion du langage naturel en SQL, livrés sous forme d’applications FastAPI avec une interface web
• Open source sur GitHub (OsamaZaidi75) : pharma-rag et sql-rag

Expérience de projet incluant un travail pour un client pharmaceutique du classement Fortune 500.

Packages : Data Task Sprint (200 $), Pipeline Build (750 $), Data Platform / AI App (1500 $). Veuillez me contacter avant de commander pour confirmer le périmètre.