Je concevrai et mettrai en œuvre des solutions évolutives de plateforme de données Microsoft Fabric adaptées

Certaines informations ont été traduites automatiquement.

Inde

Je parle Anglais

Ingénieur de données senior

Je suis un Senior Data Engineer chez Arif Pasha Company avec plusieurs années d'expérience dans la conception, la construction et l'optimisation de plateformes de données à grande échelle. Mon travail...
À propos de ce service


  • Configurer l'ingestion de données avec Apache SQOOP et FLUME dans le HDFS cible.
  • Avoir une bonne expérience avec la version Hadoop-2.0 et Cloudera manager CDH3.
  • Expérience en implémentation cloud AWS sur EC2, EMR, S3 et autres services Spark SQL avec source MySQL (JDBC), PySpark RDD Actions & Transformations et API Dataframe.
  • Architecture et composants Spark : Spark Core & PySpark SQL avec Data frames, technologies Big Data : Hadoop (distribution CDH), framework MapReduce et écosystème Spark.
  • Langages de haut niveau Hadoop : Hive 0.8.0. Analyse de données avec Spark Core & Spark SQL & Spark Streaming.
  • Réalisation de projets d’analyse de données utilisant des outils basés sur Hadoop et la stack Python pour la science des données. Interaction avec les clients, gestion de leurs requêtes et résolution des problèmes.
  • Connaissance du flux de travail complet d’un projet.

Destination Platform:

Snowflake

Google BigQuery

Amazon Redshift

Outils et plateformes:

Fivetran

Airbyte

Google Cloud Dataflow

Mon portfolio

Balises associées