Je vais effectuer des tâches de big data avec apache hadoop superset kafka mongo clickhouse

Bonjour ! Je suis un ingénieur en données intéressé par la mise à l’échelle et l’optimisation des pipelines de données.

Ce service concerne la proposition de mes services Big-data pour l’apprentissage automatique et l’analyse avec Apache Spark, Apache Hadoop, Apache Hive, Apache Kafka, Apache Airflow, superset, Spark SQL et MongoDB, clickhouse.

Je programme en Python.

J’aime transformer des big data bruts (structurés ou non structurés) en analyses, visualisations ou pour entraîner des modèles ML très précis.

Mes projets précédents

• Système de recommandation musicale sur spotify,
• Moteur de recherche personnalisé pour fichiers Excel,
• Analyse du panier d’achat sur Amazon,
• Optimisation de clusters Hadoop,
• Algorithme de Dijkstra utilisant GraphX.

outils : shell-scripting, hadoop, pyspark, java + spark, Scala + Spark, kafka et mongodb

Alors que tous ces projets incluent streaming de données, ETL, analyse, ML également.

De plus, je peux configurer des clusters Spark sur VM ou cloud avec Mesos, Yarn ou en configuration autonome.

Veuillez m’envoyer un message pour discuter de la tâche avant de passer commande.

Merci, j’ai hâte de vous aider dans votre prochain projet :)