Je vais construire des pipelines ETL spark pour le traitement par lots et les flux de données volumineux

Certaines informations ont été traduites automatiquement.
Veysi Bisen

Turquie

Je parle Turc, Anglais

10 commandes terminées

Solutions évolutives, code propre et communication claire

Bonjour ! Je suis Veysi, un développeur logiciel freelance qui conçoit des solutions puissantes, durables et évolutives en utilisant .NET Core, RabbitMQ, PostgreSQL et Vue.js. Fort de plus de 4 ans d...
Plus d’infos
À propos de ce service

Je concevrai et développerai des pipelines Spark ETL évolutifs pour le traitement par lots, la transformation et les flux de grande volumétrie.


Ce service est idéal pour les entreprises qui ont besoin de traiter des données provenant de fichiers, bases de données, API ou autres sources structurées de manière fiable et facile à maintenir. Que vous ayez besoin d’un nouveau pipeline batch ou d’améliorations pour un travail existant, je peux vous aider à créer une solution propre et adaptée à la production.


Je me concentre sur des résultats concrets en ingénierie des données tels que l’ingestion, la transformation, la validation, l’agrégation et la livraison dans des jeux de données prêts pour l’analyse ou dans des systèmes en aval.


Ce que ce service peut inclure

  • Développement de pipelines ETL Spark ou PySpark
  • Traitement par lots pour de grands ensembles de données
  • Ingestion de données depuis CSV, JSON, Parquet, API et bases de données
  • Nettoyage, normalisation et transformation des données
  • Jointures, agrégations, filtrages et logique d’enrichissement
  • Sortie vers des fichiers, entrepôts de données ou bases de données
  • Optimisation et refactorisation de jobs Spark existants
  • Journalisation structurée et organisation du code facile à maintenir
  • Documentation de base et support pour la passation
Plus d’infos
build spark etl pipelines for batch processing and big data workflows
Plein écran
build spark etl pipelines for batch processing and big data workflows

Expertise:

Intégration API

•

Big data

•

Extraction des données

+3

Technologie:

Apache Spark

•

BigQuery

•

Python

•

Scala

•

SQL

•

Apache Airflow

Balises associées