Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je développerai et corrigerai des pipelines PySpark ETL et des transformations de données
Ingénieur logiciel et data senior
Je suis ingénieur logiciel et data senior, avec environ 19 ans d’expérience professionnelle dans le développement de logiciels d’entreprise et l’intégration de données.
Je me spécialise en Java, Spri...
À propos de ce service
Besoin d’aide pour un job PySpark qui échoue, qui renvoie des résultats inattendus ou qui nécessite une transformation ETL ciblée ? Je suis ingénieur informatique avec une expérience professionnelle en ingénierie logicielle et data. J’ai construit des transformations PySpark et des flux ETL par lots avec Azure Databricks et Azure Synapse Analytics, y compris un flux de type medallion et le dépannage d’un pipeline traitant environ 1,7 million de enregistrements. Je peux corriger un bug spécifique, mettre en œuvre une transformation limitée ou un flux ETL par lots, lire et écrire les formats de données convenus, ajouter des vérifications ciblées et expliquer le code. Avant de passer commande, partagez les versions Spark/PySpark, les schémas, un échantillon sûr et la sortie attendue, ainsi que le contexte d’exécution. Je confirmerai d’abord l’étendue et les hypothèses. Ne partagez jamais de mots de passe, jetons ou secrets de production. Les prestations excluent le déploiement sur le cloud, la configuration d’infrastructure, le streaming, les volumes illimités et les gains de performance garantis. L’optimisation couvre uniquement la revue et les modifications du code au niveau convenu ; les résultats dépendent des données et du runtime.
Outils et plateformes:
Autres
FAQ
Traduction automatique
De quoi avez-vous besoin de ma part pour commencer ?
Veuillez indiquer votre objectif, les versions, les schémas, un échantillon sûr et les exemples de sortie attendue, l’environnement d’exécution et le code existant ou les détails d’erreur. N’envoyez jamais de mots de passe, jetons ou identifiants de production. Utilisez des données synthétiques, anonymisées ou partageables en toute sécurité.
Quelles versions de Spark et PySpark prenez-vous en charge ?
Je peux travailler avec une version spécifiée lorsque ses API et l’environnement requis sont disponibles. Partagez les versions exactes de Spark, PySpark et Python ainsi que les contraintes des bibliothèques afin que je puisse confirmer la compatibilité et l’étendue avant le début du travail.
Quels formats de données pouvez-vous traiter ?
Les formats courants sont CSV, JSON et Parquet. Les tables Delta sont possibles dans une configuration Spark ou Databricks compatible. Merci de partager votre schéma et un petit échantillon sûr en premier lieu afin que je puisse confirmer le format et l’étendue.
Pouvez-vous déboguer ou corriger un pipeline que j’ai déjà ?
Oui. Partagez le code pertinent, les détails d’erreur, les schémas et un cas reproductible minimal en utilisant des données sûres. Je confirmerai d’abord que le problème correspond à l’offre sélectionnée ; des investigations plus larges ou plusieurs jobs nécessitent un périmètre convenu séparément.
Incluez-vous des tests ou de la documentation ?
L’offre Basic comprend une vérification ciblée. Standard comprend les vérifications de données convenues, et Premium comprend également une brève documentation. Les tests unitaires ou d’intégration ne sont pas inclus sauf accord spécifique et support technique du projet fourni.
Pouvez-vous travailler localement ou dans un environnement cloud ?
Je peux développer et vérifier le code dans un environnement local compatible ou dans l’environnement d’exécution fourni par le client et examiner le code spécifique au cloud lorsque les détails requis sont disponibles. Le déploiement et la configuration d’infrastructure cloud sont exclus. Veuillez ne pas partager d’identifiants de production ; utilisez les étapes destinées au client lorsque nécessaire.
Pouvez-vous garantir de meilleures performances ou un quelconque volume de données ?
Non. Les résultats dépendent de la forme des données, du runtime, des paramètres du cluster et des jeux de données de test disponibles. Je peux examiner un chemin de code défini et mettre en œuvre les modifications convenues, mais je ne peux pas garantir des gains de vitesse, ni exploiter des volumes illimités, ni optimiser l’infrastructure sans accès et sans périmètre convenu séparément.
Comment puis-je partager mes données en toute sécurité ?
Veuillez utiliser des échantillons synthétiques, anonymisés ou partageables de manière sûre lorsque possible. Ne partagez que les données dont vous avez l’autorisation de fournir, et ne transmettez jamais de mots de passe, jetons ou identifiants de production. Nous pouvons convenir du minimum de données nécessaire avant le démarrage.
Qu'est-ce qui compte comme une révision ?
Une révision consiste à apporter des modifications au travail déjà livré dans le cadre des entrées, sorties et comportements convenus. De nouvelles exigences, des sources ou transformations supplémentaires, un autre travail ou un débogage plus large sortent du cadre de l’offre et peuvent nécessiter une offre personnalisée.
