Je ferai de l'analyse de big data avec pyspark, sql et python
Je vais concevoir et développer votre site web, application mobile avec automatisation IA
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
À propos de ce service
Vos données sont-elles trop volumineuses pour Excel ou Pandas ? Je traite et analyse de gros volumes de données avec PySpark, Spark SQL et Python pour vous fournir des réponses rapides et évolutives.
Je suis K. M. Arafat Islam, fondateur et PDG de BuildSign Digital, diplômé en CSE avec 4 ans d'expérience et 15 articles publiés dans Springer et IEEE, notamment dans la recherche en big data.
Ce que je fais : Analyse de DataFrame PySpark et Spark SQL Nettoyage de données, jointures, agrégations et fonctions de fenêtre Pipelines ETL à partir de CSV, Parquet, JSON ou bases de données SQL Optimisation des requêtes et des jobs (partitionnement, mise en cache) Spark MLlib sur de grands ensembles de données Résumés visuels et tableaux de bord des résultats
Vous recevrez : Notebook ou scripts PySpark commentés Tables de résultats en CSV, Parquet ou SQL Graphiques et rapport succinct de conclusions
Envoyez-moi la taille, le format de vos données et votre objectif avant de commander pour que je puisse vous recommander le bon package.
Mon portfolio
FAQ
Traduction automatique
Quelle est la taille maximale de mes données ?
De quelques GB à plusieurs centaines de GB, selon votre environnement. Pour des données très volumineuses, je travaille dans votre espace Databricks ou cloud.
Ai-je besoin de Databricks ?
Non. Je peux utiliser Google Colab ou une configuration Spark locale pour des tailles modérées, ou votre environnement Databricks, AWS EMR ou Azure.
Pouvez-vous optimiser mon job Spark lent ?
Oui. Envoyez-moi le code et je le profilerai pour appliquer le partitionnement, la mise en cache, les jointures broadcast et de meilleures transformations.
Rédigez-vous aussi uniquement en SQL ?
Oui. Les requêtes SQL complexes, CTE et fonctions de fenêtre pour MySQL, PostgreSQL, SQL Server ou Spark SQL sont incluses.
Mes données sont-elles sécurisées ?
Oui. Je peux travailler sur des données d’échantillon, des données anonymisées ou dans votre propre espace de travail avec un accès limité.

