Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais concevoir un pipeline automatisé de traitement de fichiers et de données AWS
Construire des backends cloud résilients qui évoluent sans interruption
Bonjour ! Je suis Gustavo, ingénieur backend senior & développeur certifié AWS avec plus de 6 ans d'expérience. Je me spécialise dans la construction de backends à haute disponibilité et d'architectur...
À propos de ce service
Vos serveurs d'application se figent-ils ou plantent-ils lorsque les utilisateurs téléchargent de gros fichiers? Ou avez-vous besoin d'ingérer d'énormes flux de données en temps réel sans ralentir votre base de données ? Le traitement synchronisé de données lourdes nuit à l'expérience utilisateur et consomme beaucoup de ressources. Je suis un développeur certifié AWS Developer Associate et ingénieur backend senior. Je vais construire un pipeline de données automatisé et infaillible sur AWS en utilisant Node.js, TypeScript et AWS CDK.
Ce service comprend :
- Code de streaming Node.js/TS efficace en mémoire (architecture propre)
- Déclencheurs d'événements automatiques & tampon de messages (S3, SQS)
- Ingestion en streaming en temps réel (AWS Kinesis Data Streams)
- Infrastructure as Code (AWS CDK) & CI/CD avec GitHub Actions
- Suivi et journaux CloudWatch
Standard vs Premium :
La version Standard gère de gros lots de fichiers (CSV/Excel/TXT) en utilisant des files d'attente pour éviter les timeouts. La version Premium évolue jusqu'aux limites d'entreprise, en construisant des pipelines ETL en temps réel avec AWS Kinesis et des workers Fargate auto-scalés pour des flux de données continus et à haut volume.
Construisons votre pipeline : léger, évolutif et prêt pour la production !
Fournisseur de services cloud:
Amazon Web Services
Frameworks:
Npm
•
Terraform
Mon portfolio
FAQ
Traduction automatique
Quelles sources et formats de données cette pipeline peut-elle gérer ?
Je gère les fichiers standards (CSV, Excel, JSON, TXT et autres) téléchargés sur S3, mais aussi des flux de données en streaming en temps réel et à haut volume (comme IoT ou logs d'applications) en utilisant AWS Kinesis Data Streams. Toutes les données sont analysées et transmises en toute sécurité directement à votre base de données cible.
Comment contourner la limite d'exécution de 15 minutes d'AWS Lambda ?
Pour les fichiers batch lourds et longs, la version Premium déploie des workers containerisés AWS ECS Fargate. Ils évoluent dynamiquement en fonction de la taille de la file d'attente et fonctionnent en continu sans timeouts, garantissant que vos processus ETL ne soient jamais interrompus.
Le traitement de millions d'enregistrements ralentira-t-il ma base de données principale ?
Non. J'applique une limitation de l'ingestion via AWS SQS ou Kinesis, combinée à des flux Node.js efficaces en mémoire et des insertions par lot dans la base de données. Cela permet de tamponner la charge sur la base, évitant tout ralentissement de votre application frontale.
