Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais créer un pipeline de données GPT avec Kafka, Spark et Docker
Diffusons vos données en streaming, avec l'IA !
Je conçois et mets en place des pipelines de streaming de données et des architectures lakehouse en utilisant Kafka, Spark, Hadoop, Iceberg, Trino et MinIO, avec un enrichissement optionnel basé sur G...
À propos de ce service
Je vais créer une pipeline en temps réel complète utilisant Apache Kafka, Spark Streaming et OpenAI GPT (ChatGPT). Le système résume les données en streaming en temps réel et fonctionne dans Docker pour une déploiement facile partout.
Vous obtiendrez (selon votre package choisi) :
- Un résumeur GPT FastAPI avec test curl
- Intégration Kafka Spark GPT
- Stockage HDFS optionnel ou producteur Spring Boot
- Configuration Docker Compose
- Logs d'exemple et données de test
Vous pouvez utiliser cela pour :
- Compression de logs
- Traitement d'alertes en flux
- Tableaux de bord en temps réel
- Logs de support améliorés par GPT
- Surveillance des transactions
- Détection d'anomalies avec feedback GPT
- Surveillance avec Prometheus + tableaux de bord Grafana
- Tout ce que vous pouvez imaginer
Tout est modulaire, testé et prêt pour la production. Vous fournirez votre propre clé OpenAI en toute sécurité via .env.
Veuillez noter :
- Les livrables dépendent du package choisi
- Offres personnalisées disponibles - envoyez-moi simplement un message !
- Inclut 2 messages de suivi pour clarification après livraison
- Vous êtes responsable des tests/exécutions dans votre propre environnement
- L'utilisation d'OpenAI nécessite votre propre clé API
Technologie:
Apache Hadoop
•
Apache Kafka
•
Apache Spark
•
Java
•
SQL
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Cela fonctionnera-t-il avec GPT-3.5 ou GPT-4 ?
Oui. Si votre clé API OpenAI a accès à GPT-4, elle sera utilisée. Sinon, la valeur par défaut est GPT-3.5-turbo.
Puis-je tester cela localement ?
Absolument. Tout est entièrement dockerisé. Vous avez seulement besoin d'installer Docker, aucune configuration manuelle ou Python requise.
Pouvez-vous déployer cela sur AWS pour moi ?
Oui ! Je peux déployer l'intégralité du pipeline sur une instance EC2 dans le cadre d'une offre personnalisée. Contactez-moi pour plus de détails.
Cela fonctionnera-t-il sur Windows/Mac/Linux ?
Oui, puisqu'il fonctionne dans Docker, il est indépendant du système d'exploitation.
L'utilisation d'OpenAI est-elle incluse ?
Vous aurez besoin de votre propre clé API OpenAI. Je vous expliquerai comment la configurer en toute sécurité via un fichier .env.
Est-ce qu'il enregistre les résumés sur HDFS ?
Par défaut, les résumés sont enregistrés dans la console. Si vous souhaitez les stocker, je peux modifier la logique. Demandez simplement.
Avis
3 avis concernant ce service
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
Les plus pertinents
T thethirdone
Client récurrent
Suède
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
50 $US-100 $US
Prix
4 jours
Durée
Utile?T thethirdone
Client récurrent
Suède
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
50 $US-100 $US
Prix
7 jours
Durée
Utile?A antoinedubo
Client récurrent
Belgique
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
100 $US-200 $US
Prix
5 jours
Durée
Utile?
Avis
3 avis concernant ce service
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
Les plus pertinents
T thethirdone
Client récurrent
Suède
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
50 $US-100 $US
Prix
4 jours
Durée
Utile?T thethirdone
Client récurrent
Suède
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
50 $US-100 $US
Prix
7 jours
Durée
Utile?A antoinedubo
Client récurrent
Belgique
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
100 $US-200 $US
Prix
5 jours
Durée
Utile?
