Je vais configurer une pile de données moderne exploitant dbt, métabase, postgresql et airbyte

Imaginez les situations suivantes :

• Une entreprise mature avec peu ou pas d'infrastructure numérique consolidant et transformant automatiquement les données et aucune expertise pour en mettre en œuvre ou en gérer une.
• Une start-up cherchant à capitaliser sur ses données existantes mais avec peu ou pas de budget pour le faire avec des solutions commerciales
• Un jour de pluie avec peu ou rien à faire à part apprendre à créer une pile de données autonome

Je propose d'exploiter plusieurs solutions qui restent open-source et, combinées, peuvent créer une pile de données satisfaisant des exigences minimales :

• Orchestration des tâches - Airflow
• Intégration de données - Airbyte
• Entreposage de données - PostgreSQL
• Transformation de données - DBT

Peut être lancé localement ou à distance à condition que l'instance satisfasse aux exigences suivantes :

Noyaux : 2

RAM : 4 Go (RAM minimum recommandé pour la dernière version d'Airflow)

Mémoire : 12 Go minimum (sans tenir compte des données téléchargées avec Airbyte)

Docker (https://docs.docker.com/engine/install/ubuntu/) et Docker Compose (https://docs.docker.com/compose/install/) installés

Python : (hors version 3.9, pour compatibilité avec DBT)

Ubuntu : >=18.04

Le reste du processus d'installation se fait soit dans un terminal/serveur Web local