Je vais créer une application web, système RAG, petit fine-tuning

Développement Full-Stack Python | FastAPI, PostgreSQL, Fine-tuning de LLM et systèmes RAG

Je crée des systèmes backend et des applications alimentées par l’IA en utilisant Python, en mettant l’accent sur une conception d’API claire et une expérience pratique avec les LLMs.

Ce que je propose :

Applications backend et web

• APIs REST avec FastAPI, en utilisant Pydantic pour la validation des requêtes/réponses
• Conception de bases de données avec PostgreSQL + SQLAlchemy, y compris les migrations avec Alembic
• Authentification JWT et gestion basique des utilisateurs (connexion, permissions, endpoints CRUD)
• Développement d’API asynchrone pour de meilleures performances

Fine-tuning de LLM

• Affinage de petits modèles de langage quantifiés (par exemple Qwen, GPT-2) en utilisant LoRA/PEFT
• Préparation des jeux de données d’entraînement, y compris la conversion de données brutes en paires d’entraînement de style instruction
• Utilisation de la quantification 4-bit/8-bit pour entraîner sur du matériel limité (Kaggle/Colab)

Systèmes RAG (Retrieval-Augmented Generation)

• Construction de pipelines RAG de base : embeddings, stockage vectoriel (pgvector), et génération basée sur la récupération
• Implémentation de la recherche de similarité pour la récupération de contexte
• Connexion de LLM locaux ou hébergés aux systèmes de récupération