Je vais construire un mélange d'experts, raisonnement cot, quantification des LLM

La plupart des personnes qui créent des « projets LLM » appellent l'API d'OpenAI et l'intègrent dans une interface de chatbot. Ce n'est pas de l'ingénierie LLM, c'est de la plomberie.

Je travaille en coulisses : architecture, raisonnement et optimisation. Si vous avez besoin de quelque chose au-delà d'un simple wrapper de prompt, c'est le service qu'il vous faut.

Ce que je construis réellement :

Mélange d'experts (MoE) routage sparse d'experts, réseaux de gating, pertes d'équilibrage de charge, couches MoE personnalisées construites de zéro ou ajustées sur des architectures existantes

Raisonnement Chain-of-Thought pipelines de prompting CoT/ToT, décodage par auto-cohérence, distillation du raisonnement en modèles plus petits, vérification étape par étape et raisonnement guidé par récompense

Quantification quantification INT8/INT4, GPTQ, AWQ, QLoRA, conversion GGUF pour déploiement local/edge, évaluation des compromis entre précision et vitesse avant de choisir une configuration

Également couvert : fine-tuning (LoRA/QLoRA), compression de modèles, optimisation de l'inférence et déploiement sur du matériel contraint.

Pourquoi cela importe :

Un modèle qui raisonne bien mais ne peut pas fonctionner sur votre matériel est inutile. Un modèle quantifié, rapide mais peu intelligent, est pire. Je construis en fonction de la contrainte réelle que vous cherchez à résoudre : coût, latence, précision ou les trois, pas seulement ce qui est tendance sur Twitter.