Je vais déployer un LLM open source sur Ubuntu avec optimisation CUDA

LLMs open source domestiques supportés (Hugging Face)

⭐ Recommandé (écosystème mature, licences favorables à l’usage commercial) série Qwen (Alibaba) : Qwen2.5, Qwen3.5 (0,5B à 72B paramètres), licence Apache 2.0, capacité chinoise de premier plan, chaîne d’outils de déploiement complète série DeepSeek : DeepSeek-V3.2, DeepSeek-R1 Reasoning MoE, licence Apache 2.0, performance de raisonnement mathématique et de génération de code de haut niveau série GLM (Zhipu AI) : GLM-4, GLM-5.1 (6B à 34B paramètres), dialogue chinois optimisé, support de fenêtre de contexte longue de 128K série Yi (01.AI) : Yi-1.5, Yi-34B, licence Apache 2.0, excellente capacité de traitement de textes longs

Modèles généralistes et spécialisés Dialogue : Moonshot K2.5 (contexte ultra-long de 200K), Baichuan 4, StepFun Step 2 (forte capacité de planification d’agents) Code : DeepSeek-Coder V3, Qwen-Coder Series, CodeGeeX 4 (assistant de code léger) Multimodal : Qwen2.5-VL / Qwen3.5-VL, GLM-4.6V, Yi-VL (compréhension d’images de haute précision & OCR) Léger (VRAM 4GB+) : Qwen2.5 0.5B/1.5B/7B, GLM-4 6B/9B, DeepSeek-7B Domaine vertical : DeepSeek-Math, Qwen-Medical, Chinese LawGPT, Qwen-Finance

Notice importante : Tous les modèles listés ci-dessus sont téléchargeables publiquement via le site officiel Hugging Fa