Je réaliserai un blendshape pour talkinghead, avatar IA interactif, synchronisation labiale en temps réel, rig3d pour le web

Salutations !

Ici, je créerai un avatar piloté par l’IA avec des structures complètes d’os/squelettes. Mon art 3D/avatar visage, bouche et corps peuvent être contrôlés par un système d’IA ou une compagnie IA.

Le personnage pourra être utilisé dans un système IA basé sur une application/web (Three.js / WebGL) avec diffusion en direct où une IA génère la parole et l’avatar parlera en temps réel grâce à une synchronisation labiale pilotée par l’audio et à une animation faciale.

L’avatar fonctionnera en JavaScript, Three.js, WebGL, GLSL, particules GPU, Blender et Geometry Nodes. Le modèle tournera en temps réel de manière fluide et préservera son visage, ses yeux, ses cheveux, ses couleurs et l’identité des particules approuvées.

Three.js/WebGL pour le rendu en temps réel

Blazor Server avec .NET

SignalR pour la communication en temps réel

JavaScript et shaders GLSL

Intégration de caméra et panneaux de contrôle interactifs

CARACTÉRISTIQUES DE RIGGING AVANCÉES :

• Équipements live de dents/squelette
• Blendshapes ARKit52
• Synchronisation labiale/TTS, lip/mou autofacés pilotés par l’IA
• Animations faciales
• Expressions faciales : clignement, ouverture/fermeture de la mâchoire, sourire, froncement de sourcils, etc.
• Morphs du corps
• Mouvements des doigts
• 15 visemes Oculus : A, E, I, O, U, MBP, FV, etc.
• Contrôle facial piloté par API
• Code de clignement pour le suivi des yeux
• Autre morph Target