Inférence Distribuée : Disaggregated Prefill & Decode avec vLLM et KubeRay

Le passage à l’échelle de l’inférence LLM en production impose de repenser l’architecture des nœuds de calcul. L’approche monolithique classique crée des goulets d’étranglement critiques entre le traitement initial des invites et la génération continue des jetons.

---

1. Le défi architectural de l’inférence LLM

Dans un cluster d’inférence standard, deux phases aux profils matériels opposés s’exécutent sur les mêmes GPUs :

• Phase de Prefill (Compute-Bound) : Calcul massif et hautement parallélisé pour ingérer le prompt et initialiser le KV-Cache.
• Phase de Decode (Memory-Bandwidth-Bound) : Génération séquentielle token par token, saturant la bande passante mémoire de la VRAM.

Lorsque des requêtes concurrentes affluent, la phase de prefill bloque le décodage, provoquant une explosion de la variance de latence et des pics majeurs de Time-To-First-Token (TTFT).

---

2. La solution : PD-Disaggregation (vLLM + KubeRay)

L’architecture de Disaggregated Prefill & Decode isole physiquement ces deux étapes sur des pools de GPUs distincts :

• Nœuds dédiés au Prefill : Dimensionnés pour maximiser la puissance brute de calcul GPU.
• Nœuds dédiés au Decode : Optimisés pour le débit mémoire et le batching dynamique.
• Streaming du KV-Cache : Transfert ultra-rapide des tenseurs de contexte via les tissus d’interconnexion réseau haute performance (NCCL / RoCE / InfiniBand).

---

3. Impact Opérationnel & Alignement Cursus Aperta

Sur Red Hat OpenShift AI avec KubeRay et vLLM :

• Stabilisation de la latence P99 sous forte charge concurrente.
• Maximisation du taux d’occupation réel des GPUs (fin des cycles d’attente VRAM).
• Cursus AS300 (AI Platform Engineer) : Mise en œuvre pratique dans le module Serving & Inférence Distribuée, orchestration multi-nœuds et tuning des ServingRuntimes KServe sur clusters baremetal.

---

4. Sources & Références Techniques

• vLLM Distributed Serving & PD-Disaggregation : vLLM Documentation & vLLM Architecture Blog
• KubeRay on OpenShift : Ray Project Official Docs
• Red Hat OpenShift AI Model Serving : Red Hat OpenShift AI Documentation