Déploiement LLM sur Kubernetes : Chunked Prefill et PagedAttention en Production

Déployer des modèles de langage à grande échelle sur Kubernetes ne se résume pas à instancier un Pod avec une allocation GPU déclarative.

---

1. La saturation des pipelines sous forte concurrence

En charge réelle d’entreprise, la phase de prefill (saturée en calcul) étouffe la phase de decode (saturée en bande passante mémoire), provoquant l’effondrement du Time-To-First-Token (TTFT) et une forte gigue de latence.

---

2. La découplage d’exécution avec vLLM et KServe

L’intégration conjointe du Chunked Prefill et de PagedAttention transforme l’ordonnancement de l’inférence :

• Fragmentation VRAM quasi-nulle : Les blocs de KV-Cache sont alloués à la demande dans des pages mémoire non contiguës.
• Latence P99 prédictible : Le découpage du prefill évite les blocages d’itération et maintient un débit de génération constant.
• Utilisation déterministe de la mémoire GPU : Évite les erreurs OOM (Out Of Memory) en gérant dynamiquement les files d’attente d’inférence.

---

3. Travaux Pratiques & Compétences AS300

Ces mécanismes constituent le socle technique du cursus AS300 (AI Platform Engineer) d’Aperta Scientia :

• Configuration fine des runtimes KServe sous OpenShift.
• Dimensionnement des pools de GPU NVIDIA Tensor Core.
• Métriques Prometheus et observabilité temps réel de l’inférence.

---

4. Sources & Références Techniques

• Kubernetes GPU Scheduling & Topology : Kubernetes Official Docs
• vLLM KV Cache & Memory Management : vLLM Core Architecture
• KServe vLLM Runtime on OpenShift : KServe GitHub