Observabilité GenAI : Standardiser la télémétrie des ServingRuntimes LLM avec OpenTelemetry

Déployer des ServingRuntimes LLM (vLLM, KServe) sur des clusters Kubernetes et OpenShift sans métriques d’inférence standardisées revient à naviguer à l’aveugle dès les premières montées en charge.

La stabilisation des conventions sémantiques OpenTelemetry pour l’IA générative (GenAI Semantic Conventions) établit enfin un standard universel pour monitorer, tracer et optimiser les performances des modèles en production.

---

1. Pourquoi les métriques applicatives traditionnelles sont insuffisantes

Dans un service HTTP ou gRPC classique, la latence globale de requête (duration) suffit généralement à évaluer la santé du service. Pour un LLM en streaming, cette approche masque les goulets d’étranglement réels :

• Time to First Token (TTFT) : Mesure la durée de la phase de prefill (ingestion du prompt et calcul initial du KV-Cache). Un TTFT qui s’envole traduit une saturation en calcul GPU ou des files d’attente saturées.
• Inter-Token Latency (ITL / Time per Output Token) : Mesure le temps moyen entre chaque token généré durant la phase de decode. Une ITL dégradée indique une contention de bande passante mémoire VRAM.
• Utilisation et saturation des tokens : Le suivi granulaire des tokens d’entrée et de sortie est indispensable pour la gestion fine des quotas multi-tenants et l’anticipation des OOM (Out-of-Memory).

---

2. L’apport des conventions OpenTelemetry GenAI

En intégrant nativement ces conventions sémantiques dans les pipelines d’export (Prometheus, Vector, collecteurs OpenTelemetry sous OpenShift) :

• Métriques standardisées : gen_ai.server.time_to_first_token, gen_ai.server.inter_token_latency, gen_ai.client.token.usage.
• Traces distribuées unifiées : Corrélation directe entre les spans de génération LLM, les appels aux bases vectorielles (RAG) et les requêtes applicatives clientes.
• Pilotage dynamique de l’autoscaling : Utilisation des SLI OpenTelemetry pour déclencher l’autoscaling horizontal (KEDA / HPA) avant la saturation des nœuds GPU.

---

3. Impact Pédagogique dans les Cursus Aperta Scientia

• Cursus AS300 (AI Platform Engineer) : Module dédié à l’observabilité LLM, à l’instrumentation des ServingRuntimes vLLM/KServe et à la création de tableaux de bord Grafana temps réel corrélés aux métriques matérielles NVIDIA.
• Cursus AS200 (DevOps Platform Engineer) : Intégration de la stack d’observabilité complète (Prometheus, Grafana, OpenShift Monitoring) et alerting proactif piloté par SLOs.

---

4. Sources & Références Techniques

• OpenTelemetry GenAI Semantic Conventions : OpenTelemetry Official Specification
• vLLM Metrics & Prometheus Integration : vLLM Production Metrics
• KServe Observability & Telemetry : KServe Telemetry Guide