Le véritable goulot d'étranglement de l'infrastructure IA : la livraison de données plutôt que la puissance de calcul GPU.

Contexte sectoriel

L'IA en entreprise passe de la phase expérimentale à la phase opérationnelle. Au cours des 18 derniers mois, les entreprises se sont précipitées pour acquérir des GPU, déployer des grands modèles de langage (LLM) et construire des chaînes d'outils d'IA. Mais selon le rapport Spotlight 2025 d'IDC, les organisations passent de déploiements ponctuels d'IA à des architectures de production reproductibles et évolutives. Alors que l'IA s'intègre au cœur des activités, la performance, la sécurité, la fiabilité et la cohérence opérationnelle deviennent aussi importantes que l'innovation des modèles.

Cependant, les performances réelles de nombreux projets d'IA ne sont pas à la hauteur. Les décideurs techniques attribuent souvent le problème à une puissance de calcul insuffisante, et ajoutent donc des GPU, agrandissent les clusters ou remplacent les modèles par des plus puissants. Mais les équipes d'infrastructure constatent que le problème se situe souvent au niveau des données : les GPU coûteux ne manquent pas de puissance, mais de données.

Impact sur le marché

Le coût d'inactivité des GPU est extrêmement élevé. Selon l'analyse annuelle 2025 des pannes de l'Uptime Institute, plus de la moitié des entreprises ont subi une panne majeure dont le coût dépassait 100 000 dollars, et un cinquième dépassait 1 million de dollars. Lorsque les pipelines de données sont obstrués, l'utilisation des GPU chute, ce qui réduit directement le retour sur investissement de l'IA.

Nirav Shah, vice-président senior du marketing produit chez F5, compare l'infrastructure IA moderne à un iceberg : au-dessus de l'eau se trouvent les LLM, les applications IA, les frameworks d'orchestration et les clusters GPU visibles (environ 10 %) ; en dessous se trouvent les systèmes de stockage, de réseau, de gestion du trafic, de contrôle de sécurité et de déplacement des données (90 %) qui déterminent si l'investissement génère une valeur réelle. Les entreprises se concentrent excessivement sur la pointe de l'iceberg, ignorant le véritable goulot d'étranglement.

Paysage concurrentiel

Ce changement de perception est en train de remodeler le marché des infrastructures IA. Les fournisseurs traditionnels de GPU (comme NVIDIA) restent les principaux bénéficiaires, mais les fournisseurs de solutions de livraison de données – tels que F5, NetApp, Pure Storage – gagnent de nouvelles opportunités de croissance. Les contrôleurs de livraison d'applications (ADC) évoluent vers des plateformes de livraison et de sécurité d'applications (ADSP), intégrant l'ingénierie du trafic, le contrôle de sécurité et la visualisation.

En comparaison, les architectures qui reposent uniquement sur l'accès direct au stockage sont confrontées à des défis. Les conceptions fortement couplées révèlent une vulnérabilité de performance à l'échelle de l'IA : les pics de latence, les congestions de débit et les pics de trafic, qui ont peu d'impact sur les applications traditionnelles, amplifient considérablement les problèmes de performance de l'IA.

Enseignements pour les entreprises

• Les entreprises devraient réexaminer la partie de l'infrastructure située « sous la ligne de flottaison ». Premièrement, passer d'une architecture fortement couplée à une architecture faiblement couplée : insérer une couche de contrôle intelligente (comme un ADC) entre le stockage et le calcul, pour gérer la terminaison TLS, la gestion des certificats, l'optimisation du trafic et l'exécution des politiques, libérant ainsi les ressources CPU du système de stockage afin qu'il se concentre sur les services de données.Deuxièmement, construire la résilience selon trois dimensions :
• Accessibilité : garantir que les charges de travail AI peuvent toujours accéder à des ressources de stockage saines, avec basculement automatique en cas de panne.
• Stratégie : prévenir les anomalies de trafic telles que l'effet de troupeau, les tempêtes de nouvelles tentatives, etc., en lissant le trafic via une couche de contrôle intelligente et en maintenant une posture de sécurité.
• Livraison : isoler les changements de maintenance entre les clients et les nœuds de stockage, en maintenant le flux de données ininterrompu.

Cas : une grande institution financière mondiale a amélioré les performances des opérations de création, lecture et suppression d'objets de plus de 5 fois en déployant un ADC physique dédié, réduit la latence de suppression d'un ordre de grandeur, sans régression de performance.

Perspectives futures

Dans les 12 à 24 mois à venir, les investissements dans l'infrastructure AI passeront de l'expansion des clusters GPU à l'optimisation des pipelines de données. Les entreprises se concentreront davantage sur le retour sur investissement de la « couche de livraison de données », poussant l'ADC à évoluer vers ADSP. Dans les 24 à 36 mois, la plupart des grandes entreprises adopteront une architecture faiblement couplée, et la livraison de données deviendra un avantage concurrentiel clé pour les opérations AI. Les investisseurs devraient se concentrer sur les fournisseurs d'infrastructure offrant la livraison de données, la protection de la sécurité et la gestion intelligente du trafic, et non seulement sur les fournisseurs de puissance de calcul.