Débat sur le contexte de l'IA : les entreprises cherchent la vérité organisationnelle en temps réel, dépassant la dépendance aux modèles de pointe.

Contexte sectoriel : pourquoi le « contexte » des agents IA ne suffit-il pas ?

Cette semaine, un débat clé de l’industrie mondiale de l’IA s’est articulé autour de la « vérité organisationnelle en temps réel ». Plus tôt, l’analyste chevronné Jon Reed a publié un article intitulé « Why context isn't enough — AI agents need real-time organizational truth », pointant directement les limites de l’agent IA actuel qui repose excessivement sur un contexte limité, et appelant l’industrie à établir un mécanisme de « vérité organisationnelle en temps réel ». Ce point de vue a suscité des réactions vives de la part des fournisseurs, des entreprises utilisatrices et des instituts de recherche.

Reed souligne que la plupart des fournisseurs commettent deux erreurs : premièrement, ils limitent le contexte aux seules données d’entreprise dont ils disposent (même les fournisseurs de data lakehouse manquent de contexte en temps réel) ; deuxièmement, ils refusent de reconnaître la fragilité du contexte, en particulier à l’échelle de l’entreprise. Reed estime que sans une entrée d’informations plus complète et en temps réel pour l’agent, ce dernier paraîtra « moins intelligent », quelle que soit la puissance du modèle.

L’arrière-plan de ce débat est que l’IA en entreprise passe de la « phase de démonstration » à la « phase de déploiement à grande échelle ». Cependant, des coûts d’inférence élevés, une architecture complexe et une valeur commerciale limitée poussent de nombreux directeurs financiers à s’interroger : « Quand l’IA apportera-t-elle un réel retour sur investissement ? » Bill Patterson, directeur clientèle de Salesforce, a déclaré franchement lors d’un entretien récent : « Les CFO demandent — l’IA peut-elle un jour rapporter ? Nous devons passer de “combien de tokens utilisés” à “la transaction a-t-elle été conclue ?” »

Impact sur le marché : les entreprises réexaminent leurs stratégies d’investissement en IA

Le point de vue de Reed remet directement en cause la dépendance excessive aux modèles de pointe (frontier models). Il cite plusieurs études prouvant qu’avec une bonne ingénierie de contexte et un « contrôle intelligent » (harness engineering), les petits modèles peuvent réduire les coûts d’exploitation des LLM jusqu’à 90 %. Même Google, dans son dernier livre blanc, reconnaît qu’un contexte/contrôle intelligent approprié peut contribuer à 90 % de la valeur d’un système d’agent, tandis que le modèle lui-même n’en représente que 10 %.

Cela signifie que les entreprises n’ont plus besoin d’acheter sans limite des GPU et des tokens pour bénéficier des capacités de l’IA. Au contraire, elles peuvent construire un « contrôle intelligent » efficace — incluant des moteurs de validation, des compétences pré-packagées, des garde-fous stricts — pour contraindre et renforcer les agents LLM, réalisant ainsi un déploiement d’IA moins cher et plus durable.Pour les fournisseurs d'infrastructure IA comme NVIDIA et AMD, cette tendance pourrait entraîner une modification de la structure de la demande : la dépendance aux GPU côté inférence se déplacera en partie vers des investissements dans les pipelines de données et les systèmes de récupération en temps réel. Pour les fournisseurs de modèles comme OpenAI et Anthropic, si les entreprises parviennent à réduire considérablement la consommation de modèles grâce à l'ingénierie de contexte, leur modèle économique basé sur les tokens pourrait subir des pressions.

Paysage concurrentiel : qui en profite ? qui subit des pressions ?

• Bénéficiaires :
• Les plateformes d'intégration de données et d'analyse en temps réel (comme Databricks, Snowflake, Confluent) — pour organiser la vérité en temps réel, il est nécessaire de fusionner les données des systèmes d'enregistrement avec les informations de collaboration comme Slack/Teams, et la valeur de ces plateformes devient de plus en plus évidente.
• Les outils de contrôle intelligent et d'orchestration des agents IA (comme LangChain, CrewAI, etc.) — ils aident les entreprises à gérer le contexte, les outils et les contraintes des agents, devenant ainsi un maillon clé de l'architecture IA des entreprises.
• Les fournisseurs spécialisés dans l'IA sectorielle (comme IFS, ServiceNow) — ils mettent davantage l'accent sur la connaissance du domaine plutôt que sur les capacités générales des modèles.

• Sous pression :
• Les fournisseurs d'API de modèles IA qui dépendent uniquement d'un modèle de consommation de tokens (comme OpenAI) — si les entreprises réduisent considérablement l'utilisation des tokens grâce à l'ingénierie de contexte, leur croissance des revenus pourrait ralentir.
• Les fournisseurs qui mettent trop l'accent sur les capacités de raisonnement « premiers principes » — les entreprises accordent plus d'importance à « si le résultat est un succès » qu'à « si le modèle est intelligent ».

• Suiveurs potentiels :
• Amazon AI et Google Cloud — ils proposent déjà davantage de services contextuels (comme les agents d'Amazon Bedrock, Agent Builder de Vertex AI) et pourraient renforcer encore leurs capacités d'accès aux données en temps réel.
• Salesforce a déjà lancé l'agent « Piper » pour les représentants du développement des ventes, qui se concentre sur « si le lead est clos » plutôt que sur la consommation de tokens, ce qui représente un passage du « piloté par le modèle » au « piloté par les résultats ».

Implications pour les entreprises : de « l'IA d'abord » à « l'architecture durable »

Pour les décideurs d'entreprise, ce débat envoie un signal clair : ne vous laissez pas prendre au piège de l'économie des tokens des fournisseurs.

1. Redéfinir les indicateurs de succès de l'IA : ne plus considérer le taux d'utilisation des modèles ou la consommation de tokens comme des critères de réussite, mais se concentrer sur les résultats commerciaux — économies de coûts, gains d'efficacité, satisfaction client, etc. En se référant aux pratiques de trois grands utilisateurs (IFS, etc.), leur manière de mesurer la valeur de l'IA générative est passée du « taux d'adoption » à « l'impact commercial ».2. Investir dans l'ingénierie de contexte : les entreprises doivent construire une architecture capable d'accéder en temps réel aux données clés (stocks, sentiment client, état de production) et limiter les LLM à des tâches spécifiques via un contrôle intelligent. Cette approche offre un meilleur rapport qualité-prix que l'achat de modèles plus coûteux.

3. Examiner les engagements des fournisseurs : lors de l'achat de services d'IA, demandez aux fournisseurs comment ils aident à réduire la consommation de tokens et s'ils prennent en charge le déploiement de petits modèles hybrides. Évitez de tomber dans le "gouffre sans fond des tokens".

4. Respecter la conformité et la réglementation : la loi européenne sur l'IA (EU AI Act) exige des entreprises qu'elles soient responsables des sorties de l'IA. Organiser une base de vérité en temps réel permet de fournir des bases de décision traçables et de réduire les risques réglementaires.

Perspectives d'avenir : 12 mois, 24 mois, 3 ans

12 mois : davantage d'entreprises commenceront à construire leur propre système de "contrôle intelligent", et la part des petits modèles déployés dans des scénarios verticaux augmentera. Des sociétés comme OpenAI pourraient lancer davantage de modèles affinés pour des contextes spécifiques, afin de compenser la baisse des revenus des tokens.

24 mois : la vérité en temps réel organisée deviendra un standard pour l'IA d'entreprise. Les plateformes de données fusionneront les données de collaboration (Slack/Teams) avec les enregistrements des systèmes métier pour fournir un contexte unifié. Les lacunes de capacité des agents IA (comme le raisonnement multi-étapes et l'appel d'outils) seront comblées par un meilleur remplissage du contexte.

3 ans : le monopole des modèles de pointe sera brisé. Les plateformes d'agents spécialisées par secteur émergeront, et les investissements dans l'infrastructure IA passeront de la frénésie des GPU à un équilibre entre pipelines de données et recherche en temps réel. La régulation de l'IA mettra davantage l'accent sur la "contrôlabilité des processus", et les entreprises obtiendront un meilleur retour sur investissement.

Comme l'a dit Jon Reed : "Les progrès du contexte nous montrent que les clients n'ont pas nécessairement besoin de dépendre des modèles de pointe. Ils peuvent choisir une voie plus durable pour l'IA." Si les entreprises saisissent ce point de basculement, la prochaine décennie de l'industrie de l'IA sera plus pragmatique et plus efficace.