Grands modèles « enseignant » aux grands modèles : comment le GRPO à mise à jour des récompenses réduit les coûts d’entraînement au raisonnement de l’IA et améliore l’efficacité de la personnalisation des modèles pour les entreprises.

Contexte du secteur | Contexte industriel

Dans le contexte du développement rapide de l’industrie de l’IA, le plus grand obstacle au déploiement des grands modèles par les entreprises n’est souvent pas le modèle lui-même, mais les données de « chaîne de pensée » (Chain-of-Thought) de haute qualité nécessaires à un ajustement fin dans des domaines spécifiques. L’acquisition de ces données est non seulement coûteuse, mais nécessite également l’annotation d’experts du domaine, ce qui freine sérieusement l’adoption de l’IA dans les secteurs verticaux tels que la finance, le droit et la santé. Une étude récemment publiée dans *Scientific Reports* propose une série de solutions : elle utilise des grands modèles existants pour générer automatiquement des données de raisonnement et améliore la fonction de récompense GRPO (Group Relative Policy Optimization) afin d’optimiser le modèle cible, réduisant ainsi le coût d’entraînement à quelques centaines de dollars. Ces avancées devraient redéfinir l’économie de la personnalisation des modèles d’IA.

Impact sur le marché | Impact de marché

L’impact industriel le plus direct de cette étude réside dans la chute spectaculaire des coûts d’entraînement. Les expériences montrent que le modèle basé sur Qwen 2.5-3B-Instruct atteint une précision moyenne par jeton de 98,2 % et 98,5 % respectivement sur les ensembles de données GSM8K et les lettres aux actionnaires de Buffett, tandis que la durée d’entraînement n’est que de 40 à 42 heures, pour un coût d’environ 78 à 82 dollars. Ce chiffre est bien inférieur aux coûts de plusieurs milliers de dollars des ajustements fins traditionnels, ce qui signifie que les petites et moyennes entreprises peuvent également se permettre la personnalisation de modèles adaptés à leurs propres données métier. Pour les fournisseurs de puissance de calcul, l’entraînement à faible coût pourrait générer davantage de demandes d’entraînement d’inférence à petite échelle et à fréquence élevée, tandis que les fournisseurs de services de modèles devront ajuster leurs stratégies de tarification.

Paysage concurrentiel | Environnement concurrentiel

Dans cette tendance technologique, les catégories d’acteurs suivantes pourraient en bénéficier : premièrement, les entreprises de chaîne d’outils de modèles, comme les plateformes offrant des services de génération de données et d’optimisation d’entraînement ; deuxièmement, la communauté des modèles open source, car l’entraînement à faible coût attirera davantage de développeurs pour effectuer des développements secondaires sur des modèles open source (comme Qwen) ; troisièmement, les fournisseurs de services cloud, car même si le coût d’un entraînement individuel diminue, l’augmentation du nombre total d’entraînements pourrait faire grimper la consommation globale de puissance de calcul. Les fournisseurs traditionnels de services d’annotation de données et d’ajustement fin manuel sont quant à eux sous pression, car la génération automatique de données de raisonnement remplace une partie du travail manuel. Il convient de noter que les grands laboratoires d’IA comme OpenAI et Anthropic disposent de capacités de génération de modèles plus puissantes, et que le coût d’appel de leurs API en tant que « modèles enseignants » pourrait devenir un nouveau modèle commercial.

Implications pour les entreprises | Répercussions pour les entreprisesPour les décideurs d'entreprise, cette recherche envoie un signal clair : le seuil d'entrée de la personnalisation des modèles est en train de baisser considérablement. Les entreprises devraient évaluer les scénarios de leur activité dans lesquels des données de raisonnement peuvent être générées automatiquement, et s'intéresser à des outils open source tels que Huggify-Data, CoT Data Generator, etc. Parallèlement, lors de l'introduction de fonctions objectives d'apprentissage par renforcement telles que GRPO, il est nécessaire de comprendre la conception de leur mécanisme de récompense, en particulier la manière dont les composants de récompense structurée garantissent la conformité du format de sortie. Les entreprises devraient éviter d'utiliser directement des modèles généralistes pour des tâches spécifiques, et plutôt parvenir à une adaptation rapide grâce à ces moyens d'entraînement à faible coût. De plus, étant donné que la recherche a rendu publics les jeux de données et les modèles, les entreprises peuvent effectuer des développements ultérieurs sur cette base et raccourcir le cycle de validation.

Perspectives d'avenir | Outlook

Au cours des 12 prochains mois, les technologies de personnalisation de modèles à faible coût vont accélérer leur pénétration dans les secteurs verticaux, en particulier la finance et le droit, car ces deux domaines présentent des besoins évidents en matière de structuration de documents et de raisonnement logique. D'ici 24 mois, des plateformes de « fine-tuning de modèles en tant que service » pourraient voir le jour pour différents secteurs, sans que les entreprises aient à gérer elles-mêmes le processus d'entraînement. D'ici 3 ans, à mesure que les coûts d'inférence continueront de baisser, la personnalisation des grands modèles passera d'une expérimentation de niche à une option par défaut pour les entreprises. Dans le même temps, les autorités de régulation doivent prêter attention aux risques que cette méthode d'entraînement peut entraîner en matière de sécurité des données et de cohérence des modèles, par exemple la manière d'éviter la transmission de biais lors de l'utilisation d'un modèle enseignant pour générer des données.