Uber : des coûts de l'IA désormais maîtrisés

Uber, dont le CTO avait déclaré en avril à 'The Information' que le groupe avait déjà épuisé son budget IA prévu pour 2026, contrôle désormais très attentivement ses dépenses liées à l'intelligence artificielle, stabilisées malgré une forte augmentation de l'utilisation, selon des propos rapportés par Axios. Le nombre de requêtes hebdomadaires adressées aux agents d'IA chez Uber a été multiplié par 9,4 depuis février, mais les dépenses totales de l'entreprise en la matière sont restées stables depuis avril, a expliqué Uday Kiran Medisetty, ingénieur émérite chez Uber, dans un article de blog.

Pour un même modèle d'IA, le coût par tranche de 1.000 requêtes a chuté de près de 34% par rapport au pic d'avril, tandis que le coût par session a baissé de 52% par rapport au sommet atteint en juin. Les agents d'IA sont désormais à l'origine de plus de 70% des soumissions de modifications de code chez Uber.

Les ingénieurs d'Uber exécutent plus de 30.000 tâches via des agents d'IA chaque jour et le nombre d'utilisateurs de ces outils a plus que quadruplé, indique Axios, citant l'entreprise. Pourtant, les coûts liés aux 'tokens' ont diminué. Les tâches sont en effet dirigées vers le modèle le plus adapté en termes de coût et de capacités. Les tâches plus simples sont, quant à elles, confiées à des modèles moins coûteux. Uber limite les sessions interactives à 400.000 jetons, même lorsqu'un modèle capable de gérer jusqu'à un million de jetons est utilisé. Les ingénieurs peuvent visualiser le coût d'exécution d'une session d'IA directement sur leur terminal. Uber a également porté la durée de mise en cache des 'prompts' de cinq minutes à une heure.

Axios note que les entreprises utilisent de plus en plus des modèles à 'poids ouverts', ce qui permet de réduire les coûts. Dans une publication sur X, Praveen Neppalli, directeur technique d'Uber, a cité l'expérimentation de modèles à poids ouverts comme l'un des facteurs contribuant à la baisse de la facture d'IA. "Nous évaluons en permanence de nouveaux modèles et déployons la meilleure option pour chaque cas d'usage", a-t-il ajouté.