Explosion computationnelle : l'ia dépasserait les limites de l'évolution
Mustafa Suleyman, à la tête de l'IA chez Microsoft, met en garde contre l’illusion de la progression linéaire. L’intelligence artificielle ne suit plus les règles de l’évolution, selon lui. Une réalité brutale, celle d’une croissance exponentielle qui redéfinit les enjeux.
Un tourbillon de puissance inconcevable
Le passage de 10¹⁴ FLOPS à plus de 10²⁶ FLOPS en seulement une décennie, comme le souligne Suleyman, n’est pas une simple augmentation. C’est une véritable explosion. Ce n’est plus une question d’ajouter des calculatrices plus rapides, mais de créer une entité pensée comme un tout, une « mente géante » orchestrée. Un changement radical, rendu possible par des avancées fulgurantes.
La révolution sous-estimée
L’entraînement des modèles d’IA, initialement comparé à une salle bondée de personnes manipulant des calculatrices, a évolué. Aujourd'hui, il s’agit de garantir que toutes ces calculatrices travaillent en parfaite synchronisation, sans délai. Nvidia, avec ses puces passant de 312 teraflops en 2020 à 2.250 teraflops aujourd'hui, et Microsoft, avec le Maia 200 offrant un 30% de performance supplémentaire par euro, ont d’ores et déjà prouvé cette capacité. La mémoire HBM3, triplant le débit de la génération précédente, maintient les GPU constamment alimentées, éliminant les goulots d'étranglement.
Des superordinateurs à l'horizon
NVLink et InfiniBand permettent de connecter des centaines de milliers de GPU en superordinateurs massifs, s’approchant de la taille de navires industriels. Un paysage qui, selon Eric Schmidt, ne représente que l’aube de ce que nous allons expérimenter. Ces infrastructures colossales – des clusters de 100 000 GPU, des racks de la taille d'une réfrigérateur consommant 120 kilowatts, des centres de données alimentés par l'énergie de l'ensemble du Royaume-Uni, de la France et de l'Allemagne – ne sont plus de la science-fiction. Elles sont en construction.
Un boom de ressources
Les laboratoires investissent massivement : près de 100 milliards de dollars en clusters d'IA, 10 gigawatts de consommation, des superordinateurs de l'échelle de vaisseaux spatiaux. Les prévisions sont stupéfiantes : une croissance du calcul de l’IA d'environ 4x par an, avec une augmentation de 5x entre 2020 et aujourd'hui, et une projection de 100 millions de puces H100 d’ici 2027 – soit une multiplication par dix en trois ans. Microsoft, Nvidia et la quête de la superintelligence, ou ASI, sont au cœur de ce phénomène.
Au-delà des chatbots
Mustafa Suleyman anticipe une transition vers des « agents d'IA presque humains », capables de coder, de gérer des projets complexes, d'établir des contrats et d'orchestrer la logistique. Mais cette avancée est indissociable d'une consommation énergétique colossale – un simple rack d'IA pouvant alimenter 100 maisons. La chute des coûts de l'énergie solaire et des batteries, avec une baisse de près de 100 fois des coûts solaires en 50 ans et de 97% pour les batteries en 30 ans, pourrait atténuer cette problématique. Mais l'ampleur du défi reste considérable. Le ‘boom’ de la puissance de calcul est la narration technologique de notre époque, et elle ne fait que commencer.