CXL : le problème de la « RAM infinie »

Points clés à retenir

• La réalité du « téléchargement de RAM » : CXL 3.0 permet aux serveurs d’emprunter de la mémoire à partir d’un pool partagé via un bus de type PCIe, résolvant ainsi efficacement les limitations des emplacements physiques.
• Résoudre les 25 % de gaspillage : jusqu’à un quart de la mémoire du centre de données reste inactive (« bloquée ») car elle est verrouillée sur un processeur qui n’en a pas besoin. CXL libère cette capacité.
• Physique de la vitesse de la lumière : en utilisant la signalisation PCIe 6.0 PHY et PAM-4, CXL 3.0 atteint 64 GT/s, ce qui rend la mémoire distante suffisamment rapide pour se sentir locale.
• La fin de la carte mère : l’industrie s’oriente vers une « informatique désagrégée » où le processeur, la RAM et le stockage sont des appareils distincts connectés par la lumière et le cuivre.

Pendant des décennies, le mème « utilisation de la RAM par téléchargement » a été le test décisif ultime pour les connaissances informatiques. Vous ne pouvez pas télécharger de matériel. La RAM est un bâton physique de silicium et de condensateurs, soudé ou inséré directement à côté du processeur car la vitesse de la lumière est trop lente pour la placer ailleurs.

Mais en 2025, la plaisanterie devient réalité. L’industrie s’est heurtée à un mur : le nombre de cœurs de processeur explose, mais le nombre de canaux mémoire que les ingénieurs peuvent bloquer sur une carte mère ne l’est pas. Les processeurs sont affamés.

Saisissez Compute Express Link (CXL), en particulier la révision 3.0. Il s’agit d’un protocole qui permet aux ingénieurs d’enfreindre les lois de l’architecture serveur traditionnelle. En dissociant la mémoire du processeur et en la plaçant dans un « pool » partagé, CXL permet à un serveur d’accéder à la mémoire physiquement située dans un autre tiroir (ou même un autre rack) à des vitesses suffisamment proches de la DRAM locale pour que le logiciel ne puisse pas faire la différence.

Ce sont les centres de données les plus proches d’un problème de « RAM infinie ». Voici la physique, l’économie et l’ingénierie derrière le changement matériel le plus important de la décennie.

Contexte : La crise de la « mémoire bloquée »

Pour comprendre CXL, vous devez comprendre le cauchemar économique des hyper-scalers modernes (comme Google, AWS et Azure).

La taxe de 25%

Dans un serveur traditionnel, vous achetez un CPU et vous remplissez les emplacements avec de la RAM. Si ce serveur exécute une tâche gourmande en calcul qui utilise 100 % du processeur mais seulement 10 % de la RAM, 90 % de cette RAM est gaspillée. Il est « bloqué ». Il ne peut pas être prêté au serveur voisin qui plante car il manque de mémoire.

Selon une étude de Microsoft et Marvell, environ 25 % de toute la mémoire du centre de données est bloquée à un moment donné.

$\text{Wasted Capital} = \text{Total DRAM Spend} \times 0.25$

Alors que les ventes de DRAM pour serveurs devraient atteindre 40 milliards de dollars d’ici 2028, cela représente une perte annuelle de \8 milliards de dollars. À une époque où la taille des modèles d’IA double tous les quelques mois, laisser autant de capacité sur la table est inacceptable.

Comprendre CXL 3.0 : la physique de la triche

CXL n’est pas un nouveau câble ; c’est un protocole qui s’appuie sur l’interface électrique PCIe. Si PCIe est la route, CXL est le code de la route qui permet aux voitures (données) de rouler à des vitesses Ferrari sans s’écraser.

Comment ça marche : créer une « cohérence »

La magie de CXL réside dans la cohérence du cache.

Normalement, si un périphérique (comme un GPU ou un SSD) écrit dans la mémoire, le CPU ne le sait pas instantanément. Le processeur contient peut-être une ancienne copie de ces données dans son cache L1/L2. Cette inadéquation provoque des bugs. CXL introduit trois protocoles pour résoudre ce problème :

1. CXL.io : Découverte et configuration (éléments de base PCIe).
2. CXL.cache : permet aux appareils de surveiller le cache du processeur.
3. CXL.mem : permet au processeur de lire/écrire la mémoire de l’appareil comme s’il s’agissait de la RAM système.

CXL 3.0 va encore plus loin avec Memory Pooling.

Les mathématiques de la bande passante

CXL 3.0 utilise généralement la couche physique PCIe 6.0. Cela repose sur la signalisation PAM-4 (Pulse Amplitude Modulation 4-level). Au lieu d’envoyer des 0 et des 1 (NRZ), il envoie quatre niveaux de tension (00, 01, 10, 11), doublant ainsi le débit par horloge.

$\text{Throughput} = 64 \text{ GT/s} \times 16 \text{ lanes} \times \frac{256}{242} (\text{FEC overhead}) \approx 128 \text{ GB/s}$

Bien qu’elle soit plus lente que la DDR5 locale la plus rapide (qui peut atteindre plus de 200 Go/s sur plusieurs canaux), elle est suffisamment rapide pour la « mémoire d’extension », le niveau de RAM utilisé lorsque l’allocation locale est saturée.

L’évolution : pourquoi CXL 3.0 est le “Glitch”

Pour comprendre pourquoi CXL 3.0 est une révolution, l’analyse doit se pencher sur ses prédécesseurs.

• CXL 1.0/1.1 était une simple connexion point à point. Il permettait à une carte d’extension de mémoire d’entrer dans un serveur et le processeur la verrait. Utile, mais statique. Cela a résolu le problème de « capacité de mémoire » mais pas le problème de « mémoire échouée ».
• CXL 2.0 a introduit la commutation. À l’instar d’un commutateur réseau, les ingénieurs pouvaient connecter plusieurs appareils à un seul hôte ou diviser un appareil entre plusieurs hôtes. C’est la naissance du pooling, mais celui-ci se limite à une seule hiérarchie de type « fan-out ».
• CXL 3.0 est l’endroit où la physique devient intéressante. Il présente les « Tissus ». Au lieu d’une simple structure arborescente, les appareils peuvent communiquer entre eux dans un maillage peer-to-peer. Un GPU peut communiquer directement avec une clé USB CXL sans réveiller le CPU. Cela réduit la latence et imite le comportement « RAM infinie » d’un cluster localisé. Il transforme l’ensemble du centre de données en une seule carte mère géante.

The Deep Dive : désagrégation et fabrication

Les implications de cette mesure vont au-delà de la simple économie d’argent. Cela change la façon dont les serveurs sont construits.

La mort de la carte mère

Traditionnellement, une carte mère est une carte stricte : 2 sockets CPU, 32 emplacements DIMM. Vous vivez et mourez selon cette carte. Avec CXL, la « carte mère » devient un « fond de panier ».

• Tiroir 1 : uniquement les processeurs (calcul).
• Tiroir 2 : Juste de la RAM (Memory Pool).
• Tiroir 3 : uniquement des GPU (accélérateurs).

Ils se connectent via un commutateur CXL. Si le serveur A a besoin aujourd’hui de 1 To de RAM pour une compilation massive de base de données, le Switch l’attribue. S’il n’a besoin que de 32 Go demain, le Switch récupère cette RAM et la donne au serveur B pour la formation en IA.

Périphériques multi-logiques (MLD)

CXL 3.0 introduit les MLD, permettant de découper et de partager une seule clé de mémoire CXL entre 16 hôtes maximum simultanément. À l’intérieur du contrôleur de mémoire, une unité appelée Channel Management Unit (CHMU) agit comme un agent de la circulation, garantissant que lorsque l’hôte A écrit à l’adresse 0x100, il n’écrase pas les données de l’hôte B à la même adresse physique (sauf s’ils partagent intentionnellement des données, ce que CXL prend également en charge).

Impact sur l’industrie

Impact sur la formation en IA

La formation en IA est liée à la mémoire. Les GPU H100 et B200 sont des bêtes, mais ils sont souvent affamés de données. CXL permet de conserver des poids de modèle nettement plus importants en « quasi-mémoire », réduisant ainsi le besoin de récupérer des données à partir de SSD NVMe lents.

Impact sur la tarification du cloud

Cette efficacité conduira probablement à des instances « Spot RAM ». Tout comme vous pouvez acheter des instances Spot EC2 sur AWS, vous pourrez bientôt augmenter dynamiquement votre capacité de RAM pour quelques centimes par dollar, en utilisant la capacité bloquée du rack à côté de vous.

Défis et limites

1. Pénalité de latence : La physique est têtue. L’ajout d’un interrupteur et de quelques pieds de câble ajoute des nanosecondes. La mémoire CXL a environ 170-250ns de latence, contre 80-100ns pour la DRAM locale. Il s’agit d’une mémoire « Tier 2 », plus rapide que les SSD, mais plus lente que la RAM locale.
2. Intégrité du signal : la signalisation PAM-4 est fragile. À 64 GT/s, un signal se dégrade après seulement quelques centimètres de trace de PCB. Des resynchroniseurs complexes et un câblage de haute qualité sont nécessaires, ce qui augmente le coût initial.
3. Support logiciel : les systèmes d’exploitation doivent être « compatibles CXL ». Le noyau du système d’exploitation doit être suffisamment intelligent pour placer les données « chaudes » dans la RAM locale et les données « chaudes » dans la RAM CXL (Tiering).

Analyse prospective : les perspectives sur 5 ans

Court terme : l’ère hybride (2025-2026)

Le marché verra apparaître des « CXL Expanders », des cartes d’extension qui ressemblent à des SSD mais contiennent de la RAM. Ceux-ci seront branchés sur des serveurs standards pour ajouter 512 Go ou 1 To de capacité bon marché.

Moyen terme : architecture à l’échelle du rack (2027+)

Le châssis du serveur disparaîtra. Les hyperscalers achèteront des « Compute Bricks » et des « Memory Bricks ». Les centres de données ressembleront moins à des rangées de boîtes à pizza qu’à d’immenses ruches de ressources désagrégées refroidies par liquide.

L’Horizon “Mémoire Infinie”

Finalement, les applications ne sauront pas où se trouve leur mémoire. Une application pourrait demander 100 To de RAM, et la structure CXL la rassemblerait à partir de la capacité bloquée sur l’ensemble du centre de données.

Le résultat

CXL est l’aveu de l’industrie que la loi de Moore pour les broches et les fils a pris fin. Les ingénieurs ne peuvent pas insérer plus de fils dans un socket CPU. Ainsi, les fabricants ont arrêté d’essayer d’agrandir les tuyaux et ont plutôt construit un système de plomberie plus intelligent.

Pour l’utilisateur moyen, cela signifie des services cloud moins chers et plus rapides. Pour l’ingénieur, cela signifie la fin des erreurs « Mémoire insuffisante ». La RAM n’est pas infinie, mais pour la première fois dans l’histoire, elle est enfin fluide.