CXL: Die "Infinite RAM" Panne

Wichtige Erkenntnisse

• Die „Download-RAM“-Realität: CXL 3.0 ermöglicht es Servern, Speicher aus einem gemeinsam genutzten Pool über einen PCIe-ähnlichen Bus auszuleihen, wodurch physische Steckplatzbeschränkungen effektiv gelöst werden.
• Lösung der 25 % Verschwendung: Bis zu einem Viertel des Speichers im Rechenzentrum bleibt ungenutzt („gestrandet“), weil er an eine CPU gebunden ist, die ihn nicht benötigt. CXL setzt diese Kapazität frei.
• Physik der Lichtgeschwindigkeit: Durch die Verwendung von PCIe 6.0 PHY und PAM-4-Signalisierung erreicht CXL 3.0 64 GT/s, wodurch der Remote-Speicher schnell genug ist, um sich lokal anzufühlen.
• Das Ende des Motherboards: Die Branche bewegt sich in Richtung „disaggregiertes Computing“, bei dem CPU, RAM und Speicher separate Geräte sind, die durch Licht und Kupfer verbunden sind.

Seit Jahrzehnten ist das Meme „Download Usage RAM“ der ultimative Lackmustest für Computerkenntnisse. Sie können keine Hardware herunterladen. RAM ist ein physischer Stab aus Silizium und Kondensatoren, der direkt neben die CPU gelötet oder gesteckt wird, da die Lichtgeschwindigkeit zu langsam ist, um ihn irgendwo anders unterzubringen.

Doch im Jahr 2025 wird der Witz Wirklichkeit. Die Branche ist an eine Grenze gestoßen: Die Anzahl der CPU-Kerne explodiert, die Zahl der Speicherkanäle, die Ingenieure auf einem Motherboard unterbringen können, jedoch nicht. Prozessoren hungern.

Geben Sie Compute Express Link (CXL) ein, insbesondere die Version 3.0. Es handelt sich um ein Protokoll, das es Ingenieuren ermöglicht, die Gesetze der traditionellen Serverarchitektur zu brechen. Durch die Entkopplung des Speichers von der CPU und die Platzierung in einem gemeinsamen „Pool“ ermöglicht CXL einem Server, auf Speicher zuzugreifen, der sich physisch in einer anderen Schublade (oder sogar einem anderen Rack) befindet, und zwar mit einer Geschwindigkeit, die nahe genug am lokalen DRAM liegt, sodass die Software keinen Unterschied erkennen kann.

Es ist das nächste Rechenzentrum, das jemals einem „Unendlich-RAM“-Fehler ausgesetzt sein wird. Hier sind die Physik, die Wirtschaft und die Technik hinter der wichtigsten Hardware-Veränderung des Jahrzehnts.

Hintergrund: Die „Stranded Memory“-Krise

Um CXL zu verstehen, muss man den wirtschaftlichen Albtraum moderner Hyperscaler (wie Google, AWS und Azure) verstehen.

Die 25 %-Steuer

Bei einem herkömmlichen Server kaufen Sie eine CPU und füllen die Steckplätze mit RAM. Wenn dieser Server eine rechenintensive Aufgabe ausführt, die 100 % der CPU, aber nur 10 % des RAM nutzt, werden 90 % dieses RAM verschwendet. Es ist „gestrandet“. Es kann nicht an den Server nebenan ausgeliehen werden, der gerade abstürzt, weil ihm der Speicher ausgeht.

Untersuchungen von Microsoft und Marvell zufolge sind zu jedem Zeitpunkt ungefähr 25 % des gesamten Speichers im Rechenzentrum blockiert.

$\text{Wasted Capital} = \text{Total DRAM Spend} \times 0.25$

Da der Server-DRAM-Umsatz bis 2028 voraussichtlich 40 Milliarden US-Dollar erreichen wird, entspricht das einem jährlichen Verlust von 8 Milliarden US-Dollar. In einer Zeit, in der sich die Größe von KI-Modellen alle paar Monate verdoppelt, ist es inakzeptabel, so viel Kapazität auf dem Tisch zu lassen.

CXL 3.0 verstehen: Die Physik des Betrugs

CXL ist kein neues Kabel; Es handelt sich um ein Protokoll, das auf der elektrischen PCIe-Schnittstelle aufsetzt. Wenn PCIe die Straße ist, sind CXL die Verkehrsregeln, die es Autos (Daten) ermöglichen, mit Ferrari-Geschwindigkeit zu fahren, ohne zu stürzen.

Wie es funktioniert: „Kohärenz“ schaffen

Die Magie von CXL ist Cache-Kohärenz.

Wenn ein Gerät (z. B. eine GPU oder eine SSD) in den Speicher schreibt, erfährt die CPU normalerweise nicht sofort davon. Die CPU speichert möglicherweise eine alte Kopie dieser Daten in ihrem L1/L2-Cache. Diese Nichtübereinstimmung verursacht Fehler. CXL führt drei Protokolle ein, um dieses Problem zu beheben:

1. CXL.io: Erkennung und Konfiguration (grundlegende PCIe-Sachen).
2. CXL.cache: Ermöglicht Geräten, den Cache der CPU auszuspionieren.
3. CXL.mem: Ermöglicht der CPU, den Speicher des Geräts zu lesen/schreiben, als wäre es System-RAM.

CXL 3.0 geht mit Memory Pooling noch einen Schritt weiter.

Die Bandbreitenmathematik

CXL 3.0 verwendet normalerweise die physikalische Schicht PCIe 6.0. Dies basiert auf der Signalisierung PAM-4 (Pulse Amplitude Modulation 4-Level). Anstatt Nullen und Einsen (NRZ) zu senden, werden vier Spannungspegel (00, 01, 10, 11) gesendet, wodurch der Durchsatz pro Takt effektiv verdoppelt wird.

$\text{Throughput} = 64 \text{ GT/s} \times 16 \text{ lanes} \times \frac{256}{242} (\text{FEC overhead}) \approx 128 \text{ GB/s}$

Dies ist zwar langsamer als das absolut schnellste lokale DDR5 (das mehr als 200 GB/s über mehrere Kanäle übertragen kann), aber schnell genug für „Erweiterungsspeicher“ – die RAM-Ebene, die verwendet wird, wenn die lokale Zuweisung voll ist.

Die Evolution: Warum CXL 3.0 der „Glitch“ ist

Um zu verstehen, warum CXL 3.0 eine Revolution ist, muss die Analyse seine Vorgänger betrachten.

• CXL 1.0/1.1 war eine einfache Punkt-zu-Punkt-Verbindung. Es ermöglichte den Einbau einer Speichererweiterungskarte in einen Server, und die CPU würde sie erkennen. Nützlich, aber statisch. Es löste das Problem der „Speicherkapazität“, nicht jedoch das Problem des „gestrandeten Speichers“.
• Mit CXL 2.0 wurde die Umschaltung eingeführt. Wie bei einem Netzwerk-Switch könnten Ingenieure mehrere Geräte an einen einzelnen Host anschließen oder ein Gerät auf mehrere Hosts aufteilen. Dies war die Geburtsstunde des Poolings, das jedoch auf eine einzige „Fan-out“-Hierarchie beschränkt war.
• CXL 3.0 ist der Punkt, an dem die Physik interessant wird. Es stellt „Stoffe“ vor. Anstelle einer einfachen Baumstruktur können Geräte in einem Peer-to-Peer-Netz miteinander kommunizieren. Eine GPU kann direkt mit einem CXL-Speicherstick kommunizieren, ohne die CPU aufzuwecken. Dies reduziert die Latenz und ahmt das „Unendliche RAM“-Verhalten eines lokalisierten Clusters nach. Es verwandelt das gesamte Rechenzentrum in ein riesiges Motherboard.

The Deep Dive: Disaggregation und Fabrikation

Die Auswirkungen davon gehen über das bloße Sparen von Geld hinaus. Es verändert die Art und Weise, wie Server aufgebaut werden.

Der Tod des Motherboards

Traditionell ist ein Motherboard eine strenge Karte: 2 CPU-Sockel, 32 DIMM-Steckplätze. Du lebst und stirbst nach dieser Karte. Mit CXL wird das „Motherboard“ zur „Backplane“.

• Schublade 1: Nur CPUs (Compute).
• Schublade 2: Nur RAM (Speicherpool).
• Schublade 3: Nur GPUs (Beschleuniger).

Die Verbindung erfolgt über einen CXL-Switch. Wenn Server A heute 1 TB RAM für eine umfangreiche Datenbankkompilierung benötigt, weist der Switch diesen zu. Wenn morgen nur 32 GB benötigt werden, fordert der Switch diesen RAM zurück und gibt ihn für das KI-Training an Server B weiter.

Multilogische Geräte (MLDs)

CXL 3.0 führt MLDs ein, mit denen ein einzelner CXL-Speicherstick aufgeteilt und von bis zu 16 Hosts gleichzeitig gemeinsam genutzt werden kann. Im Speichercontroller fungiert eine Einheit namens Channel Management Unit (CHMU) als Verkehrspolizist und stellt sicher, dass Host A beim Schreiben an die Adresse 0x100 die Daten von Host B an derselben physischen Adresse nicht überschreibt (es sei denn, sie teilen absichtlich Daten, was auch von CXL unterstützt wird).

Auswirkungen auf die Branche

Auswirkungen auf das KI-Training

KI-Training ist gedächtnisgebunden. Die H100- und B200-GPUs sind Biester, aber sie hungern oft nach Daten. Mit CXL können deutlich größere Modellgewichte im „Near-Memory“ gehalten werden, wodurch die Notwendigkeit verringert wird, Daten von langsamen NVMe-SSDs abzurufen.

Auswirkungen auf die Cloud-Preise

Diese Effizienz wird wahrscheinlich zu „Spot RAM“-Instanzen führen. So wie Sie Spot-EC2-Instanzen bei AWS kaufen können, können Sie möglicherweise bald Ihre RAM-Kapazität für ein paar Cent dynamisch aufstocken, indem Sie die ungenutzte Kapazität des Racks neben Ihnen nutzen.

Herausforderungen und Einschränkungen

1. Latenzstrafe: Die Physik ist hartnäckig. Durch das Hinzufügen eines Schalters und einiger Meter Kabel werden Nanosekunden hinzugefügt. CXL-Speicher hat eine Latenz von etwa 170–250 ns, verglichen mit 80–100 ns für lokales DRAM. Es handelt sich um einen „Tier-2“-Speicher – schneller als SSDs, aber langsamer als lokaler RAM.
2. Signalintegrität: Die PAM-4-Signalisierung ist fragil. Bei 64 GT/s verschlechtert sich ein Signal bereits nach wenigen Zentimetern PCB-Leiterbahn. Es sind komplexe Retimer und eine hochwertige Verkabelung erforderlich, was die Vorabkosten erhöht.
3. Software-Unterstützung: Betriebssysteme müssen „CXL-fähig“ sein. Der Betriebssystemkern muss intelligent genug sein, um „heiße“ Daten im lokalen RAM und „warme“ Daten im CXL-RAM zu platzieren (Tiering).

Vorausschauende Analyse: Der 5-Jahres-Ausblick

Kurzfristig: Die Hybrid-Ära (2025-2026)

Auf dem Markt wird es „CXL-Expander“ geben – Zusatzkarten, die wie SSDs aussehen, aber RAM enthalten. Diese werden an Standardserver angeschlossen, um 512 GB oder 1 TB kostengünstige Kapazität hinzuzufügen.

Mittelfristig: Rack-Scale-Architektur (2027+)

Das Servergehäuse verschwindet. Hyperscaler werden „Compute Bricks“ und „Memory Bricks“ kaufen. Rechenzentren werden weniger wie Reihen von Pizzakartons aussehen, sondern eher wie riesige, flüssigkeitsgekühlte Bienenstöcke disaggregierter Ressourcen.

Der Horizont „Unendliche Erinnerung“.

Irgendwann wissen Anwendungen nicht mehr, wo sich ihr Speicher befindet. Eine Anwendung könnte 100 TB RAM anfordern, und die CXL-Fabric wird diese aus ungenutzter Kapazität im gesamten Rechenzentrum zusammensetzen.

Das Fazit

CXL ist das Eingeständnis der Branche, dass das Mooresche Gesetz für Stifte und Drähte beendet ist. Ingenieure können nicht mehr Kabel in einen CPU-Sockel stopfen. Deshalb versuchten die Hersteller nicht mehr, die Rohre größer zu machen, sondern bauten stattdessen ein intelligenteres Sanitärsystem.

Für den Durchschnittsnutzer bedeutet dies, dass Cloud-Dienste günstiger und schneller sind. Für den Ingenieur bedeutet es das Ende der „Out of Memory“-Fehler. Der Arbeitsspeicher ist nicht unendlich, aber zum ersten Mal in der Geschichte ist er endlich flüssig.