8GBの終焉：ローカルAIがあなたのラップトップを破壊した理由

10 年以上にわたり、8 GB の RAM が「十分な」標準でした。これは、学生、会社員、さらには軽いクリエイターにとっても安全なベースラインでした。 Apple は、2012 年から 2023 年まで MacBook のデフォルトとしてこれを販売しました。Windows ラップトップは、ブラウジングとスプレッドシート用に 8GB ゾーンで快適に動作しました。

そんな時代は終わりました。ウェブページが大きくなったからといって、それは終わりませんでした（実際には大きくなりましたが）。それが終わったのは、私たちがコンピューターを使用する基本的な方法が、データを「取得」することから「生成」することに移行しているからです。

「AI PC」とローカルラージ言語モデル (LLM) の台頭により、ハードウェアに新たなハードフロアが導入されました。 Microsoft の Copilot+ 標準では 16 GB の RAM が義務付けられています。 AppleのM4 Macはついに16GBから始まります。これは単なるアップセル マーケティングではなく、物理学の問題です。最新のローカル AI を 8 GB マシンで実行しようとすると、動作が遅いだけではありません。実質的に壊れてしまいます。

これが、8GB ラップトップがレンガになりつつある理由の技術的な現実です。

「レンガ」の数学

なぜ 8GB が使われないのかを理解するには、大規模言語モデル (LLM) がメモリをどのように使用するかを調べる必要があります。使用しないときに SSD (スワップ ファイル) に遅延書き込みできるブラウザ タブとは異なり、LLM が機能するには、その「重み」 (インテリジェンスを定義するパラメータ) がアクティブな高速 RAM に存在する必要があります。

Llama 3 8B や Microsoft の Phi-3 など、使用可能な 4 ビット量子化で実行される標準的な「小さい」ローカル モデルの数値を見てみましょう。

$$\text{Model Size} \approx 8 \text{ Billion Parameters} \times 0.5 \text{ Bytes (4-bit)} \approx 4.0 \text{ GB}$$

それは大丈夫そうですよね？ 8GBあります。計算式を確認します: $ 8 - 4 = 4 $。残りは 4GB です。

違います。

オペレーティング システムを忘れました。 Windows 11 は、いくつかのバックグラウンド サービスでアイドル状態になると、簡単に 4 GB ～ 5 GB の RAM を消費します。

$$\text{Total Required} = \text{OS (4.5 GB)} + \text{Model (4.0 GB)} + \text{Context Cache (0.5 GB)} = 9.0 \text{ GB}$$

Web ブラウザを開く前に、メモリ使用率が 112% に達しています。

スワップ・デス・スパイラル

必要なメモリが物理 RAM を超えると、オペレーティング システムはデータを SSD 上の「スワップ」または「ページ ファイル」に移動します。

最新の NVMe SSD では、読み取り速度が速く、おそらく 5GB/s または 7GB/s です。ただし、RAM は 1 桁高速で、多くの場合 60GB/秒から 100GB/秒を超えます。さらに重要なのは、レイテンシー (データを見つけるまでの時間) が致命的であるということです。

LLM はテキストを生成するときに、生成された すべてのトークン の重みを繰り返しスキャンします。これらの重みがスワップ ファイルにある場合、CPU/NPU は一時停止して、SSD がデータをフェッチするまで待つ必要があります。

• RAM アクセス: ナポ秒。
• SSD アクセス: マイクロ秒 (1000 倍遅い)。

その結果が「スワップスラッシング」です。システムは、実際のコンピューティングにかかる​​時間よりも、RAM と SSD の間でのデータの移動に多くの時間を費やします。 1 秒あたりのトークン数は、会話の 20 T/s から 0.2 T/s まで低下します。カーソルがフリーズします。音声が途切れます。プロセスを強制終了するまで、マシンは「ブリック」状態になります。

コンテキストの歴史: 8GB の長い日没

8GB 標準は驚くほど回復力があります。

• 2012: MacBook Pro Retina は、プレミアム ベースラインとして 8GB で発売されます。ほとんどの人にとってそれはやりすぎでした。
• 2016-2020: 8GB が標準になります。 Chrome はよりハングリーになり、Electron アプリ (Slack、Discord) は急増しますが、一般的な生産性の限界は 8 GB です。
• 2023: Apple は 8GB RAM を搭載した M3 MacBook Pro を \1,599 でリリースします。評論家や専門家は「容認できない」と反発するが、Appleは「Macの8GBはWindowsの16GBに等しい」と主張して擁護している。

この主張は、メモリ効率が統一されているため、ビデオ編集では正しいかどうか議論の余地がありますが、AI では当てはまりません。 80 億パラメータ モデルでは、macOS 上か Windows 上かは関係ありません。数学的に固定されたスペースが必要です。 8GBは8GBです。

2024 年、物語は急速に変化しました。 Microsoftは、次世代Windowsラップトップのハードウェア標準である「Copilot+ PC」仕様を発表した。要件は厳格でした。

• NPU: 40+ TOPS (1 秒あたりの数兆のオペレーション)。
• RAM: 最小 16GB。

8GB RAM を搭載した Copilot+ PC はありません。それは存在しません。 Microsoft は、自社の OS と AI モデルのテレメトリーを知っており、砂の中に一線を引きました。彼らは、8GB では意図したエクスペリエンスを提供できなくなっていることを業界全体に知らせました。

NPU のボトルネック

これには、統合メモリという別の層があります。

最新の「AI PC」（Snapdragon X Elite、Apple Silicon、Intel Core Ultra）では、NPU（Neural Processing Unit）が CPU および GPU とメモリを共有します。 AI チップ専用の VRAM はありません。

つまり、そのピカピカの新しい NPU を使用して 4K で背景をぼかしたり、画像を生成したり、ライブ翻訳エージェントを実行したりする場合、そのメモリはシステム RAM から直接使用されることになります。

まさにこの理由から、ビデオ カード (GPU) には何十年も専用の VRAM が搭載されてきました。ゲーム用 PC には、16 GB のシステム RAM * に加えて * 8 GB のビデオ RAM が搭載されている場合があります。最近のラップトップには 合計 16GB が搭載されています。 AI が 4GB を使用し、GPU が表示バッファーと UI に 2GB を使用すると、CPU はスクラップを求めて戦うことになります。

共有グラフィックスと NPU を備えた 8GB マシンでは、アプリケーションに「使用可能な」メモリが 3GB または 4GB 程度になる可能性があります。これは、生産性ワークフローはおろか、タブを 5 つ開いた最新の Web ブラウザを実行するにはかろうじて十分です。

将来を見据えた分析: 32GB は新しいロジックです

現在、AI を 実行する ために 16 GB が広く受け入れられている最小値である場合、将来に備えて何を購入する必要がありますか?

答えは 32GB になることが増えています。

ローカル モデルが賢くなるにつれて、規模も大きくなります。すでに、効率化を図る「量子化を意識したトレーニング」や「専門家の混合」（MoE）モデルが登場していますが、インテリジェンスに対する需要は無限です。ユーザーは以下を実行したいと思うでしょう:

1. テキスト要約エージェント (バックグラウンド)。
2. コーディングアシスタント (IDE 内)。
3. 音声文字起こしサービス（会議）。

OS とブラウザで複数のモデルを同時に実行すると、朝食に 16 GB を消費します。

私たちは、3 年前のコンピューターでは最新のソフトウェアを実行できなかった 2000 年代初頭と同様のハードウェアの陳腐化のサイクルに入りつつあります。過去 10 年間、前年比の増加はわずかでした。 2018 年のラップトップは、現在でも Web ブラウジングに問題ありません。

しかし、2018 年のラップトップ、あるいは 8 GB の RAM を搭載した 2023 年のラップトップでも、ローカル AI 革命に参加することはできません。これは、次の OS アップデートの定義機能から機能的に切り離されます。

評決: 今ラップトップを購入する場合は、8GB を購入しないでください。友達に8GBを買わせないでください。それは予算のオプションではありません。それは行き止まりです。この 10 年で初めて、ベースモデルを購入するのは倹約的なだけでなく、間違いです。