リンクをコピーしました!

新しいSiriが登場:なぜAppleはまだ追いつくのに苦労しているのか

Appleは、GPT-4クラスのモデルをローカルでiPhoneで実行したいと考えています。物理学的には、財布に穴を開けずにそれを実現するのは不可能かもしれません。

🌐
機械翻訳

この記事は英語の原文から自動翻訳されています。 英語の原文を読む

ローカルLLMを実行しているiPhoneプロセッサの熱視覚化。

ティム・クックが「Apple Intelligence」を発表したとき、その売り文句はシンプルでした。「プライバシー」です。 ユーザーのデータを自社の大規模なサーバーファームに吸い込みたいと考えている OpenAI や Google とは異なり、Apple は AI がユーザーの携帯電話上に存在することを望んでいます。 彼らは「脳」をあなたのポケットの中に入れておきたいのです。

それは高貴に聞こえます。 安全そうですね。 しかし、まだ誰もやっていないのには理由があります。 コードの品質とは何の関係もありません。 これは完全に 熱力学メモリ帯域幅 に関するものです。

AppleはGoogleと戦っているわけではない。 彼らは物理学と戦っているのです。

フック: 「トークン」問題

Siri が 2025 年になっても機能しない理由を理解するには、メモリ帯域幅に注目する必要があります。 LLM は単なる重み (数値) の巨大なファイルです。 70 億のパラメーター モデル (int4 量子化) のサイズは約 4GB です。

1 つの単語 (トークン) を生成するには、プロセッサはその 4GB ファイル全体 を RAM チップから計算ユニットに読み取る必要があります。 20 単語の文を生成するには? その 4GB ファイルを 20 回読み取る必要があります。

詳細: 記憶の壁

これが「メモリ帯域幅のボトルネック」です。

  • 問題: 携帯電話の CPU は高速です (3 GHz)。 しかし、携帯電話のメモリ (LPDDR5X) は遅いです。
  • 計算: iPhone 16 Pro のメモリ帯域幅はおよそ 50 GB/s です。
  • 現実: (人間の読み取り速度を実現するために) 4GB モデルを 1 秒間に 20 回移動する必要がある場合、AI のためだけに80 GB/秒**の帯域幅が必要です。

そのため、残りの電話機の帯域幅は ゼロ のままになります。 これは「UI ジャンク」につながります。 AI が話している場合、スクロールが途切れます。 電話が壊れたように感じます。

熱エンベロープ: 5 ワット vs. 500 ワット

データセンターの Nvidia H100 GPU は 700 ワットを消費します。 溶けるのを防ぐために大規模な液体冷却が行われています。 iPhone の合計熱バジェットは約 5 ワットです。 これを超えると、バッテリーが 45 分で消耗し、ケースが熱くなって持てなくなります。

Apple のエンジニアは、700 ワットのアルゴリズムを 5 ワットのエンベロープに詰め込もうとしています。 彼らはこれを、極端な量子化 (モデルをより愚かにして小さくする) と「投機的デコード」 (3 ワード先を推測する) を通じて実行しています。

しかし、暑さは嘘をつきません。 iOS 19の初期テストでは、AIの使用量が多いと3分後に画面の明るさが暗くなることが示されています。 それはバッテリーを保護するサーマルスロットリングです。

コンテキストの歴史: RAM ケチが再び痛手になる

何年もの間、Apple は RAM をケチってきました。 iPhone の容量は 6GB ですが、Samsung Galaxy の容量は 12GB です。 Apple は、「OS は効率的です。これ以上の RAM は必要ありません。」と主張しました。 彼らは正しかった: アプリの場合。 AIにとって彼らは間違っていた。

AI モデルが応答するには「ホット」 (RAM にロードされた状態) を維持する必要があるため、その 4GB モデルは携帯電話のメモリの 50% を消費します。

  • 結果: Siri に質問すると、携帯電話は Instagram と Safari を「強制終了」して Siri の脳のためのスペースを確保する必要があります。
  • ユーザー エクスペリエンス: Safari に戻ると、ページがリロードされます。

これが、iPhone 18 の RAM が 12GB または 16GB に増加すると噂される理由です。 ゲーム用ではありません。 他のアプリを停止させずに AI の頭脳を生かし続けるためです。

将来を見据えた分析: 「プライベート クラウド」の侵害

Apple は、オンデバイスが品質戦争に負けていることを知っています。 電話機の 3B パラメータ モデルは、クラウド (GPT-4) の 1TB パラメータ モデルほどスマートにはなりません。

だからこそ、彼らは プライベート クラウド コンピューティング (PCC) を構築しました。 それは物理学の敗北を認めることだ。 リクエストが電話にとって難しすぎる場合(熱/メモリ制限)、リクエストは Apple Silicon サーバー ファームに送信されます。 Apple はデータが即座に削除されることを誓います。 ユーザーはそれらを信頼する必要があります。

しかし、未来は純粋な「オンデバイス」ではありません。 ハイブリッドです。

  • Tiny Brain (電話): 「照明をつけて」、「このテキストを読んで」、「タイマーをセットして」を処理します。
  • Big Brain (クラウド): 「上司にメールを書く」、「この PDF を要約する」、「画像を生成する」を処理します。

結論

新しいSiriが苦労しているのは、Appleのエンジニアがコーディングの仕方を忘れたからではない。 「計算」の定義が一夜にして「バースト」(アプリを開く)から「持続」(トークンの生成)に変わったため、苦戦している。 バッテリーの化学的性質やメモリの物理学が変わるまでは、超インテリジェントで完全にプライベートな AI がポケットに入るという夢は、単なる夢のままでしょう。

出典

Advertisement

🦋 Bluesky での議論

Bluesky で議論する

投稿を検索中...