8GB의 죽음: 로컬 AI가 당신의 노트북을 망가뜨린 방법

10년 넘게 8GB RAM이 “충분히 좋은” 표준이었습니다. 학생, 직장인, 심지어 가벼운 창작자에게도 안전한 기준이었습니다. Apple은 2012년부터 2023년까지 MacBook에 기본 사양으로 판매했습니다. Windows 노트북은 탐색과 스프레드시트를 위해 8GB 영역에서 편안하게 살았습니다.

그 시대는 끝났습니다. 웹페이지가 커졌다고 해서 끝난 것이 아닙니다. 우리가 컴퓨터를 사용하는 근본적인 방식이 데이터 검색에서 데이터 생성으로 전환되고 있기 때문에 종료되었습니다.

“AI PC”와 로컬 LLM(대형 언어 모델)의 등장으로 하드웨어에 대한 새로운 하드 플로어가 도입되었습니다. Microsoft의 Copilot+ 표준에서는 16GB RAM을 요구합니다. Apple의 M4 Mac은 마침내 16GB부터 시작합니다. 이는 단순한 상향 판매 마케팅이 아니라 물리학의 문제입니다. 8GB 머신에서 최신 로컬 AI를 실행하려고 하면 단지 느리게 실행되는 것이 아닙니다. 효과적으로 부서집니다.

8GB 노트북이 벽돌이 되는 이유에 대한 기술적 현실은 다음과 같습니다.

”벽돌”의 수학

8GB가 사라진 이유를 이해하려면 LLM(대형 언어 모델)이 메모리를 어떻게 사용하는지 살펴봐야 합니다. 사용하지 않을 때 SSD(스왑 파일)에 느리게 기록될 수 있는 브라우저 탭과 달리 LLM이 작동하려면 활성 고속 RAM에 상주하는 “가중치”(지능을 정의하는 매개변수)가 필요합니다.

Llama 3 8B 또는 Microsoft의 Phi-3과 같이 사용 가능한 4비트 양자화에서 실행되는 표준 “소형” 로컬 모델의 수치를 살펴보겠습니다.

$$\text{Model Size} \approx 8 \text{ Billion Parameters} \times 0.5 \text{ Bytes (4-bit)} \approx 4.0 \text{ GB}$$

괜찮은 것 같죠? 8GB가 있습니다. 계산 결과를 확인합니다: $ 8 - 4 = 4 $. 4GB 남았습니다.

틀렸습니다.

운영 체제를 잊어버렸습니다. Windows 11은 몇 가지 백그라운드 서비스를 사용하여 유휴 상태일 때 4GB~5GB의 RAM을 쉽게 소모합니다.

$$\text{Total Required} = \text{OS (4.5 GB)} + \text{Model (4.0 GB)} + \text{Context Cache (0.5 GB)} = 9.0 \text{ GB}$$

이제 웹 브라우저를 열기도 전에 메모리 사용량이 112%에 도달했습니다.

교환 죽음의 나선

필요한 메모리가 실제 RAM을 초과하면 운영 체제는 데이터를 SSD의 “스왑” 또는 “페이지 파일”로 이동합니다.

최신 NVMe SSD의 읽기 속도는 5GB/s 또는 7GB/s 정도로 빠릅니다. 그러나 RAM은 훨씬 더 빠르며 종종 60GB/s에서 100GB/s를 초과합니다. 더 중요한 것은 대기 시간(데이터를 찾는 데 걸리는 시간)이 가장 큰 원인이라는 것입니다.

LLM이 텍스트를 생성할 때 생성된 모든 단일 토큰에 대해 가중치를 반복적으로 검색합니다. 해당 가중치가 스왑 파일에 있으면 CPU/NPU는 일시 중지하고 SSD가 데이터를 가져올 때까지 기다려야 합니다.

• RAM 액세스: Naposeconds.
• SSD 액세스: 마이크로초(1000배 느림).

결과는 “스왑 스래싱(Swap Thrashing)“입니다. 시스템은 실제로 컴퓨팅하는 것보다 RAM과 SSD 사이에서 데이터를 이동하는 데 더 많은 시간을 소비합니다. 초당 토큰 수가 대화식 20T/s에서 고통스러운 0.2T/s로 떨어집니다. 커서가 멈췄습니다. 오디오가 끊깁니다. 프로세스를 종료할 때까지 머신은 “벽돌화”됩니다.

맥락적 역사: 8GB의 기나긴 노을

8GB 표준은 놀라울 정도로 탄력적이었습니다.

• 2012: MacBook Pro Retina는 프리미엄 기본 사양으로 8GB를 탑재하여 출시됩니다. 대부분의 경우 과잉이었습니다.
• 2016~2020: 8GB가 표준이 됩니다. Chrome은 점점 더 배고프고 Electron 앱(Slack, Discord)은 급증하지만 일반적인 생산성을 위해서는 8GB가 한계를 유지합니다.
• 2023년: Apple은 8GB RAM을 탑재한 M3 MacBook Pro를 $1,599에 출시합니다. 평론가들과 전문가들은 이를 “용납할 수 없다”며 반발했지만, 애플은 “맥의 8GB는 윈도우의 16GB와 같다”고 주장하며 이를 옹호했다.

이러한 주장은 통합 메모리 효율성으로 인해 비디오 편집에 있어서는 논쟁의 여지가 있지만 AI의 경우에는 맞지 않습니다. 80억 매개변수 모델은 macOS인지 Windows인지 상관하지 않습니다. 수학적으로 고정된 공간이 필요합니다. 8GB는 8GB입니다.

2024년에는 이야기가 빠르게 바뀌었습니다. 마이크로소프트(MS)가 차세대 윈도우 노트북 하드웨어 표준인 ‘Copilot+ PC’ 사양을 발표했다. 요구 사항은 엄격했습니다.

• NPU: 40개 이상의 TOPS(초당 수조 개의 작업).
• RAM: 최소 16GB.

8GB RAM을 갖춘 Copilot+ PC는 없습니다. 존재하지 않습니다. 자체 OS 및 AI 모델의 원격 측정을 알고 있는 Microsoft는 모래 위에 선을 그었습니다. 그들은 8GB가 더 이상 의도한 경험을 제공할 수 없다는 것을 업계 전체에 알렸습니다.

NPU 병목 현상

여기에는 통합 메모리라는 또 다른 레이어가 있습니다.

최신 “AI PC”(Snapdragon X Elite, Apple Silicon, Intel Core Ultra)에서 NPU(신경 처리 장치)는 CPU 및 GPU와 메모리를 공유합니다. AI 칩 전용 VRAM은 없습니다.

즉, 반짝이는 새 NPU를 사용하여 4K에서 배경을 흐리게 하거나, 이미지를 생성하거나, 실시간 번역 에이전트를 실행하려는 경우 해당 메모리가 시스템 RAM에서 직접 나옵니다.

이러한 이유로 비디오 카드(GPU)는 수십 년 동안 전용 VRAM을 사용해 왔습니다. 게임용 PC에는 16GB 시스템 RAM *+ 8GB 비디오 RAM이 있을 수 있습니다. 최신 노트북의 용량은 총 16GB입니다. AI가 4GB를 차지하고 GPU가 디스플레이 버퍼와 UI를 위해 2GB를 차지한다면 CPU는 스크랩을 위해 싸우게 됩니다.

공유 그래픽과 NPU가 있는 8GB 시스템에서 애플리케이션에 “사용 가능한” 메모리는 3GB 또는 4GB 정도로 낮을 수 있습니다. 이는 생산성 워크플로는 물론이고 5개의 탭이 열려 있는 최신 웹 브라우저를 실행하기에도 충분하지 않습니다.

미래 예측 분석: 32GB가 새로운 논리입니다.

현재 AI를 실행하는 데 널리 인정되는 최소 용량이 16GB라면, 미래에 대비하려면 무엇을 구입해야 할까요?

대답은 점점 32GB입니다.

지역 모델이 똑똑해지면 크기도 커집니다. 우리는 이미 효율적이려고 노력하는 “양자화 인식 훈련” 및 “전문가 혼합”(MoE) 모델을 보고 있지만 지능에 대한 수요는 무한합니다. 사용자는 다음을 실행하고 싶어합니다.

1. 텍스트 요약 에이전트(배경).
2. 코딩 도우미(In-IDE).
3. 음성 녹음 서비스(회의).

OS 및 브라우저에서 여러 모델을 동시에 실행하면 아침 식사로 16GB가 소모됩니다.

우리는 3년 전의 컴퓨터가 최신 소프트웨어를 실행할 수 없었던 2000년대 초반과 유사한 하드웨어 노후화 주기에 진입하고 있습니다. 지난 10년 동안 전년 대비 이익은 미미했습니다. 2018년형 노트북은 오늘날에도 여전히 웹 검색에 적합합니다.

그러나 2018년형 노트북은 물론 8GB RAM을 탑재한 2023년형 노트북도 로컬 AI 혁명에 참여할 수 없습니다. 다음 OS 업데이트의 정의 기능에서 기능적으로 차단됩니다.

평결: 지금 노트북을 구입한다면 8GB를 구입하지 마십시오. 친구가 8GB를 사지 못하게 하세요. 이는 예산 옵션이 아닙니다. 그것은 막다른 골목이다. 10년 만에 처음으로 기본 모델을 구입하는 것은 단지 절약이 아니라 실수입니다.