DeepSeek-V3对决全球顶尖模型：打破1亿美元壁垒

AI 行业一直建立在一个昂贵的假设之上:规模是唯一的护城河,算力是唯一的货币。两年来,路线图再清晰不过:先砸 $1 亿,再砸 $10 亿,然后是 $100 亿,用 H100 集群靠蛮力堆出智能。

DeepSeek-V3 刚刚打破了这个假设。

DeepSeek-V3 由一家中国研究实验室悄然发布,据称在 MATH 和 LiveCodeBench 等关键基准测试上可与 GPT-4o 和 Claude 3.5 Sonnet 相媲美。但性能并不是重点,重点是价格。DeepSeek 声称,这个拥有 6710 亿参数的庞然大物,训练只花了约 $560 万的算力费用。

如果这个数字属实,生成式 AI 行业的财务逻辑就被彻底颠覆了。业界正在见证大语言模型的”Linux 时刻”——架构上的精巧胜过纯粹的蛮力,硅谷巨头的专有护城河开始消退。

反叛简史:从 LLaMA 到 DeepSeek

要理解这次发布的分量,需要把它放在自 2023 年以来愈演愈烈的”开源与闭源”之争中来看。

第一阶段:泄露(LLaMA-1)

2023 年 2 月,Meta 的 LLaMA-1 模型被”泄露”到 4chan。研究人员第一次可以在自己的硬件上运行 GPT-3 级别的模型。它引发了微调领域的”寒武纪大爆发”(Alpaca、Vicuna),证明了更小、更优化的模型也能以弱胜强。但与 GPT-4 相比,它仍然只是个玩具。

第二阶段:挑战者(Mistral 与 Llama 3)

随后,Mistral Large 和 Llama 3 登场。这些模型缩小了差距,达到了 GPT-3.5 或 GPT-4 Turbo 的水平。它们证明了开放权重不只属于爱好者,也适用于企业级应用。不过,它们仍然是在庞大的传统集群上训练出来的,训练成本依然高达数千万美元。

第三阶段:效率冲击(DeepSeek-V3)

DeepSeek-V3 标志着第三阶段的到来。它不只是”就开源模型而言很不错”,而是声称在各方面都达到了最先进(SOTA)的水平。更关键的是,它做到这一点时没有 Meta 或微软那样近乎无限的预算。通过优化架构本身,DeepSeek 证明了算法创新 > 原始算力规模。

效率悖论:突破”缩放定律”

要理解为什么 DeepSeek-V3 让闭源实验室不寒而栗,就必须看看它的内部构造。如今大多数大语言模型要么是稠密模型,要么是标准的混合专家(MoE)模型,它们烧显存就像蒸汽机车烧煤一样。

DeepSeek 并不只是训练了一个更大的模型,而是改变了引擎的物理原理。

多头潜在注意力(MLA):内存压缩器

DeepSeek-V3 的杀手级特性是多头潜在注意力(Multi-Head Latent Attention,MLA)。在传统的 Transformer 模型中,键值(KV)缓存是一个”内存吸血鬼”。随着上下文窗口增大(例如 128k token),存储特定”键”和”值”所需的内存会爆炸式增长,迫使研究人员为了提供推理服务而购买更多 H100。

MLA 对这个缓存进行了压缩。它不再存储完整的 Key 和 Value 头,而是将它们投影为低秩潜在向量。

$$\mathbf{c}_{KV} = \mathbf{x} W_{DKV}$$

MLA 存储的是注意力数据的压缩”摘要”,而不是原始数据本身,与标准架构相比,可将 KV 缓存大小减少近 93%。这让 DeepSeek-V3 能够在明显更少的 GPU 上运行,同时保持长上下文性能。对于一个痴迷于”每秒 token 数”(TPS)成本的行业来说,这堪称圣杯。

DeepSeekMoE:专家集群

DeepSeek 还改进了混合专家(MoE)架构。标准的 MoE 模型会把查询路由给前 k 个专家(例如”编程专家”或”历史专家”)。然而,传统 MoE 存在”专家坍塌”问题:少数专家承担了全部工作,其余专家却闲置不用。

DeepSeek-V3 采用了更精细的方法:

1. 细粒度专家:它不使用 8 个庞大的专家,而是把功能拆分成更细的切片(例如 64 个路由专家)。
2. 共享专家:它将某些专家指定为”始终开启”的共享资源,用来捕捉通用知识,避免出现”知识孤岛”问题,即专业化的专家与通用语法或逻辑脱节。

结果如何?一个拥有 6710 亿参数的模型,每个 token 只激活 370 亿参数。它拥有巨人的脑容量,却只有幼儿般的”卡路里”消耗。

无辅助损失的负载均衡

其中一项技术性最强、影响也最大的创新,完全在于训练稳定性。通常,为了确保 MoE 中所有”专家”被均衡使用,研究人员会加入一个”辅助损失”函数——如果模型忽略了某些专家,就会受到惩罚。

问题在哪?这种惩罚会损害模型的实际性能。它迫使模型为了满足配额而使用”次优”的专家。DeepSeek-V3 引入了**无辅助损失(Auxiliary-Loss-Free)**的负载均衡。它不再惩罚模型,而是动态调整每个专家的”偏置”项。如果某个专家负担过重,调用它的”成本”就会略微上升,自然会促使路由器转向别处,同时不会削弱梯度的聚焦。

FP8 混合精度:突破速度极限

$560 万的训练成本数字,在很大程度上依赖于他们对 **FP8(8 位浮点数)**精度的使用。

过去,模型通常以 BF16(16 位)精度训练。FP8 能将矩阵乘法的内存占用和带宽需求特别地减半。虽然 NVIDIA 的 H100 支持 FP8,但由于不稳定性(数值溢出),很少有实验室成功地完全用 FP8 训练前沿模型。

DeepSeek 攻克了这个难题。通过采用细粒度量化策略(将缩放因子分块应用于 1x16 的小块),他们既保持了收敛所需的数值精度,又获得了 8 位运算带来的巨大加速。据称,这使他们的训练速度比同等 BF16 训练快了约 40%,直接削减了 GPU 集群的租用账单。

地缘政治的”漏洞”

DeepSeek-V3 的存在,是对美国出口管制的直接挑战。拜登政府 10 月 7 日出台的芯片禁令,旨在通过拒绝向中国提供 NVIDIA 最先进的 H100,把中国的 AI 发展冻结在 GPT-3 时代。

当时的理论是:没有每秒 3.2 太比特的互连速度,就训练不出前沿模型。

DeepSeek 通过针对低带宽通信进行优化绕开了这一限制。通过大幅压缩 GPU 之间传输的数据(使用 FP8 精度和双管道路由),他们在本应”过时”或受技术限制的硬件上训练出了前沿模型。

他们没有突破封锁,而是造出了一辆使用不同燃料的汽车。

性能实况核查

它真的和 GPT-4o 一样好吗?基准测试给出的答案是”是的,基本上是”。

以下是它在”三大”基准测试上的表现:

数据来源于公开发布的技术报告和独立评测框架。

“数学”异常值

MATH 上 90.0% 的得分令人震惊。这表明 DeepSeek 在推理数据集上投入了过多,很可能使用了由其他前沿模型生成的合成数据(蒸馏)。不过,在编程方面,它略逊于 Claude 3.5 Sonnet,后者仍然是开发者的心头好。

细微差别与”手感”

定性测试显示出明显的差异。DeepSeek-V3 比 GPT-4o 明显更”机器人”、更简洁。它缺少 OpenAI 通过 RLHF(基于人类反馈的强化学习)灌输进模型的那种出了名的”创意废话”。在创意写作方面,GPT-4o 依然胜出。而对于纯粹从 PDF 中提取数据呢?DeepSeek 可能确实更好,因为它较少产生”客套寒暄”式的幻觉。

食租者时代的终结?

行业正在告别”模型即服务”的时代。如果一次 $560 万的训练就能有效复制一次 $1 亿训练的产出,那么 OpenAI 和 Anthropic 的利润空间就岌岌可危了。

Token 经济学

目前,OpenAI 对 GPT-4o 的收费约为 每百万输入 token $2.50。 DeepSeek API 对 V3 的定价约为 每百万输入 token $0.14。

这是 17 倍的价差。

对于构建 RAG(检索增强生成)流水线的初创公司来说,这不是边际上的优化,而是商业模式的助推器。那些在 GPT-4o 上”太贵而做不起”的应用(例如针对每次查询读取整个法律文献库),在 DeepSeek 上突然变得轻而易举。

前景展望:2026 年及以后

DeepSeek-V3 证明了,打造一个”神”并不需要万亿美元,你只需要更好的数学。

展望 2026 年,AI 公司的区分因素将不再是”谁拥有最好的模型?”——这一差距正在缩小到零。真正的区分因素将是集成与信任。

美国国防承包商能放心地把自己的专有代码库交给中国的模型吗?答案是”不能”。但对于柏林一位白手起家的 SaaS 创始人来说,答案是”当然可以”。

护城河已经消失。闸门已经打开,水位正在迅速上涨。

资料来源 (3)

• arxiv.org DeepSeek-V3 Technical Report
• github.com DeepSeek-V3 GitHub Repository
• llm-stats.com Comparisons: GPT-4o vs DeepSeek-V3