437. 傲慢的代价

孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。

比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。

孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。

由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。

前两个月，DeepSeek已经迭代到了第三代。

逐渐缩小的性能差异并没有引起孟繁岐足够的重视。

而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。

震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。

比如，FP8的成功实现。

孟繁岐有些不相信这个事实。

半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。

孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。

哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。

向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。

针对前向反向采用FP8会带来的许多问题，报告中也知无不言。

在低精度训练框架中，由于 FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到 FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。

孟繁岐也走到过这一步，部分FP8，部分BF16/FP32。仅仅如此是不够的。

DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。

但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。

长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。

孟繁岐回忆起那个时候，欲言又止。

这称得上是错误吗？其实也不见得。

因为closeai的建议为英伟达提供了重要参考。

下一代硬件框架中支持该功能无疑是非常正确的决定。

但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。

另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。

在FP8问题上，孟繁岐与DS是一致的。

在稀疏这一方向上，孟繁岐选择了细粒度，矩阵层面的稀疏。

DS则选择了通道层面的MoE，混合专家模型。

简单来说，DS选择把模型拆分为16/32个专家，就像是把一块蛋糕均分切成16/32块。

每一块都是不同的味道，每一个专家更加专注于不同的知识。

根据具体的情况，会有一个门控系统，来决定哪些专家参与计算。

而孟繁岐的野心更甚，他想要从根本上将整个模型在原子级别拆分，细粒度地对所有权重进行大刀阔斧地裁减，直到原本大小的16/32分之一。

从理论上说，这种方式的上限更高，MoE的稀疏更显得粗糙。

另一方面，孟繁岐也有愿景，想要增强国内硬件的竞争力。

因为英伟达的设备，是无法支持这种细粒度稀疏计算的。

倘若能够先发展国内计算设备，适配这种技术，就能够在制程等诸多硬件技术落后的情况下，达到更快的推理效果。

换言之，孟繁岐又一次将希望寄予了发展周期更长的硬件厂商，那么在这方面被其他人赶上，倒也不是什么奇怪的事情了。

虽然具体实现上稍显不同，但总体来说，DS完成了孟繁岐在技术上的两点宏观展望。

从其余的许多技术细节当中，孟繁岐可以很强烈地读到，他们的开发之路走得也并不顺利。

比如说混合专家MoE，很容易让一两个专家变成懂王，什么都要参与，很多其他的专家渐渐变成了挂件，貌似在参与，其实完全就是围观的观众。

如果增加额外的损失函数去调整它们，既增加了大量计算量，又极有可能影响到训练的主要目标本身。专家们的调度问题这个小问题影响到模型的能力这个主要问题。

DS最终完美地解决了这个问题，既没有额外增添损失计算优化，又使得各专家实现了负载均衡。

孟繁岐相信，这个最终简洁优雅的技术方案背后一定存在许多努力与艰辛。

而现在的closeai对这种付出是越来越排斥的。

比起花费许多的努力在某一个算子上优化20-30%的速度，他们更愿意多用一些显卡，多花一些时间。

既然英伟达暂时不直接支持FP8做这样的操作，那就先等等吧。

诸如此类的事情持续累积，使得后来者已经实质上实现了相当数量的技术超越，甚至是在孟繁岐较为关注的技术方向上。

而DeepSeek的坦率开源，也让孟繁岐动摇了closeai是否继续闭源的想法。

“若是我适当裁减一些已经沉迷安乐的技术人员，逐渐走向开源，对比海对面的OpenAI倒也算是奇景了。”孟繁岐想到这里也是笑出了声。

自从两国关系逐渐微妙，CloseAI的在美使用就收到了限制。原本标榜开源的OpenAI逐渐走向闭源，而最初就闭源盈利的CloseAI反而在考虑拥抱开源盛世。

这倒也称得上是另一种双向奔赴了。

同一时刻，比起一直在关注技术细节的孟繁岐，普通人更为在意的，则是R1这个模型，首次揭露了前沿高性能智能思考问题的逻辑脉络。