第137章 方案顺利通过验证

“老婆，你先带着女儿玩一会儿，我去书房处理点儿工作，就一会儿！”思路涌来，郝成回到家不工作的承诺又要食言了。

“十点！”宁荟能怎么样呢，还不是得由着他。

“用不了，最多一个小时！”郝成伸出一根手指指着灯：“我保证！”

“德性！”宁荟笑骂了一句，心里也是感叹：忙点就忙点吧，至少比起去年，这看起来开朗了许多。

……

今天确实不费什么脑筋，因为相关的知识早就在从前整理过了，只是当初没有重视。

来到书房，稍微翻一下之前记录下来的东西，郝成的思如泉涌，一下子就全都冒了出来。

如果说模型的训练提升是在做加法，让模型变得更大更强，那裁切、量化、蒸馏就是在做减法。

很多人可能会有疑问，做减法，那不是让模型变得更弱了吗？

理论确实是这样，但有时候，弱不弱的其实不是特别重要，只要使对了劲儿，一样能造的嗷嗷叫，发挥很大的作用。

比如，有些神经元节点的权重非常小，对模型加载信息的影响微乎其微，切掉它们，精度不会降太多，但却能大大的减少资源消耗。

还有，像小沙这样全量全知全能的模型，其部署和每一次的相应运算推理，都需要消耗较大的算力资源。但事实上，每一次都是确有必要的吗？

显然并不是！

就拿小沙现在应用最广的软件开发能力来说，它就只需要精准需求的理解以及代码编写能力就够了，至于慢慢在增强的情感映射、主观判断等能力映射这些，那就完全没有必要！

不仅消耗了更多的算力，还拖慢了相应速度。

而且即便是需要的部分，也可以分层去处置：

还是拿软件开发能力来说，最粗略的，那就可以分为两部分：一部分是需求理解，另一部分是根据需求去做开发。

而这第二部分，那就只需要一个“软件开发”的行业模型就够了。

所以，先在输入端就将用户

需求分解，然后将小沙按需裁切为软件开发、法律服务、安全服务等小模型，根据分解的需求去调用其中一个，或者几个。

就比如之前被视为经典案例的小沙第一次庭审，那次的应对也不过是需要三个基础能力：语义理解、法律服务、软件开发能力。

只有极少数的情况，才需要去动用小沙的全量模型。

即便需要全量模型，全程调用全量模型，和只在有需要的步骤去调用全量模型，消耗的资源也是大相径庭的，但结果可能是一模一样。

……

“训练提升难住我了，裁切蒸馏还不是手拿把掐！”

深夜课堂学了这么久，郝成还是有几把刷子的，微意识体的模型训练力有未逮，但压缩郝成还是有办法的。

更何况，郝成还有小沙这个绝佳的辅助工具。

“小沙，帮我统计并分析一下所有的用户行为，并将他们最常使用的能力和功能分类列举出来，从大到小进行排序。”

原本就这个工作量，没有十天半个月都不可能完的成，但现在有小沙，所需时间顿时缩短到顷刻间。

郝成现在的思路就是：将小沙完全体作为全量模型，压阵，轻易不出，只有当问题确实解决不了了，才转到这里。

然后就是分门别类，根据分类将小沙分别压缩成若干个各自领域和专业的小模型。

后续，用户请求，就先经过甄别，由对应领域的小模型处理。

比如，与人的交互，当然是语言模型最先接手，然后一步一步去处理。

至于AI使用元素级应用、AI保障网络完全、AI开发应用和软件等等这些，第一步就可以省了——AI与机器的交互，还通过语言模型再转一道，除了消耗资源之外，毫无意义。

……

第一个阶段方案的雏形迅速的被设计了出来。

这个阶段，郝成也不求精，就干一件事儿——裁剪，也就模型剪枝。

比如，第一个要做的小模型：语言识别。

那就把除语言

识别能力以外的能力全剪掉，你只需要识别语音，转成文字就可以了，连理解都不需要，那是第二个模型的事儿。

依照这样的理论，在郝成的指导下，小沙本“人”操刀，一个又一个的专业或者复合小模型迅速诞生。

……

翌日上午，一到公司，郝成就喊来了曹松：“将我们办公区这儿的这个算力服务器腾出来，负载节点直接停了就行，会自动分流到其他服务器。”

这个算力中心还是最初来自华为，总体规模也比较小，现在原本承担的任务就不算多，郝成准备直接停掉它的对外服务，作为内部AI训练的实验来使用。

也借此机会对自己使用的小沙和对外提供服务的小沙提供一个物理区隔。

而今天，郝成要做的，就是试试小沙昨夜工作了一夜的成果。

“对了，不要用小沙，你手动去操作。”

“好的！”曹松应着，刚他还纳闷呢，像这种操作喊小沙就是一句话事儿，为什么还喊自己来干，郝成这么指示，他才恍然大悟：

按照最近节点优先的原则，在这儿呼唤小沙，大概率接入的就是这个服务器，让小沙操作把这个运行它自己的服务器给停了，容易造成不可预知的后果。

约莫半个小时过后，郝成接到了曹松已经处理完成的消息，迅速的让小沙配合自己，将一个又一个的具有专业能力的小模型分别部署。

然后，将自己手机所用的设备，包括手机、平板、软件开发接口服务等直接跳过分发负载，指定指向创新创业中心这边这个服务的IP入口。

“小沙，你怎么样？”郝成开口询问。

【在呢，一切如常。】小沙回复道。

郝成也是如往常一样呼唤着小沙，让他帮自己处理各种各样的事务、中转各种各样的审批和消息，一个上午下来，和往常并没有任何能够感知到的差异。

“方案顺利通过验证！”

郝成已经初步下了这个结论，而下一步就是要严谨的测试，看它究竟能够节省多少算力资源了。