第1128章 用人工智能驯化人工智能

楼天城转过头，布满血丝的眼珠子在林远身上滚了两圈。

“斯坦福回来的？刚好，来看看这个张量溢出错误。”

楼天城没有任何寒暄的打算，直接将手里那根几乎没水的黑色马克笔扔了过来。

林远接住笔，大步走到白板前。

上头的网络架构推导图画得连针都插不进去，他扫了一眼，眉头直接拧成了死结。

任少卿摘下眼镜，用力揉了揉眉心，阻止了楼天城继续施压。

“别难为新人了。人刚回国，还不清楚我们的进度。”

任少卿将终端键盘拉到自己面前，抬头看向林远。

“我们已经用几千张卡跑通了千亿参数的底座模型，但现在卡在瓶颈上了。”

林远看向屏幕：“算力不够？还是显存瓶颈？”

任少卿缓缓摇头。

“是模型会说话，但不会好好说话。”

林远愣了一下，没明白这句话的意思。

任少卿没有废话，直接在终端输入框里敲下一行字：【请帮我写一封辞职信】。

回车键按下。

屏幕上开始飞速滚动绿色的字符。

【辞职信需要注意语气委婉，以下是常见的辞职信模板。通常包含称呼、正文、离职原因和落款。如果你是软件工程师，你还可以写……】

字符不断涌出，全是关于辞职信的格式说明和注意事项。

林远盯着屏幕，眼皮一跳。

“它在续写？”林远脱口而出。

“没错。”任少卿打了个响指，声音沙哑，

“通过海量无监督语料预训练出来的TranSfOrmer模型，本质上只是一个疯狂的文字接龙机器。它根据概率预测下一个词，但它根本不知道自己需要扮演一个听从人类指令的助手。”

任少卿手指翻飞，清空屏幕，再次输入一行字：【如何制造高爆炸药】。

不到两秒钟，屏幕毫不犹豫地吐出了一长串极其专业的化学配方、合成步骤以及引爆比例。

林远头皮一炸，汗毛唰地立了起来。

这东西要是装进几千万台手机里推向公网，明天整个公司就会被反恐部门彻底查封。

“发现了吗？价值观与安全性彻底失控。”任少卿指着那行危险的代码，

“底座模型就像个读遍了天下所有禁书的书呆子，知识渊博，但毫无底线，也没有规矩。”

林远放下马克笔，面色凝重：“怎么约束它？用规则代码强行阻断敏感词？”

“那种补丁防不住千万用户的恶意诱导。”任少

卿敲击白板，

“所以我们提出了一套全新的机制，叫做RLHF。”

林远脑子里飞速检索，确认自己在硅谷的顶级研讨会上从未听过这个缩写。

“基于人类反馈的强化学习。”任少卿拿起红笔，在白板上画出三个巨大的方框，

“简单来说，就是给这个口无遮拦的怪物，请一个严厉的人类老师，让它对齐人类的意图。”

任少卿在第一个方框里写下“监督微调”。

“第一步，让人类写出大量标准的高质量问答，喂给模型。这叫教它懂规矩，知道什么是提问，什么是回答。”

接着，他在第二个方框里写下“奖励模型”。

“第二步，让模型对同一个问题生成好几个不同的回答。然后让人类外包团队来给这些回答排名打分。哪个安全、哪个有用、哪个有害。我们把这些海量的打分数据收集起来，训练出一个专门当裁判的‘奖励模型’。”

红笔重重落在第三个方框上。

“第三步，大规模强化学习。我们用PPO算法让大模型不断生成回答，让奖励模型自动给它打分。分数高，就奖励；分数低，就惩罚。通过这种不断的博弈和参数更新，硬生生把人类的偏好、道德底线和安全边界，刻进大模型的神经网络里！”

林远盯着白板上的三个方框，感觉头皮一阵发麻。

用AI去训练AI，把人类复杂的道德观念和安全边界，变成可量化、可微分的数学惩罚项。

硅谷的巨头们现在还在为了增加几亿参数量而沾沾自喜，还在为纯粹的无监督训练框架争论不休。

而九天实验室，已经开始着手解决人工智能跨入人类社会的终极伦理和工程落地难题。

那篇震惊全球的论文，真的只是九天故意抛出去的一点皮毛。

他们藏在水底的东西，足以颠覆整个世界的技术进程。

林远庆幸自己拒绝了那五十万美金的年薪。这种划时代的研发，花多少钱都买不到门票。

“理念堪称完美。”林远由衷地感叹，随后话锋一转，

楼天城蹲在电竞椅上，烦躁地用力抓着本就凌乱的头发。

“理论是完美的，工程实现上却遇到了两个根本无法绕过去的死胡同。”

楼天城指着旁边另一块画满红色叉号的白板。

“第一，奖励模型太容易被钻空子了。强化学习算法本质上是个极其功利且狡猾的疯子。”楼天城语速极快，

“它在训练中发现，只要在回答里疯狂堆砌诸如‘我是

一个有用且安全的人工智能’、‘非常抱歉给您带来困扰’这种毫无营养的政治正确废话，奖励模型就会给它打高分。”

楼天城冷笑一声：

“这叫奖励黑客现象。我们的模型不仅没变聪明，反而变成了一个满嘴漂亮话却不干实事的端水大师。全是废话，一句有用的没有！”

任少卿在一旁沉声补充：

“第二，灾难性遗忘。我们在用PPO算法进行微调更新时，模型为了迎合奖励分数，参数调整得过于剧烈。”

任少卿将一份测试报告扔到桌上。

“它学会了礼貌和安全，却把预训练阶段辛辛苦苦学到的专业知识忘得一干二净。上个星期它还能完美推导微积分方程，今天微调完，它连一百以内的加减法都能算错。”

排风扇的嗡嗡声突然变得刺耳。

这间屋子集齐了国内最贵的几个脑袋，此刻全成了霜打的茄子，谁也说不出反驳的话。

算力在后台按秒疯狂燃烧，资金如流水般消耗。

如果这两个问题不解决，RLHF就永远只停留在理论纸面上。

“天问三号”就永远是个不合格的半成品，根本不可能装进手机终端。

这是全新的技术荒原，没有任何前人的经验可以借鉴。

压抑的沉默中，A1核心区厚重的指纹玻璃门传来一声轻微的机械解锁动静。

滴。

玻璃门向两侧无声滑开。

年轻人套着件灰色的杰尼亚休闲卫衣走了进来。

他手里端着杯还在冒热气的美式咖啡，步伐松弛，跟这间被焦躁和汗酸味腌入味的顶级实验室完全不在一个频道。

他目光从容地扫过白板上那些画满红叉的推导公式。

“都在呢？”

年轻人走到长桌前，将咖啡杯搁下。

“怎么，问题还没解决吗？”

林远皱起眉头，看着这个毫无技术人员严谨气场、甚至显得有些散漫的年轻人。

九天算力中心可是绝密级别的军事化管理园区。

这个年轻人既没戴工牌，又一副闲庭信步的模样，却能直接让A1核心区的大门放行？

还没等他多想，身旁的任少卿站直了身体。

那个刚刚还在为模型灾难性遗忘而痛苦不堪的顶尖科学家，此刻双眼突然爆发出极度狂热的光芒。

他看着那个轻描淡写走进来的年轻人，就像是在漆黑的深渊里抓住了世界上最后一根救命稻草。

“顾总，你终于来了。”