的节目，对 GPT 上车可能的应用场景，发表了我们自己的看法。一周之后，蔚来宣布 NOMI GPT 正式开启推送。我们也在第一时间，与蔚来座舱体验负责人、NOMI 交互以及认知的负责人等相关研发人员，就智能座舱迈入大模型时代，进行了沟通。

  GPT 上车，在过去一年里屡次被车企提及。而我们关心的是，一家车企去做大模型，和 OpenAI 这样专门从事人工智能研究的公司，究竟会有什么不同。同时，面对曾在语音助手上有多年积累的百度、华为、小米等入局汽车，蔚来和他们相比有哪些优劣势与差异点呢？

  大家对大模型的了解，很多来自于 ChatGPT 在过去一年的火热。但是，相比这种对通用大模型的基础研发，一家车企做大模型，最本质的不同之处在于，他要让大模型的能力服务于汽车场景的需求，而不是一股脑地将大模型能力 堆 在车上。

  比如文生文、文生图等等大模型的通用能力，如果只是简单地搬运上车，除了在宣发上可以吹吹牛之外，对用户其实没有过大的价值。

  尤其是对蔚来而言，有一个高度拟人化的 NOMI AI系统后，如何让这个 伙伴 更加拟人化，如何更富有情感地与乘员互动，既是蔚来研发的一大难点，但同时也赋予了蔚来智能座舱独一无二的体验。

  而在此次蔚来端云多模态大模型上车后，NOMI 的核心技术架构，得到了全新的升级。具体来看，主要有三项：认知中枢、情感引擎、端侧多模态感知。我们尽可能用通俗的语言，来进行分解。

  这主要是对用户说话中信息的认知，从而进行回应与相应指令的执行。但是，因为 NOMI 有拟人化的需求，这种需求不仅体现在 NOMI 对话的语气更像是真人（而不是机器人），而且要能更准确地判断用户对话的意图与需求，既要聪明执行，更要灵活不打扰。

  举一个很常见的例子，当呼唤语音助手进行导航目的地设置时，会在说 我要去……某某地方 时，中间会间断一下，因为脑海中没有组织好目的地的表达方式。很多的语音助手，就会在这个语气的间断时打断用户，用户就必须重新把指令再说一遍。

  但是 NOMI GPT 的认知中枢，能够在一定程度上帮助 NOMI 等待 用户在间断后说出目的地，再发起导航。因为大模型能够结合对话的上下文，智能地判断调用任务型交互。这是一个技术问题，但反映出来却是一个人性化的体验。

  再举一个例子，在和 NOMI 进行问答时，NOMI 会在给出答案后再加一句类似 你觉得怎么样呢 的互动。这同样也是对对话理解的体现，反映到使用者真实的体验上，就是我并不是在执行指令，而是真正地像在与真人对话一样。

  这是蔚来在汽车行业独创的架构。情感引擎的加持，一方面能够让 NOMI 具备短期记忆和长期记忆的能力，就好像真人去记忆和用户说过的话，记忆用户的喜好，记忆和用户所经历的场景；另一方面也让 NOMI 具备 人设 ，包括性格、三观等等，而不是一个简单的 问答机器 。

  比如，和 NOMI 进行 无限趣聊 时，这个特点就很明显。NOMI 的话语，会让人觉得旁边有一个博学、乐观、谦逊的朋友，而且配合 NOMI 多达 200 余种表情，更能凸显情感属性。再比如，语音设置快捷场景的指令后，NOMI 能够理解这个场景的意图，并且给这个场景起一个符合其氛围的名字。

  端侧，意味着不管有网没网，NOMI 都能发挥大模型能力，也代表着数据信息都会保存在本地，不会泄露出车，并且做到账号隔离。而多模态感知，意味着 NOMI 可以与图像、音频、车身传感器进行融合，从而获得更全面的座舱内外人与环境的感知。

  比如，当驾驶员走进车内，NOMI 就能辨识出今天驾驶员穿的衣服，并在他上车时 吹一顿彩虹屁 夸驾驶员好看。比如，在车里拿起一样物品，就可以问 NOMI，我手里拿的是什么。对于座舱外的其它车辆、建筑、动植物等，NOMI 也可以看见并且对司机的意图进行回应。

  不过，这些能力蔚来并没有一次性全部释放。有一些原因是还需要经过更多的训练学习与测试，有一些则是蔚来出于车端应用场景的考虑。比如问 前面是什么车 ，这个场景除了好玩有趣之外，还有没有其它的价值可以被挖掘？这样的问题其实很多。可能有些厂家的选择是，只要这个功能能够展现我的能力，能够吸引客户的关注，那我就上车。

  但是蔚来会想得更多，哪怕具备了这项能力，但如果功能不能完全体现价值，也暂时不会推送。

  所以，蔚来做座舱大模型，它的核心不仅是要让 NOMI 变得聪明，能够 看得见、认得出 ，更要让他拟人化，领会意图有默契，甚至与人 情投意合 。这种能力，体验不到配置表上，没有真正体验过也很难从文字中感受到什么独特性。但也就是这些一点一滴组合起来，最终将会决定智能座舱大模型能否打动人，成为真正的伙伴。

  不管是小度、小爱还是小艺，发布都已经有七八年了，而百度、小米、华为现在也都进军汽车行业。那是不是意味着，这些科技厂商在语音助手的能力移植到车端，就会对汽车厂商产生降维打击呢？

  或许蔚来并不是这样看，核心还是因为汽车的场景非常垂直，是一个高度依赖优化的场景。

  首先，科技厂商的语音助手，此前最大的优点是开放问答和闲聊。但是，当有了大模型加持后，这项优势事实上已经被填平了。因为所有的技术架构，都需要在大模型的基础上重新建构，所以大家在这方面已经来到了同一起跑线。

  其次，车载语音助手比拼的不仅是基础能力，更是对座舱的理解，是能力和车的场景怎样去深入结合。这方面，蔚来因为更早进入，因为积累的用户和数据足够多，反而是有优势的。

  举个例子，蔚来现在已经实现的，包括 NOMI 记事提醒、全舱乘员记忆等等，都是行业首创的功能，而且是和用车场景紧密相关、可以被高频使用的功能。

  而且，车里的环境，包括环境噪声、对话的位置与声场，其实和在家里和一个智能音箱对话，有很大的差异。而这些又直接关乎车载语音助手的响应速度、灵敏性、准确性等一系列非常影响体验的指标。这样一个时间段就会发现，并不是简单地把手机或者智能音箱上的能力搬到车上，就能让人觉得好用、想用的。

  所以，面对科技厂商进军汽车行业可能在座舱AI领域产生的影响，蔚来其实思考得很早，也思考了很多。至少到现在，蔚来仍然会按照自己的想法与节奏，去推进 NOMI GPT 的能力与功能释放，而不是被短暂的炫技所影响。

  在沟通中，蔚来的研发人员分享了两个数据。第一个数据，是 NOMI 在蔚来销售车辆中的选装率，达到了 80%。第二个数据，则是在 GPT 的用户内测中，和 NOMI 闲聊的对话比例，从 GPT 前的 3% 提升到了 18%。蔚来的研发人员甚至预期在 3-5 年内，随着大模型能力的持续提升，这个比例能够达到 50%。

  此时，我们对车载语音助手，对智能座舱的认知，其实已经不简单是一个 不用动手、只用动口 的命令执行工具，而是一个拟人化的伙伴。而且这个伙伴的作用，不仅仅局限在以座舱为中心的内外环境，还能轻松实现与产品、服务、社区等的打通，成为蔚来全程体验中一个不可或缺的环节。

  所以，GPT 上车只是其中的一小步，是在底层技术架构上的部署。后续的场景应用、场景优化、跨域打通，事实上可以做的事情非常多，能想象的空间也非常大。