6月15日，在第十六届中国汽车蓝皮书论坛智能座舱专场，同济大学汽车与设计学院双聘教授、人车关系实验室创始人马钧以“从HMI到HAI，智能座舱变革机遇”为题发表演讲。

  他表示，“人智交互是智能座舱下半场卷的方向，也就是个性思维的愉悦，意义如何在交互当中得到体现，如何突破瓶颈，做一个可进化的产品，这是我们这个行业要做的事情。”

  马钧还分享了人智交互的三大突破点：一是功能层，从伪情境到情境；二是内容层，从伪个性化到个性化；三是表现层，从单模态到多模态。此外，根据P-CAFE智能座舱大模型评价体系，马钧还分享了他在车辆实际评测过程中的一些发现。

  感谢大家，今天又站在这儿跟大家伙儿一起来分享整个去年的一些思考，包括一些理论、方法和新概念。智慧也好，智能也好，确实这几年如火如荼。今天我刚刚从机场下来，看到机场的广告牌变成叫智慧月子，我在那边站了5分钟，我想看那张图上面智慧在哪儿？现在大家都在谈智能、智慧，但真正跟客户痛点结合的智慧并不多，所以这也是汽车行业的一个方向。

  我相信无论是英伟达也好、苹果也好，我不知道多少人最近追股票追到了？我觉得能够买的是英雄，5月份到现在短短的一个月又涨了快一倍，这个有没有洞察力就是我们这个行业要看的事情。

  我们站在非常好的蓝海的前沿，我们谈到智能座舱是HMI是人机交互，现在我们谈的不是人机交互而是叫人智交互，所以什么是人智交互，就是今天演讲的一个主题。

  图上看到那么多的字，无论是同质化、新设计理念、健康、个性化生态，每个单词如果拿出来，我相信汽车行业所有的老总都能跟你讲一天，但是里面的优先级怎么办？哪个才是我们真正的最严重的问题或者这个行业的新赛道、新蓝海，这是我们应该讨论的。

  在最近跟主机厂很多的同事在讨论的过程中，都在问“马老师我们已卷到现在，钱也赚不了了，今年会卷什么？或者下半场我们卷什么”？我告诉他们，“你卷也得卷，不卷也得卷，一定卷智能”。

  所以在讲这个智能之前，我在前两年的论坛当中经常用使用者真实的体验的金字塔，但是我在做的过程中发现仅仅是用户金字塔，从本能、行为一直到反思层的解释，最后到产品的本身落地还不强，所以我们现在借用的是用Stephen P Anderson的这套情感化交互设计，把它分成了6层。

  从第一层的可靠到可用，可靠是里面有很多坑，一直到最后没有坑，怎么样走直线等等。这个是Anderson把产品进化的成熟度在做评价体系的时候当时拿出的一套方法论，我们借鉴了一下，我觉得特别有用。

  我们现在的汽车行业到底处在哪个阶段？我们恰恰是处在面临着愉悦和易用的前沿，这恰恰是我们现在的前沿。所以当我们谈到传统人机交互的HMI更多的核心是人去学习产品，所以我们大家常常会谈到学习成本、学习周期等等，但实际上到了现在这个时代，到了智能的时代，我们该去谈的不是我们去学习产品，而是产品来适应人，所以这就是我们现在谈人智交互的新概念叫Human intelligence interaction，所以人智交互是我们下半场卷的方向。也就是个性思维的愉悦、意义如何在交互当中得到体现，突破瓶颈，做一个可进化的产品，就是我们这个行业要做的事情。

  从用户体验升级的角度来思考，我们从最早关注功能到后来关注体验，传统的体验定义我们从始至终讲的是“静态”的体验，这个“静态”是引号的，很多人谈车是出行的工具，现在在下半场的时代，我们大家都希望能够跟他们谈的是赋予这种体验的生命体，所以我们把生命和智能写在AI加智能座舱的一个方向。

  谈好一个理念，我们怎么去突破它？作为一个主机厂或者作为一个Tier1的同事们，我们怎么来定义我们自己的产品，我们的瓶颈到底在哪里？左边可以看一下Garrett使用者真实的体验的五层模型，也是使用者真实的体验开始。我们大家都认为HAI也就是人智交互会有三个最重要的突破点：

  第一个，底层的范围层里会从伪情景到真情景。当我们在谈到场景，就已经谈了好几年，都是我们预设的场景，但是什么是我们真正的真场景？是我们第一个突破点，突破AI。

  第二个，是框架/结构层的伪个性化，伪个性化可以翻译成另外一个预设，叫做预设的个性化。但是如何实际做到用户的个性化，是我们AI可以做的第二个点。

  第三个，如何从单模态交互到多模态交互，他们之间怎么协同？用AI能够在一定程度上帮助解决。

  我们分别来看一下，什么是伪情境？伪情境是基于情绪化的情境，所以经常有很多主机厂说我做了大量的场景，我做了上千个场景，但是真正用户要的是什么？我不能什么场景都做，所以我们现在也希望能够通过AI，让我们的企业来做减法。所以真情景是基于用户深度理解的真情景，也就是说我们主动提示。

  我们刚才举了一个下单的例子，主动提示要不要催单？当你现在来说恶劣的天气配送延迟请谅解，或者到最后的未来我们大家都希望是补偿优惠券，安抚用户的情绪。机器能够来告诉我们，我们的方向。所以真情景是基于深度理解和时间和空间是有上下文概念的，所以我们强调的情境一定是可以溯源，可以被预测，这是第一个突破层。

  第二个是伪个性到真个性。视频里面是一个NPC的角色，他的回答是用生成式AIGC根据玩家的语音输入而实时生成的，而不是每一个玩家最后都是在听一样的反馈。所以这个时代，才是真个性化的时代。所以下面看到的如果我们在做用户体验设计的时候，左下角的预设定的定义内容能够最终靠AI来帮我们实现设计体验的目标，自动生成体验流程和逻辑，这个是我们大家都认为AI可以做的第二个突破口。

  第三个突破口就是从单模态到多模态。各位明白随着我们的科学技术的蓬勃发展，多模态现在也是如火如荼。CASE里一句话的多指令也好到接下来的智能助手的语音交互也好，到底什么是我们多模态，适合这个场景的多模态？恰恰是我们通过AI能够来执行的。我们自己在做测试的时候经常会碰到像一句话多指令的时候会谈到，开窗，我要去哪里，还是有点热。机器不可以马上就给我一个反馈，但是从单模态到多模态可以来帮我们解决这一个问题。

  最后来总结一下前半段。所以我们大家都认为HAI人智交互的设计原则就应该是3C。第一个是Complementary，就是单个场景的多模态交互协同，叫互补性；第二个C是Continuous，是从多个情景之间的跨域和时空的协同，它有时间、有空间的协同。第三个C是Consistent是一致性，所有场景之间个性化的体验一定需要一致性。现在目前大部分车载的大模型目前都是趣味性的，但是车书又是严肃性，所以这里面的一致性是值得探讨的，到底要还是不要。

  我们团队去年的思考针对刚才讲的HAI这么多的理论也好，3C的设计原则也好，我们是如何来设计一个新的体验呢？我们这里带来了我们的新的思考和新产品，我们把它定义叫P-CAFE。我们从思考的能力，从AI角度入手。第二个我们讨论的是像人类一样互动的基础和独立完成工作的自动化流程，这三个作为我们的输入。我们参考的李飞飞老师的“多模态全能代理人范式”，各位明白目前这类的文章，尤其是跨学科的特别、特别少，能够拿得出作为标准的文章也不是非常多，我们现在借鉴的是李飞飞老师的这套流程。

  右边看到的就是我们这套P-CAFE的整个评价体系，我们从感知层开始入手，先要感知，第二个是从认知建模型，第三个是到用户的体验，设计变成行动，第四个一定是用户要有反馈。所以通过前面的PCAF才能达到整个产品和使用者真实的体验流程的进化。所以我们基于主观和客观的评测体系以及我们有自己的实车评测，加上我们自己的人机实验室，针对P-CAFE做出5项一级目录、15项二级目录和63项的三级目录。今年正在举行评测，我们现在今年一共会评20款车大模型的车，目前已经评了6款。在评测的过程中，有一些很有趣的发现，可以跟大家进行分享。

  第一个我们得知人智交互给座舱注入了灵魂，灵魂指的就是个性化。以空调为例，大家看到第一个车型，我们测的绝大多数都是以新势力造车，我们现在目前正在测所有的新势力造车，特别有意思。新势力造车，某款车型A它是一个贴心暖男的说法，空调吹得冷，空调调高了2度。第二个是理工直男型，他说你尝试着把空调的温度调高一点或者披件衣服等。第三个是努力少年型，我还不太会，但是我会加紧学习，所以个性化一定会通过AI或者AIGC将灵魂注入到我们整个使用者真实的体验的设计当中。

  第二个测评发现，车载对话响应的速度和最新的大模型技术目前还有一些差距，包括像GPT4-o平均响应速度是320ms，最快有200多ms，但是在目前我们测的新势力的很多的Agent平均的响应速度是2046ms，2s多，相对来说是比较慢的，所以我们期待今年会有更多好的体现。

  第三个当人智交互需要协同考虑多模态的协同，我们从始至终讲，我个人一直认为HUD一定会替代一部分的仪表的功能。我们如何从量化的角度来告诉我们的整车厂你们的配置率是不够的，用户很喜欢HUD，为啥不呢？我们用这张图就很能来解释。左边这张图大家看到在简单的车控任务，驾驶者更关注仪表盘的HUD，刹车的反应速度很快。大家在刹车反映的时候绝大多数都是不看屏幕，HUD是13%，而路面是87%，很能够诠释HUD能替代部分屏幕的功能。

  右边当一个复杂大模型的任务，我们被去设定的时候，大家会看到道路是78%，HUD是12%，屏幕是10%，在复杂导航过程中不好的人智交互的设计会给用户造成很多的分心和脑负荷，所以分心也是在人智交互当中用多模态可以来解决的问题。

  还有一个测评一个趋势从关键词的车控到意图车控是现在的一个趋势。什么是意图车控？左边大家看到的某些车型说今天公司没开空调，热死，全部空调已打开，空调已调整为吹脸模式。这些都是实际的案例，是我们题库里的案例。右边的某一个车型，上面我们没给它点赞，因为它提出的是一个问号，它说我感觉有点闷，机器跟我说我帮你打开空调透气还是再打开一点窗呢？我它给你是一个问题，希望跟你有互动。右下角正确识别了用户的意图，空调温度调高了等等，所以在这种直觉性的使用者真实的体验的时候，我们应该的是一个意图车控而不是关键词车控。

  我们现在P-CAFE平均测评情况总览，覆盖20个车型，已完成6款，总体平均分是2.978分，离3分正好差那么一点点，我们正在处于及格的边缘。我们期待今年会有一些突破。左下角看到的是一级目录和二级目录的整个打分表。右边是小的总结，总体体验仍处于功能导向阶段，意图车控还不是特别的流行，拼凑上车还是深度优化，感知非常明显。

  包括现在还有AI幻觉问题，光说不做，无中生有，有时候机器根本就不理解你，它会自己按照自己的想法给你很多的题库。第四个相对来说Agent所有记忆和学习能力比较弱，个性化任重道远。

  最后一页跟大家伙儿一起来分享的是我们现在整个用户智能体验实验室跨学科的研究布局，我们也在做一些事情，也期待在座各位零部件也好、整车厂同事也好能够加入我们共同来做事情。

  第一个我们研究的是人，汽车人因工程机理与评价模型研究。第二个研究的是智，汽车智能座舱 Agent研究。第三个研究的是交互，叫汽车人智协同融合机理研究。

  我们也出很多的论文，最近我们刚出了人工智能的顶刊，最新论文《如何基于大语言模型改进座舱主动交互》已被IJCAI 2024接收（AI领域顶级国际会议）。

  第二个我们在今年年底明年年初中英文版会跟德国出版社共同出一本《人智交互HAI》的书，所以这里会用到大量的案例，所以在座各位主机厂的同事如果有好的案例请直接提供给我们，这本书会在全球出版。

  同时我们也在负责AI技术路线图，也做大模型评测的团体标准，今年年底10月底、11月初把20款车测试结果向整个行业宣布或者公布，也期待各位能够共同的来参与我们，参与我们的“华舆奖”，我的演讲到此结束，谢谢大家！