10月12日，中国自动化学会第20期CAA云讲座在线举行。本期讲座邀请中国自动化学会副秘书长、西安交通大学教授孙宏滨，作题为“迈向高效端侧具身智能计算系统算法与架构协同创新”的报告。讲座由武汉理工大学在读博士生、CAA志愿者杨季航主持。

孙宏滨教授作报告

  孙宏滨教授在报告中指出，具身智能是自主智能系统发展的重要方向。早在20世纪50年代，图灵就提出了两种智能范式：一种是离身智能，处理不需要在物理世界推理的问题，如游戏、数学、加密、翻译等，对应近年来发展迅速的互联网数字世界AI；另一种是具身智能，要求机器能够与物理世界交互，通过传感器、执行器等执行任务，并在真实世界执行任务过程中从经验中不断学习。

  孙宏滨教授表示，传统自主系统采用模块化架构，主要包括感知、定位建图、决策规划和控制四个模块。以无人车为例，感知单元负责检测道路上的其他交通参与者及道路环境，定位建图单元提供地图和位置信息，决策规划单元分为全局路径规划、行为决策和局部路径规划，控制系统则操纵方向盘、油门、刹车等形成闭环。但这一框架面临几个严峻挑战：一是感知场景的长尾问题，在暴雨、大雪、强光等极端天气及未验证场景下，检测率会下降；二是认知决策能力严重不足，AI系统受限于训练数据，在复杂场景下会混乱，需要大量人工干预；三是缺乏自主持续学习能力，不能要求算法一次性训练就能适应所有未来场景和环境。

  孙宏滨教授认为，大模型在复杂问题理解、场景理解、认知和复杂问题决策方面表现出非常好的效果，因此一个直观的想法是把大模型的能力放到机器人身上，让机器人的认知决策不局限于场景数据，能有常识、有知识，做复杂的推理决策。但从硬件方面看，关键问题有两个：一是如何让大模型在端侧高效运行，涉及模型轻量化、存储优化、数据流优化、算子融合调度、专用架构设计和系统协同；二是如何让系统模型在端侧自学习，包括算法层面的自主学习和硬件层面的端侧高效训练。

  孙宏滨教授指出，端侧面临模型规模增长和算力供给之间的巨大鸿沟。大模型出现后，模型规模呈指数级增长，而芯片进入10纳米以下阶段后，集成度微缩变得非常困难，逼近物理极限，硬件突破性进展不大。同时，端侧具身智能芯片更强调效率，不光关注性能、精度，还要求低延迟、低功耗、低成本。因此，解决具身智能端侧硬件问题需要算法和芯片架构极致的协同，走算法、系统、硬件跨层次的协同优化路径。

  孙宏滨教授介绍了团队在算法与架构协同方面的三项典型学术创新成果。第一是大模型轻量化方面，团队提出了token感知自适应误差重构的模型轻量化方法，通过通道重要性估计、逐token识别、token无关和相关频率划分以及混合专家补偿，在2B到72B全模型规模上达到SOTA水平，在72B W4A6模型上平均提升5.09的精度。第二是高效大模型推理架构方面，团队对MoD大模型进行友好化改造，通过设计顺序重排、局部化改造和路由算子融合，使精度提升近2%，推理速度提升1.62倍，访存带宽需求降低46.5%，并设计了专用加速器架构，推理加速增加3.26倍，面积效率提高3.78倍，能效提升4倍多。第三是高能效片上自学习架构方面，团队针对特征梯度图和卷积核分别提出轻量化方法，通过最大最小值近似统计量计算和奇异值分解SVD二次量化，整体计算量减少32.4%，片外存储访问量减少45.6%，并设计了支持多种稀疏计算模式的PE阵列和压缩电路。

  本次讲座为线上科研工作者与青年师生搭建了良好的学术交流渠道，帮助听众进一步认识端侧具身智能面临的算力瓶颈，了解算法与架构协同创新的研究思路与前沿成果，对推动具身智能系统的跨层次研究与工程化落地具有积极的启发作用。