AI大算力场景加速发展，NPU如何破局？

ChatGPT和GPT-4等大规模语言模型的走红，迅速点燃了舆论对人工智能的热情，也让人工智能芯片受到产业界的强烈关注。相比CPU、GPU等通用芯片，NPU（神经网络处理器）能够以更简单的控制流、更高的效率、更低的功耗处理AI工作负载。随着人工智能技术栈和行业应用的发展，NPU一方面支持越来越多的模型，包括GPT-4采用的Transformer模型；另一方面，也从AIoT走向消费电子、自动驾驶等更多领域。

3 月 28 日，安谋科技发布了最新一代NPU产品“周易”X2，将配合此前宣布的“周易”NPU软件开源计划，为人工智能的应用创新——尤其是面向自动驾驶等大算力、高精度、强实时场景提供软硬件支持。

“周易”X2 NPU主要功能升级

多核心、大算力、多精度，助力AI多场景落地

随着摩尔定律放缓，通用处理器架构难以满足人工智能的密集型计算需求。数据显示，2000-2004年，每一美元能获取的芯片性能以每年48%的速度提升，而2008年以后已不足10%。在这种趋势下，专用芯片成为面向特定需求提升算力和能效比的新思路。

其中，NPU是面向机器学习和人工智能领域的专用加速芯片。相比CPU、GPU等通用芯片，NPU在电路层模拟了人类神经元和突触，针对AI计算涉及的大量神经网络模型进行特殊优化，能够以更高的效率、更低的能耗处理人工神经网络、随机森林等机器学习算法和深度学习模型。

如今，苹果、三星、oppo等多家手机厂商搭载了NPU，用于面部识别、拍摄物体及环境识别、影像处理等，为消费者带来3D动画表情、人脸解锁、AI场景识别、无损实时RAW计算等一系列新体验。随着人工智能向平板电脑、台式机等更多终端，家居、汽车等更多领域渗透，“万物智联”时代拉开序幕，这不仅考验着NPU的算力和精度，也对NPU架构的灵活性和兼容性提出了更高的要求。

此次安谋科技推出的“周易”X2 NPU聚焦综合性能的提升，兼顾了多终端、跨领域应用对大算力、高精度、灵活性、兼容性的需求。

在算力层面，“周易”X2 NPU不仅提升了单核性能，还引入了多核、多集群架构，能够支持高达320TOPS的大算力方案。相比采用单核架构的“周易”X1和“周易”Z系列，“周易”X2引入了由多个NPU核组成的Cluster（集群），较单核实现了算力的成倍提升。多个Cluster又构成了子系统，较单个Cluster进一步实现算力的成本提升，可支持320TOPS大算力产品的交付。

在精度层面，“周易”X2 NPU支持混合精度计算，支持整型的4bit、8bit、12bit、16bit、32bit以及浮点的16bit、32bit计算，可以更好地平衡功耗、算力密度和计算精度。

在灵活性层面，“周易”X2 NPU 的任务调度速度达到100纳秒。据安谋科技产品总监杨磊介绍，安谋科技为“周易”X2设计了硬件级别的任务调度加速单元，以支持多核或者多个计算单元的实时任务调度。

“当我的车有10个摄像头，有10路数据进来。任务调度器发现哪个NPU核是空闲的，就可以把任务立刻调度给那个核做计算，构建动态、实时的调度解决方案。”杨磊说。

在兼容性方面，“周易”X2 NPU支持自定义算子，满足各种模型部署需求，并针对ADAS、智能座舱、平板电脑、台式机和手机等应用场景提供了配置方案和专门优化。

面向消费级终端，“周易”X2 NPU则针对AI去噪、超分辨率、插帧等面向拍照、录像和视频会议的场景进行了优化。

面向自动驾驶等场景，“周易”X2 NPU可提供大算力配置方案。首先，专门的硬件加速任务调度器，能够更好地支持汽车判断前方目标并实时响应的需求。其次，对混合精度的支持，顺应了汽车场景对更高计算精度的追求。此外，安谋科技面向车载算法专门优化了Transformer模型的性能，在算力相等的情况下，Transformer的性能较上一代的“周易” Z2提升了10倍。

在边缘终端和自动驾驶等领域的基础上，“周易”系列还将向更高性能的场景拓展。

“过去几年里，‘周易’系列产品应用已经从AIoT领域，到现在的汽车、边缘智能终端等领域，未来会向更高性能的云侧和服务侧发展。我们希望‘周易’涵盖不同的应用场景，通过不同的配置，与更多领域、更加多样的系统结合。”安谋科技执行副总裁、产品研发负责人刘澍表示。

软件开源解决开发痛点，助力本土NPU生态构建

在面向更多行业、更多场景的落地过程中，NPU的应用开发也出现了一些痛点。由于缺乏统一的工具链，NPU在推理侧出现了硬件碎片化，增加了应用开发创新的代价和周期。另一方面，NPU处理AI模型的训练、推理时，涉及或产生大量数据，开发者对白盒软件、工具链的诉求越发迫切。

针对以上痛点，安谋科技发起了“周易”NPU软件开源计划，通过开放源码，满足客户更自主、灵活的算法移植需求。按照计划，安谋科技率先对外开放NPU中间表示层规范、模型解析器、模型优化器、驱动等，并提供免费的软件工具链，包括软件模拟器、调试器、C编译器。

安谋科技“周易”NPU软件开源计划

“我们收集到很多用户反馈，最典型的是汽车应用场景。一方面，Tier1在实际应用过程中产生的算法和数据都是很宝贵的资源，如果在移植开发中遇到问题，Tier1希望在自己那侧解决，独立进行白盒的开发和调试。另一方面,客户有很多自定义算子的需求，这也对白盒化的软件和工具链有很强的诉求。基于这样的市场反馈，我们选择这个时间点推出开源计划。”杨磊在接受《中国电子报》采访时表示。

目前，安谋科技已开源“周易”NPU软件工具Compass的前端，并在开源计划的第一阶段开放了Compass解析器、NPU Linux驱动、Compass集成和模型仓库。

同时，安谋科技最新的一代V3架构为免费授权。根据安谋科技研发团队测算，如果开发者在软件参与“周易”的NPU开源项目，在硬件上兼容“周易”架构，无论在硬件开发还是在软件开发上，大概能节省超过50%的工作量。

后续，安谋科技还将逐步开放更多资源，例如模型量化、算子实现等源代码。

软件的开源不仅能提升开发效率，而且能够持续吸纳开发者在使用过程中的反馈，有利于行业生态的良性循环。一方面，NPU的软件开源可以提升用户开发效率，减少上市时间，并提升系统的能效表现。另一方面，开源有利于NPU在更多场合发挥更大作用，也令NPU IP厂商能够触达上下游企业，共同反哺本地化的NPU生态。

“NPU有很强的软件属性，并不是一个纯粹的硬件加速器，因为用户要在上面跑各种各样的应用或算法。每一个算法在硬件上的部署或移植，都会为生态贡献了一份力量。”杨磊说。

目前，安谋科技已分别在代码托管平台Gitee、GitHub上建立NPU软件的开源库，并吸引了来自AIoT、智能汽车、智能操作系统等领域的第一批合作伙伴“入驻”。据安谋科技透露，以上合作伙伴均表示将基于NPU开源计划与安谋科技深化合作，加速构建本地化的智能计算生态“朋友圈”。

Arm底蕴与本土化创新结合，强化芯片设计“弹药库”

自1990年Arm公司成立以来，基于Arm架构出货的芯片已经达到2500亿颗。IP授权这一商业模式，也随着Arm的发展深入人心，成为芯片设计垂直分工的重要环节。

安谋科技作为独立运营、中资控股的合资公司，在吸纳和发挥Arm技术和生态优势的同时，立足并结合本地化需求，形成了“自研IP技术的创新发展与Arm IP相配合”的经营策略。据安谋科技介绍，其成立时与Arm签订了交叉许可协议，一方面可以向总部设在中国的合作伙伴开展集成电路IP的授权与技术服务；另一方面，也拥有独立的自主研发权力，可以结合中国市场需求自研基于Arm技术的IP与标准，本土团队研发的自研IP产权归安谋科技所有。

安谋科技自研IP产品矩阵及相关服务

以“周易”NPU为例，安谋科技在自研其硬件IP和软件工具的同时，也吸引和培养了本地化的NPU工程师团队，为公司研发和用户开发提供本地化的支持。

“经过5年的努力，我们已经在北京、上海、深圳吸引和培养了很多工程师，整个团队拥有超过130位工程师从事NPU的软硬件全栈研发。我们已经开发了三代NPU产品和架构，也专注于IP和SDK开发，以及对国内客户的服务和支持。”安谋科技NPU研发高级总监孙锦鸿表示。

时至今日，安谋科技在国内的授权客户超过370家，累计芯片出货量突破300亿片。除了“周易”NPU，安谋科技还自研并推出了“星辰”CPU、“山海”SPU、“玲珑”ISP与“玲珑”VPU等本地化IP，而包含CPU、NPU、信息安全、多媒体的IP矩阵，为芯片企业打造异构集成方案提供了“弹药库”，并有利于提升芯片设计的灵活性。例如博通2022年推出的两款Wi-Fi蓝牙双模SoC芯片，就集成了“星辰”处理器和“山海”的信息安全核心模块。

本次“周易”NPU软件开源及相应的生态合作措施，也是对安谋科技“生态伙伴计划”的承袭和补充。该计划发起于2022年7月，依托Arm技术生态与自研IP产品矩阵，与生态伙伴共建上下游产业生态，共同推动各领域的软硬件、解决方案、工具链、行业标准以及社区联盟等生态环节的发展。截至目前，已有多家芯片设计公司、解决方案提供商、系统平台公司等加入生态伙伴计划。

安谋科技生态伙伴计划

IP作为硬件设计的核心资产，不仅在芯片设计和产品定义中发挥了重要作用，也对芯片产业的底层创新具有深远意义。而IP的迭代与创新，需要与芯片、软件、生态乃至标准等产业链关键节点的发展趋势与共性问题耦合，才能推动芯片产业的螺旋上升。

“对产业来说一个，IP公司的意义和作用就在于，它首先看到了生态和技术的发展趋势，帮助客户和合作伙伴解决一些重复投入的问题。通常来说，我们解决了底层的技术问题和创新问题以后，可以帮助客户合作伙伴节省1到2年的开发周期。客户利用这些IP，能够更高效地推出可量产的芯片，达到应用级创新的目的，这是IP作为基石帮助客户走向成功的定位和角色。”刘澍说。