第二代AI芯片加速落地，推动实现普惠算力发展目标

近日，2021世界人工智能大会（WAIC2021）“AI·智能计算引领变革”前沿论坛成功举办。与会嘉宾深入探讨了AI芯片技术的发展趋势，展望未来人工智能在数字化转型中的引领作用。随着智能化时代人工智能技术逐步渗透到社会生活的方方面面，人们对算力的需求也在不断提升。以强算力、大存储、高带宽、强互联、低能耗为特征的第二代AI芯片有望成为支撑普惠算力需求的主要技术。而在WAIC2021举办前夕，燧原科技率先发布了国内第二代人工智能训练产品“邃思2.0”芯片，以及基于邃思2.0的“云燧T20”训练加速卡和“云燧T21”训练OAM模组。何为第二代AI芯片？它有哪些特征？中国企业如何才能建立起强大的产业生态支撑其持续发展？

算力成产业进一步发展突破口

目前，人工智能的发展正在进入一个新的阶段，一方面视觉语音类算法与应用相对成熟，对低成本算力的诉求从未如此强烈；另外一方面NLP的发展与应用相对不成熟，超大模型的技术路线带来了更超强算力的需求。GPU作为人工智能算力的主力军，在这两方面都出现了瓶颈，因此，产业急需通过更加符合人工智能运算特点的算力芯片与算力平台基础设施搭建，提供性能优异且成本可控的普惠算力，加速各类行业和各类型企业更大范围的数字化转型。

“先前，人工智能要做什么，需要专家将人类已经存在的信息变成算法，留在计算空间中，让计算机自动执行人类已经设计好的程序。而现在的云端大型运算，更像是一个自动计算机，自动执行程序，人类程序员形似‘天启’为其注入智力，人们为其提供行为数据。因此，未来的AI领域需要人机混合的群体智能，把算力、数据、工具有效地连接起来，实现人、机、物体系的大规模协同。”中国科学院院士、之江实验室项目首席科学家王怀民先生在“AI·智能计算引领变革”前沿论坛中表示。

可见，人工智能领域正经历着巨大的变革，对算力的需求也将越来越强。第二代AI芯片正在成为人工智能技术进一步发展的突破口。2017年，国务院发布《新一代人工智能发展规划》以来，人工智能出现一些新特点，包括深度学习、跨界融合、人机协同、群智开放和自主智能等。AI芯片作为人工智能算力的依托，对其性能上的需求也在不断提高，比如更强的算力、更大的存储容量、更高的带宽，以及更强的互联能力等。

浪潮人工智能与高性能产品部副总经理赵帅认为，随着人工智能的发展，行业呈现出多元化、巨量化趋势。人工智能已经从早期纯粹的计算演变成AI训练、AI推理等不同的业务应用，对算力的需求也有着很大的不同。如今人工智能的浮点计算力参数已经达到6000亿FLOPS，在这当中带来了巨量数据、巨量模型、巨量参数及巨量计算力需求。面对如今人工智能领域的巨大变革，产业亟待需要新一代人工智能芯片提供算力上的支撑。

架构创新加速技术进步

相比第一代产品，第二代AI芯片无论在架构创新升级、通用性以及绿色化等方面都将有着极大的提升。

燧原科技创始人兼COO张亚林介绍，邃思2.0在架构上进行了大规模的升级，意在全方位打造智算集群。架构升级实现了算力提升，新一代全自研的GCU-CARA全域计算架构，针对人工智能计算的特性进行深度优化，夯实了支持通用异构计算的基础；支持全面的计算精度，涵盖从FP32、TF32、FP16、BF16到INT8，并成为中国首款支持单精度张量TF32数据精度的人工智能芯片。单精度FP32峰值算力达到40 TFLOPS，单精度张量TF32峰值算力达到160 TFLOPS，均为国内第一。同时，邃思2.0搭载了4颗HBM2E片上存储芯片，高配支持64GB内存，带宽达1.8TB/s，是中国第一个支持HBM2E和单芯片64GB内存的产品。燧原开发GCU-LARE全域互联技术提供双向300GB/s互联带宽，支持数千张云燧CloudBlazer加速卡互联，实现更强的线性加速比。张亚林表示，燧原科技将采取类似“Tick-Tock”的策略，即每2年为一个周期，Tick阶段升级工艺，Tock阶段升级处理器架构，而此次邃思2.0便是处于Tock阶段。

为了使得平台能够广泛地支持更多的领域，新一代AI芯片在架构的通用性方面也应有极大地提升。

目前人工智能企业主要是以定制化的综合解决方案创造营收。在此次2020人工智能大会的“AI·智能计算引领变革“的主题论坛上，赛迪顾问高级分析师杜欣泽表示，采用定制化的综合解决方案意味着收入难以形成规模增长。然而，人工智能是高投入型产业，企业大规模的研发费用投入会导致许多AI企业处于亏损状态，造成商业化困难。与此同时，现阶段造成AI产品定制化程度高的主要原因，是由于主流的人工智能算法无法适应客户特定的长尾数据，需要用较高的成本获取和训练客户的长尾数据。

因此，杜欣泽认为，为了能够有效解决此类商业化困境，通用型平台的生态理念是目前AI产业的发展思路，可利用简单易行且价格较低的通用方案吸引长尾客户主动适应标准化的AI系统，构建大使用量覆盖成本的商业模式，有助于快速提升系统能力。

比起上一代产品，邃思2.0在通用性方面也有了大大的提升。

“人工智能的应用领域已经变得越来越广泛，作为AI的平台而言，需要持续广泛地支持不同的领域，从而能够为行业起到极大的推动作用，因此，AI平台的通用性非常重要。作为AI芯片而言，需要做到完全可编程，包括计算的完全可编程、数据传输的完全可编程，以及整个系统架构在整个应用加载下的完全应用适配。同时，在软件方面，整个软件站需要做到更大的泛化，能够支撑不同的应用，保证在不同的应用场景下依然能获得足够好的性能。”张亚林说道。

此前，多部委联合颁布了《全国一体化大数据中心协同创新体系算力枢纽实施方案》，在这其中，有三个关键词最为抢眼——绿色集约、自主创新、安全可靠。因此，对于AI芯片而言，在提升技术的同时，也需要向绿色数字化发展。此次发布的邃思2.0中，对于能耗问题也有了大大改善。数据显示，邃思2.0液冷的PUE可以降到1.15以下，大力提升整个集群的能效比。同时，它拥有每张单精度算力160T的训练卡，以及80%的集群线性度。张亚林介绍道：“燧原科技也将通过与合作伙伴的联合开发，一起构建超大规模的液冷智能数据中心，以顺应国家‘低碳算力’和‘绿色一体化智能计算’的战略方向。”

双轮驱动搭建强大的产业生态

未来，中国AI芯片企业面临着生态上的挑战。随着AI芯片的落地，需要在更大的层面进行大量的推广和采用，因此需要依托更强大的生态才可实现。

在此次前沿论坛上，赵帅认为，AI正在向各个行业渗透，从AI产业化到产业AI化具有很大的鸿沟，不同业务应用、不同应用类型对于计算设施、网络、存储、场景都有非常大的差别。而芯片、计算框架、数学库多元化，甚至应用接口也多元化，又会造成整个生态离散化发展。如何快速定位，找到最适合企业业务发展的体系架构和芯片架构是个重大挑战，需要更加完善的产业生态给予支持。

那么，中国企业如何才能建立起强大的产业生态支撑AI芯片的可持续发展呢？张亚林表示，未来，AI芯片企业应会从产品生态以及技术生态两方面，用双轮驱动的方式来搭建强大的产业生态。在产品生态方面，AI芯片企业与行业内的算法提供商，系统集成商、应用提供商等产品合作伙伴一起，提供一个全套的解决方案，服务更广阔的市场。

“从产品的角度来看，燧原能够提供板卡系统软件，但是在未来，需要与整个的服务器、云端部署算法应用集成在一起，形成一个整体的解决方案，从整个行业的解决方案角度去铺开整个行业的生态链。”张亚林说道。

从技术生态而言，可分为软件生态和硬件生态。张亚林认为：“软件生态方面在于怎么能让用户真正喜欢用你的软件，这个用户不仅要从学校教育的角度培育原创性的软件生态，还要利用我们在商业客户方面的落地，通过应用不断打磨软件生态。”硬件生态方面，张亚林认为，需要从芯片的封装、芯片制程、高速的连接等各方面全面发展，形成一个广泛的硬件技术生态。

嘉宾观点

中国科学院院士、之江实验室项目首席科学家王怀民：

人、机、物体系的大规模协同是未来发展方向

把算力、数据、工具有效地连接起来实现人、机、物体系的大规模协同是未来发展方向。因为连接有更多的想象。希望所有的参加者以协作的方式参与其中，以软件定义的方式进行更高效的编制适应可能的实践。这样一些系统做成以后，可以把识别人工智能系统装载到新创造的自动驾驶、机器人体系当中。因此未来，大数据空间是一种人机物融合的三元世界。

之江实验室特聘专家王晓阳：

智能处理挖掘大数据中的知识

目前，图像识别、语音处理都是浅层的知识。而向深层知识挖掘、理解推理是下一步工作最大的看点。大量的数据仍然在沉睡当中，很多数据是我们看得见却摸不着的。因为这些数据很难凑到一起被挖掘，这就需要我们做大量的工作，比如以广域协同的计算方法把数据流通起来。现在来看，这不仅是技术问题，还涉及到管理问题、商业问题等。IBM在工业领域有过统计，几年前90%以上的数据还没有被用过，商业领域只有1%的数据进行过分析，在科学领域有更大量的数据没有被使用，所以难点是怎么更高效地从数据中取得有用的知识。

AI大数据的实际需求是多算法、多模型的有机组合，需要各种各样的数据、分析算法。人们的应用不同，对数据的视角就会不同。多算法、多模型、多数据的有机整合才是人们能够达到目的的有效途径。这个时候就需要系统能够灵活地进行分析和知识获取。所以我们需要多硬件、多软件平台的协同合作，将不同数据利用不同的方法，利用不同的软硬件系统进行处理。

浪潮人工智能与高性能产品部副总经理赵帅：

AI呈多元化、巨量化和生态化发展

随着人工智能的发展，我们发现行业呈现出三大趋势。首先是多元化。目前的人工智能计算方式发生了越来越多的变化，从早期纯粹的计算演变成AI训练、AI推理等不同的业务应用。这些业务应用对算力的需求也有着很大的不同。随着2000年以后人工智能逐步兴起，不仅人工智能的计算类型逐步多元化，计算芯片的种类也在多元化发展，许多人工智能芯片企业开发的产品，在特定场景下能够取得比通用CPU百倍以上的计算效能。这就是多元化给人们带来的优势，也是计算机体系架构方面非常巨大的挑战。其次是巨量化。早期的AlphaGo以6000万FLOPS的参数就能训练出一个较好的模型，现在浮点计算力参数达到6000亿FLOPS。这当中带来了巨量数据、巨量模型、巨量参数及巨量计算力需求。这对创新架构、提升算力提出更大的挑战。最后是生态化。AI正在向各个行业渗透，如何快速定位，找到最适合企业业务发展的体系架构和芯片架构是一个重大的挑战，需要更加完善的产业生态给予支持。

中国电子技术标准化研究院集成电路测评中心主任任翔：

加快建立覆盖云边端全场景AI芯片标准体系

在人工智能行业整体快速发展的带动下，AI芯片产业也在不断进步。与此同时，产业也面临诸多挑战，比如AI芯片面临更加广泛以及多样化的需求，AI芯片产业生态化需求日趋明显，面向不同场景时，AI芯片的利用率、兼容性等有待提高，各类基于不同AI芯片的异构设备协同困难。这就要求我们构建兼具公平性、权威性和完整性的AI芯片标准体系和测试方法。

与传统行业协同，自上而下通过建立框架性标准，覆盖AI芯片云边端全部场景，从芯片训练、推理两个维度，从视觉、语音到NLP处理三个方面，以及图像分类、目标检测、机器翻译等多个主流应用出发，是建立覆盖云边端全场景AI芯片标准体系的重要途径。目前我们已经完成了云边端框架性测试标准发布以及面向视觉类各场景下云测试芯片标准立项工作，未来，我们力争形成AI+传统行业的AI全面标准体系，与数据中心、自动驾驶实际应用场景结合，兼顾AI芯片涉及的各个传统行业，加速建设人工智能芯片的标准体系。

中国电子云副总裁申骞：

构筑云端智能计算能力满足多元化应用需求

现在AI技术正在各个领域落地，如何把智能计算和各应用领域更好地结合，挖掘更大的数据价值，给用户带来更好的体验，这是一个发展重点。当前，产业数字化方兴未艾。从云服务商的角度来看，数字化中的云化需求越来越强烈。此外，各行业深入落地数字化的时候，又会对高端大规模分布式智能计算的需求十分强烈。这两种趋势在云端表现为对云端智能服务的需求强烈。

总之，市场需求已经很明显了。一是大型企业的大规模分布式计算需求，二是中长尾的小规模计算需求。这些云化在后端都要跟智能计算中心相结合。我们希望大家一起努力把生态链建好，努力满足现代化、数字化的政企行业发展需求。此外，现在的云计算发展到新的阶段，以前的架构在逐步升级为异构低云多精调度，现在的调度导读系统已经能够实现CPU、容器、虚拟机之间的混合调度，今后将实现对GPU的调度。这样将可实现跨用户，给客户提供类似虚拟机容器这样的计算模式。

新思科技中国区副总经理姚尧：

云计算将向数据资源池化方向发展

在数字化时代，算力的作用跟当今时代的石油一样，但算力可以被制造，只要有足够的电力和高效的芯片，算力就可以远远超过自然界的限制。总之，数据、算法和算力互相影响，算法倒逼算力。

从云端的发展趋势来看，互联网巨头的IT规划开始转向资源的池化。以前是一个一个节点进行，然后是一个一个服务器相连接，未来的发展趋势是会把所有分布式计算机和计算网络变成一个超级计算机，所有资源进行池化。这将对算力有着巨大的需求。人们日常生活中，数据的积累正在呈指数性增长，相信在智能计算巨头的推动下，未来的AI芯片的算力也会呈指数性增长。

燧原科技系统软件首席科学家姚建国：

让计算赋能人们的智能应用

目前的计算更多的是从系统角度把计算范式、能力智能化。比如，现在整个系统里的数据、计算，往往会形成数据流或是计算流，从整个系统来看，智能技术是使计算能力、计算范式、模式更加智能化。智能化最后达到的效果是成本更低、计算效能充分发挥，从而使用户获得自己想要的需求。从智能计算发展角度来讲，让计算赋能人们的智能应用。

面对如今人工智能领域正在经历的变革，算力方面可以从普惠算力的角度入手。普惠算力本身有两种含义，一是价钱要便宜，二是使用方便，将有助于计算架构的发展。如今，计算范式都是冯式架构，现在都在探索非冯式架构，这需要围绕整个数据计算来进行，从内存墙、通信墙等方面发挥象空间，这也是普惠算力入手的重点。

超参数科技有限公司高级总监张正生：

AI游戏逐渐演变为以强化跟监督学习为主

电子游戏从诞生初期就是AI实践的理想靶场，近几年的棋牌游戏已经被AI全面“攻克”。AI游戏的技术演变是非常自然的，是一个很漫长的过程。以前，AI游戏是由策划驱动，用行为数驱动游戏运作，且有一套基于行为数的规则。而如今，随着AI游戏慢慢变的复杂，增加了很多博弈论等内容，例如，AlphaGo的MTS整合了神经网络，变成一个巨大的工程挑战问题。随着深度学习、强化学习兴起，在未来，技术的演变也基本是以强化跟监督学习为主，将更复杂的内容维护好，从而推动AI游戏的发展。

一流科技CEO袁进辉：

用软件的方式解决算力需求激增的问题

近年来，超大规模预训练模型成为深度学习领域的热点。怎么通过软件的方式在解决大规模任务时能够更加容易，是亟待解决的问题。软件能够解决可编程性和生态问题，例如，数据并行和模型并行，有些神经网络的层次计算缓存比较具有特点，有时是数据比较大，而模型参数很小，最优并行方式就是对模型做一些传输，对数据做一些切分，另外一些神经网络层次会分析出来最优计算方式就是模型并行。若一个神经网络中既有数据并行和模型并行时，需要在上游的很多卡之间和下游的很多卡之间做非常复杂的数据路由，而数据路由没有办法用硬件固定连线连死，需要依靠软件来采取措施。

燧原科技首席硬件研发总监冯闯：

以架构创新实现工程迭代

以智能计算引领变革、以架构创新引领普惠算力、以敏捷开发加速数字化转型。日前，燧原科技发布了新一代AI芯片和加速卡等产品。新产品在性能等方面比上一代有了进一步的提升。在AI计算领域，算力的提升依赖于架构创新，实现更高的带宽和高存储。燧思2.0采用了DTU2.0架构，在芯片内部，从互联开始到三级存储、二级存储、一级存储，每一个层次的存储和带宽都做了惊人的提升。与燧思1.0芯片一样，它能够实现通用的指令存储、标量计算、标量存储，以实现对程序的控制。