达摩院存算一体AI芯片来了，性能提升10倍以上

12月3日，达摩院宣布成功研发新型架构芯片。该芯片是全球首款基于DRAM的3D键合堆叠存算一体AI芯片，可突破冯·诺依曼架构的性能瓶颈，满足人工智能等场景对高带宽、高容量内存和极致算力的需求。在特定AI场景中，该芯片性能提升10倍以上，能效比提升高达300倍。

达摩院存算一体芯片

过去70年，计算机一直遵循冯·诺依曼架构设计，运行时数据需要在处理器和内存之间来回传输。随着时代发展，这一工作模式面临较大挑战：在人工智能等高并发计算场景中，数据来回传输会产生巨大的功耗；目前内存系统的性能提升速度大幅落后于处理器的性能提升速度，有限的内存带宽无法保证数据高速传输。

冯·诺依曼和冯·诺依曼计算机

在摩尔定律逐渐放缓的背景下，存算一体成为解决计算机性能瓶颈的关键技术。存算一体芯片类似人脑，将数据存储单元和计算单元融合，可大幅减少数据搬运，从而极大地提高计算并行度和能效。这一技术早在上世纪90年代就被提出，但受限于技术的复杂度、高昂的设计成本以及应用场景的匮乏，过去几十年，业界对存算一体芯片的研究进展缓慢。

达摩院研发的存算一体芯片集成了多个创新型技术，是全球首款使用混合键合3D堆叠技术实现存算一体的芯片。该芯片内存单元采用异质集成嵌入式DRAM（SeDRAM），拥有超大带宽、超大容量等特点；计算单元方面，达摩院研发设计了流式的定制化加速器架构，对推荐系统进行“端到端”的加速，包括匹配、粗排序、神经网络计算、细排序等任务。

得益于整体架构的创新，该芯片同时实现了高性能和低系统功耗。在实际推荐系统应用中，相比传统CPU计算系统，存算一体芯片的性能提升10倍以上，能效提升超过300倍。该技术的研究成果已被芯片领域顶级会议ISSCC 2022收录，未来可应用于VR/AR、无人驾驶、天文数据计算、遥感影像数据分析等场景。

达摩院计算技术实验室科学家郑宏忠表示：“存算一体是颠覆性的芯片技术，它天然拥有高性能、高带宽和高能效的优势，可以从底层架构上解决后摩尔定律时代的芯片性能和能耗问题，达摩院研发的芯片将这一技术与场景紧密结合，实现了内存、计算以及算法应用的完美融合。”

据悉，达摩院计算技术实验室专注研究芯片设计方法学和新型计算机体系结构技术，已拥有多项领先成果，在ISSCC、ISCA、MICRO、HPCA等顶级会议上发表多篇论文。