工业和信息化部主管 中国电子报社主办
收藏本站 投稿

软件服务

数据爆炸与复杂模型让AI计算迎来更多创新机会

随着人工智能首次写入政府工作报告并且国务院印发了《新一代人工智能发展规划》,人工智能产业被视作新的重要经济增长点,人工智能技术应用成为改善民生的新途径。可以说,以人工智能技术为代表的第四次工业革命扑面而来,以前所未有的方式对人们的生活带来巨大改变。

人工智能将重构所有行业

纵观人工智能近几年的发展,可以观察到一个显著趋势就是人工智能和各行各业的连接越来越密切。从长期来看,人工智能拥有令人难以置信的力量,将重构几乎所有行业。

在搜索引擎业务中,无论是文本、图片搜索还是语音搜索,我们会发现机器似乎变得越来越聪明;在医疗保健行业,人工智能对医学影像来说带来了很大的改变;在金融行业,人工智能在投资组合设计、金融产品营销以及金融安全保障领域都有应用;在汽车制造行业,谷歌、Uber、百度等科技公司以及戴姆勒、福特等众多的汽车厂商正在开发智能驾驶;在天气预报领域,人工智能的技术目前在雷达外推短临预报上已得到应用;在石油勘探领域,神经网络和模糊逻辑相结合被成功应用到了裂隙性油藏的分析,以及选择最佳的测井数据对油藏特征进行研究之中。

AI技术发展:大数据+大模型+大计算

人工智能在今天得以快速的发展,跟数据、算法、计算的发展息息相关。

目前,全球数据量正以平均年增长率50%%的速度增长,预计到2020年全球数据总量将超过40ZB,而2020年中国的数据总量将占全球数据总量比例的20%%,成为世界第一数据资源大国和全球数据中心。

同时,人工智能深度神经网络也在快速的发展,更深更大的算法模型、更复杂的架构正在成为趋势。卷积网络曾是最大最深的神经网络架构之一,但如今,它被抽象成了大多数新架构中的一小部分。

最后,数据的增大、模型的复杂,将为计算带来更大的挑战空间,当如此庞大的数据用于人工智能的训练学习时,数据量将超出内存和处理器的承载上限,如果计算力不能相应增长,整个学习过程将变得无比漫长,甚至完全无法实现最基本的人工智能。

AI计算迎来更多创新机会

从人工智能的三要素来看,如何更好的将爆炸式增长的海量数据用于模型训练,已成为人工智能未来发展的关键环节。数据与模型的快速发展,为计算带来了挑战的同时,也提供了更多的创新机会。

那么在人工智能计算创新方面,则应从强调构建AI系统能力与价值着眼,在硬件创新、软件实现、框架优化和应用加速4个维度赋能AI,这四个维度形成了一个完整的“4S”组合:硬件创新是“Server”,加上软件实现构成“System”,再加上框架优化就是“Solution”,最后加上应用加速即是“Services”,这也是浪潮今年提出的AI端到端解决方案。

复杂的人工智能应用环境是进行人工智能硬件创新开发时要考虑的重要因素。人工智能在模型训练时对计算需求大更依赖GPU,而当产品服务上线后,计算需求减少,吞吐量需求增大,要考虑低延迟的产品。今年,浪潮与百度在AI计算上联合开发的SR-AI整机柜服务器,就是根据百度的AI模型训练需求开发的。我们将CPU和GPU分开成两个BOX,CPU主要负责管理和控制,GPU主要负责AI运算,通过专用的线缆将2个部分高速的连起来,随着模型复杂度的增加和规模的增加,计算量会增加,如果一个GPU BOX不够的话,就可以扩展多个GPU BOX。目前,我们开发的这款SR-AI整机柜服务器可以实现单节点16卡、单物理集群64卡的超高密度扩展能力,已经应用在百度无人车之中,具备千亿样本、万亿参数级别的AI计算能力。同时,在前端推理方面,浪潮、科大讯飞和Altera公司共同发起了一项基于FPGA在智能语音识别领域的合作,三方完成了基于OpenCL的FPGA线上深度学习语音识别加速方案。

在AI系统管理方面,深度学习的模型训练往往流程较长、开发环境较复杂,涉及数据准备和处理、特征工程、建模、调参等多个步骤及多个框架和模型,每个框架依赖环境不同且有可能交叉使用。更大的“痛点”在于,深度学习模型在训练时往往耗时较长,短则数小时长则数天,以往在训练完成后才意识到模型存在问题,大大耗费了用户的精力和时间。浪潮根据此需求设计开发的AIStation管理软件可以提供从数据准备到分析训练结果的完整深度学习业务流程,支持Caffe、TensorFlow、CNTK等多种计算框架和GoogleNet、VGG、ResNet等多种模型,有效的提高计算资源的利用率和生产率,为深度学习用户提供高效易用的平台。

深度学习框架可以帮助用户更好更快的开发深度学习模型,浪潮主导开发的全球首个集群并行版的Caffe深度学习计算框架Caffe-MPI,目前已在Github上开源公布所有代码。在基于国际通行的Imagenet数据集进行深度学习模型训练时,Caffe-MPI表现出良好的并行扩展,其性能是Google最新深度学习框架TensorFlow的近两倍。

AI应用优化是浪潮极为重视的一项核心能力。浪潮与奇虎360合作开展了针对图片搜索技术的GPU架构移植,基于K-means无监督聚类算法串行版本,完成GPUMPI集群版本的实现,节点内使用CPU+GPU协同计算,大幅降低了计算时间。

人工智能是当前人类所面对的最为重要的技术社会变革,可以全面提升一个国家的实力,全球许多国家都对AI充满了憧憬与渴望。中国作为快速成长的数据资源大国,并且连续多年成为全球服务器增长最快的市场,在发展人工智能上具备得天独厚的数据优势与计算优势,这将让中国有能力成为人工智能的技术强国、应用大国。

作者胡雷钧为浪潮集团副总裁



声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

聚焦2021年全国两会

3月5日,第十三届全国人民代表大会第四次会议在北京人民大会堂开幕。党和国家领导人习近平、李克强、汪洋、王沪宁、赵乐际、韩正、王岐山等出席,栗战书主持大会。初春的北京,处处生机盎然。第十三届全国人民代表大会第四次会议5日上午在人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。

2021年全国工业和信息化工作会议

12月28-29日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,认真落实习近平总书记重要指示批示精神和中央经济工作会议部署,总结2020年工业和信息化工作,分析形势,部署2021年重点工作。工业和信息化部党组书记、部长肖亚庆作工作报告。

2020年中国家电市场报告

3月22日,中国电子信息产业发展研究院发布了《2020年中国家电市场报告》(以下简称《报告》)。《报告》显示,2020年,我国家电市场零售额规模达到8333亿元,在疫情冲击之下显示出较强的韧性;电商渠道对家电零售的贡献率首次超过50%,网络零售对家电消费的促进作用进一步提升;高端产品、生活家电大幅增长,有效促进了消费升级和产业转型。

世界超高清视频(4K/8K)产业发展大会

会议

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。广东省委书记李希出席开幕式,省长马兴瑞出席并致辞。国家广播电视总局局长聂辰席、工业和信息化部副部长王志军、中央广播电视总台副台长蒋希伟出席开幕式并致辞。

2020世界VR产业大会云峰会

10月19日—20日,由工业和信息化部、江西省人民政府主办的2020世界VR产业大会云峰会在南昌举行。在10月19日的开幕式上,中共中央政治局委员、国务院副总理刘鹤发来书面致辞。江西省委常委、南昌市委书记吴晓军,工业和信息化部副部长王志军,江西省委书记、省人大常委会主任刘奇先后致辞。开幕式由江西省委副书记、省长易炼红主持。

世界显示产业大会

本周排行