工业和信息化部主管 中国电子报社主办
收藏本站 投稿

人工智能

华为发布大模型时代AI存储新品

7月14日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

image.png

企业在开发及实施大模型应用过程中,面临四大挑战:

首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。

FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

华为数据存储产品线总裁周跃峰表示:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。”

责任编辑:赵晨


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

服贸会

专题

2022年中国家电市场报告

3月29日,中国电子信息产业发展研究院(又称赛迪研究院)发布了《2022年中国家电市场报告》(以下简称《报告》)。《报告》显示,2022年,我国家电市场零售总额为8352亿元,同比下降5.2%,但线上渠道和下沉市场家电零售额增长明显,稳住了市场总盘,体现了我国家电市场的韧性。

聚焦2023年全国两会

北京3月5日电 第十四届全国人民代表大会第一次会议5日上午在北京人民大会堂开幕。近3000名新一届全国人大代表肩负人民重托出席盛会,认真履行宪法和法律赋予的神圣职责。

2023年全国工业和信息化工作会议

1月11日,全国工业和信息化工作会议在北京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的二十大精神,认真贯彻落实中央经济工作会议精神和党中央、国务院决策部署,总结2022年工作,部署2023年重点任务。

第5届中国—东盟信息港论坛

2022年9月16日,由国家互联网信息办公室、国家发展和改革委员会、工业和信息化部、广西壮族自治区人民政府联合主办的第五届中国—东盟信息港论坛将在广西南宁开幕。该论坛主要围绕数字经济发展和智能互联、数据互通、合作互利等开展交流研讨、建言献策,进一步推进互联网经贸服务、人文交流和技术合作。

2022“三品”全国行

为贯彻落实《国务院关于印发扎实稳住经济一揽子政策措施的通知》要求,加快推进数字化助力消费品工业“三品”战略实施,进一步提振消费信心、挖掘消费潜力,巩固增强消费对经济发展的基础性作用,工业和信息化部近期组织开展2022“三品”全国行活动。中国电子报特开辟2022“三品”全国行专栏,报道活动进展、专家观点、政策解读,敬请关注。

世界超高清视频(4K/8K)产业发展大会

会议

2023世界超高清视频产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2023世界超高清视频产业发展大会在广州召开。5月9日,广州市委副书记、市长郭永航,中央广播电视总台副台长胡劲军,国家广播电视总局副局长朱咏雷,工业和信息化部总工程师赵志国,广东省委副书记、省长王伟中出席开幕式并先后致辞。

2022世界显示产业大会

11月30日,由四川省人民政府、工业和信息化部主办的2022世界显示产业大会在四川省成都市开幕。全国政协副主席、民革中央常务副主席郑建邦以视频方式出席开幕式并致辞。四川省委书记王晓晖出席开幕式并宣布大会开幕。

2022世界集成电路大会

11月17日,由工业和信息化部、安徽省人民政府共同主办的2022世界集成电路大会在安徽省合肥市召开。安徽省委书记、省人大常委会主任郑栅洁出席会议。安徽省委副书记、省长王清宪,工业和信息化部党组成员、副部长王江平出席开幕式并致辞。

2022世界VR产业大会

11月12日,由工业和信息化部、江西省人民政府共同主办的2022世界VR产业大会在江西南昌召开。国务委员王勇出席大会开幕式并发表重要讲话。江西省委书记、省人大常委会主任易炼红,工业和信息化部党组成员、副部长王江平,江西省委常委、南昌市委书记李红军出席开幕式并致辞。

2022CITE第十届中国电子信息博览会开幕峰会

8月16日,第十届中国电子信息博览会(CITE 2022)在深圳举办。深圳市人民政府副市长张华,广东省工业和信息化厅党组成员、副厅长曲晓杰,工业和信息化部电子信息司副司长史惠康出席开幕式并先后致辞。

2021世界VR产业大会云峰会

10月19日—20日,由工业和信息化部和江西省人民政府共同主办的2021世界VR产业大会云峰会在南昌举办。国务委员王勇出席大会开幕式并发表讲话,江西省委书记易炼红,工业和信息化部副部长王志军,江西省委常委、南昌市委书记李红军出席开幕式并致辞。

世界显示产业大会

本周排行