工业和信息化部主管 中国电子报社主办
联系合作 投稿

软件服务

大数据热 高端人才缺

阿里巴巴支付宝用户价值创新中心是支付宝大数据业务的核心部门,这个只有7个人的团队负责为公司开发出可以销售的商业化大数据产品。虽然阿里巴巴各类业务产生的数据为数据分析创造了非常好的基础条件,然而这个团队却因为招聘不到合适的数据科学家而在研发上进展缓慢。


照片 696


《中国电子报》资料照片


“大数据泡沫如果现在存在的话,恐怕并非数据的作用被过分夸大,而主要是由于真正具备资质的数据科学家数量不足导致的。”零点研究咨询集团董事长袁岳认为。


IDC认为,大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。而据该机构预测,中国大数据技术与服务市场将会从2011年的7760万美元快速增长到2016年的6.16亿美元。


数据科学家不足成为发展瓶颈


大数据职位相关的技能主要包括数学、统计学、数据分析、商业分析和自然语言处理,数据科学家是复合型人才,是对数学、统计学、机器学习等多方面知识的综合掌控。


不仅仅是阿里巴巴在面对大数据发展时遭遇人才瓶颈,多家咨询机构也都预测了大数据的快速增长和人才需求规模。麦肯锡全球学会(McKinsey Global Institute)2011年发布的一份报告显示,到2018年,美国需要14万名至19万名具有“深度分析”经验的工作者,以及150万名更加精通数据的经理人,无论是已退休人士还是已受聘人士。


而据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%%的组织设立首席数据官职位。其中有190万个工作岗位将在美国。而每一个与大数据有关的IT工作,都将在技术行业外部再创建3个工作岗位,这将在美国再创建将近600万个工作岗位。


但是,Gartner也同时指出,拥有大数据技能的IT专业人员严重短缺,只有1/3的新的工作岗位将雇佣到人员。


去年7月,阿里巴巴集团成为国内第一家任命首席数据官的企业,产业界普遍看好数据人才的未来。


那么,大数据人才究竟是哪类人才?在英特尔中国研究院首席工程师吴甘沙看来,大数据最关键的部分是数据分析和挖掘数据价值,要获得这些,就需要大量的数据科学家。数据科学家是复合型人才,是对数学、统计学、机器学习等多方面知识的综合掌控。初级的分析人员只能是对数据进行报表、描述性分析,真正高级的数据科学家需要对数据做出预测性的、有价值的分析。从目前的人才储备来看,这部分的储备欠缺。


国际数据分析研究所的分析师们认为,大数据职位相关的技能主要包括数学、统计学、数据分析、商业分析和自然语言处理。尽管还没有达成一致,但是数据科学家、数据架构师等职位的需求已经逐步获得了共识。


掌握机器学习和知识图谱很重要


从计算机学界的理解来看,大数据的核心技术是机器学习和知识图谱,掌握这类知识和技术的人才最为紧缺。


相对国际分析师认为的大数据急缺数据科学家的判断,来自企业的资深人士则表达了不同的看法。风牵云启信息技术有限公司CEO邓侃博士向《中国电子报》记者表示,大数据需要三类人才:第一类是云计算IAAS方面的人才;第二类是掌握计算框架和基础算法,能将应用很快部署到云计算上的人才,他们需要掌握机器学习(deep learning)和知识图谱(knowledge graph);第三类是应用人才,能够对某类应用做统计并预测趋势,例如用大数据检索空气质量,利用网页进行大规模搜索或统计等。


“现在第一类人才相对其他两类已经比较多了,第二类正在逐渐聚集,第三类比较少,但是也开始有了。”邓侃表示,“从计算机学界的理解来看,我们认为大数据的核心技术是机器学习和知识图谱。这是一种框架性的知识,介于基础设施和应用之间的技术。例如大数据应用的代表谷歌公司就有两个大的开发方向,一个是机器学习,另一个是由搜索团队负责的知识图谱。”他同时认为,掌握第二层知识和技术的人才最为缺少。


神舟通用数据技术公司总经理何清法告诉《中国电子报》记者,任何一种大数据方案都不可能适合所有的行业,因此,大数据的核心业务必然是一种扎根于特定行业,综合运用已有的存储、分析、挖掘、展现技术,根据用户需求并融入行业特色技术模型的一站式大数据平台业务。


正是由于大数据具有这样的业务特点,所以企业最需要两种人才:一类是综合型人才,另一类是技术专家。一方面,大数据具有强烈的行业特点,这就需要综合型人才,这种人才需要了解行业,了解技术的各个层面,以综合的视角制定确实可行的方案为目的,还必须具有统计学背景,并对数据管理有丰富经验,他们是目前最急缺的人才;另一方面,大数据方案的实现,必须由技术专家来完成,技术专家的能力也直接决定了企业所能制定大数据方案的深度和广度,传统的数据库应用开发,特别是商业智能应用开发人才,以及熟悉Hadoop等分布式存储的人才,也都是必不可少的。


“这两方面的人才缺一不可,就如同经济基础与上层建筑之间的关系一样。”何清法强调。


北京航空航天大学教授马帅也赞同复合型人才的说法,他认为,大数据人才既需要懂计算机,也需要懂数学统计、经济,还需要懂业务。其中,真正理解业务、能根据大数据应用需求写出核心算法的人非常少。


大数据人才培养需要校企合作


企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。


中国大数据人才缺口究竟有多大?邓侃粗略估算至少需要100万人。对于企业来说,虽然人才储备有缺口,但是大数据业务还是得做。邓侃建议,国内企业可以借鉴国外做法,首要是明确企业的战略方向是什么,业务需要哪些大数据支持。具体到淘宝金融,邓侃举例,它需要大数据实现金融业务处理,那么就需要了解金融行业和Hadoop/MapReduce的人才,而具体到百度,需要知道用大数据怎么做搜索,与搜索技术有关的人才就是他们需要的。


邓侃告诉《中国电子报》记者:“虽然目前大数据应用比较少,人才也比较少,但是中国的知识积累并不少,例如中国的学术界和产业界在机器学习上也有积累,现在的问题是如何将这个知识和大数据结合起来。”


记者了解到,前不久,北京航空航天大学计算机学院、软件学院和百度、淘宝、腾讯等企业合作,联合开办国内第一个大数据专业工程硕士。运作该项目的负责人慧科教育总裁方业昌博士告诉《中国电子报》记者,之所以由这些企业和大学合作来培养自己所需要的大数据人才,是因为考虑到大数据的解剖对象是大量的数据,这些数据只有企业才有,而学校并不生产数据。在企业的支持下,学校就能通过针对性的实践训练来培养学生的技能。


何清法表示,目前互联网公司已经意识到人才紧缺的问题,建立了专门的数据科学家团队,但是对于金融、能源等行业公司来说,与专业的数据处理公司合作、使用成熟的产品和技术是更为现实的选择。


责任编辑:系统管理员


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

2023中国电子报编辑选择奖

12月26日,“2023中国电子报编辑选择奖”获奖名单正式出炉。本次评选采用企业自荐和编辑推荐两种方式,综合考量影响力、创新性、成长性等多个维度,围绕企业、技术、产品、解决方案等赛道评出20个奖项。

2024年全国工业和信息化工作会议

12月21日,全国工业和信息化工作会议在京召开。会议坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻党的二十大和二十届二中全会精神,深入学习贯彻习近平总书记关于新型工业化的重要论述,认真落实中央经济工作会议和全国新型工业化推进大会部署要求,总结2023年工作,部署2024年任务。

深入学习贯彻党的二十大精神·工信系统在行动

当前,全国工业和信息化系统正进一步深入学习党的二十大精神,将二十大精神贯彻落实到具体举措和实际行动。为深入学习宣传贯彻党的二十大精神,中国电子报推出“深入学习贯彻党的二十大精神·工信系统在行动”专栏,通过调研采访报道各地贯彻落实党的二十大精神的具体举措、典型案例,反映各地实干担当、求真务实的精神风貌。敬请关注。

学习贯彻习近平新时代中国特色社会主义思想主题教育

学习贯彻习近平新时代中国特色社会主义思想主题教育开展以来,全国工信系统牢牢把握“学思想、强党性、重实践、建新功”的总要求,多措并举扎实推进主题教育高质量开局、高标准起步。

聚焦2023年全国两会

北京3月5日电 第十四届全国人民代表大会第一次会议5日上午在北京人民大会堂开幕。近3000名新一届全国人大代表肩负人民重托出席盛会,认真履行宪法和法律赋予的神圣职责。

世界超高清视频(4K/8K)产业发展大会

会议

2023全球数字贸易创新大赛

11月22—23日,2023全球数字贸易创新大赛总决赛在杭州举行。大赛是第二届全球数字贸易博览会重要活动之一,今年为首次举办。大赛设置人工智能元宇宙和区块链Web3.0两个赛道,吸引了近200家优秀企业及项目团队参与,其中,100余家入围半决赛,24家进入总决赛。

2023世界VR产业大会

10月19日,由工业和信息化部、江西省人民政府共同主办的2023世界VR产业大会在江西南昌开幕。江西省委书记、省人大常委会主任尹弘,工业和信息化部副部长徐晓兰,江西省委常委、南昌市委书记李红军出席开幕式并致辞。开幕式由江西省委副书记、省政府省长叶建春主持。

2023世界显示产业大会

9月7日-8日,由四川省人民政府、工业和信息化部主办的2023世界显示产业大会在四川省成都市召开。四川省委副书记、省长黄强,工业和信息化部党组成员、副部长张云明,重庆市政府党组成员、副市长江敦涛,德国联邦经济发展和对外贸易协会主席米夏埃尔·舒曼出席开幕式并先后致辞。

2023世界超高清视频产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2023世界超高清视频产业发展大会在广州召开。5月9日,广州市委副书记、市长郭永航,中央广播电视总台副台长胡劲军,国家广播电视总局副局长朱咏雷,工业和信息化部总工程师赵志国,广东省委副书记、省长王伟中出席开幕式并先后致辞。

2022世界集成电路大会

11月17日,由工业和信息化部、安徽省人民政府共同主办的2022世界集成电路大会在安徽省合肥市召开。安徽省委书记、省人大常委会主任郑栅洁出席会议。安徽省委副书记、省长王清宪,工业和信息化部党组成员、副部长王江平出席开幕式并致辞。

世界显示产业大会

本周排行