全球最大智能模型“悟道2.0”发布

6月1日，由北京智源人工智能研究院（以下简称智源研究院）主办的2021北京智源大会在北京中关村国家自主创新示范区会议中心开幕。

会开幕式上，北京市副市长靳伟、科技部战略规划司司长许倞出席并致辞。在大会开幕式上，智源研究院发布了全球最大的超大规模智能模型“悟道2.0”。在为期三天的会议中，智源研究院还将发布支持AI创业的“源创计划”，以及为海内外青年AI科研人员提供学术交流平台的“青源会”等工作计划或建设成果。

本次大会邀请到200余位国内外人工智能领域的顶尖专家参会，包括2018年图灵奖得主Yoshua Bengio（约书亚·本吉奥），2017年图灵奖得主David Patterson（大卫·帕特森），2017年欧洲大脑奖得主Peter Dayan（彼得·达扬），清华大学国家金融研究院院长朱民博士，北京大学鄂维南院士，加州大学伯克利分校人工智能统计中心创始人Stuart Russell（斯图尔特·罗素），自动驾驶之父Sebastian Thrun（塞巴斯蒂安·特龙），计算可持续性领域开创者Carla Gomes（卡拉·戈梅斯），艾伦人工智能研究所（AI2）首席执行官Oren Etzioni（欧伦·艾佐奥尼），微软亚洲研究院副院长刘铁岩，清华智能产业研究院首席科学家马维英等。参会专家将围绕人工智能领域的前沿研究进展及趋势开展深入研讨。

大会围绕国际人工智能学术前沿和产业热点设置了“预训练模型”“机器学习”“群体智能”“人工智能的数理基础”“智能体系架构与芯片”“精准智能”“智能信息检索与挖掘”“青源学术年会”“AI创业”“AI制药”“AI系统”“AI开放与共享”“AI科技女性”等29个专题论坛。议题范围非常丰富，从AI基础研究、跨界融合到产业应用，给学者、工程师、技术人员提供了一个交换和活跃想法的平台。

在6月1日的开幕式上，图灵奖得主Yoshua Bengio、清华大学国家金融研究院院长朱民博士，北京大学鄂维南院士分别围绕逻辑分析系统System2、数据资产、科学与智能做主旨报告。

在这次开幕式上，智源发布了全球最大的超大规模智能模型“悟道2.0”，智源研究院理事长张宏江介绍了“悟道”模型研发的背景。他认为，目前，“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义，未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。大模型就是下一个AI的基础平台，是未来AI发展的战略基础设施。

目前，国际主流的大模型主要基于英文语料研发，智源研究院作为AI基础建设的先行者，成立了由智源研究院学术副院长唐杰教授领衔，100多位科研骨干共同参与的“悟道”团队，启动面向中文的大规模智能模型研发工作。“悟道”模型系统将构建“大模型、大平台、大生态”，持续研发超大规模智能模型，围绕大模型研发，构建大规模算力平台，同时对外开放模型能力，“赋智”各行业发展，构建大模型生态。今年3月20日，智源研究院发布了中国首个超大规模智能模型“悟道1.0”，训练出中文、多模态、认知、蛋白质预测等系列模型。经过不到3个月的持续更新迭代，“悟道2.0”实现了更高层面的跨越。

开幕式上，智源研究院学术副院长唐杰教授介绍了“悟道2.0”模型的具体情况。他提到，“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。通过一系列原始创新和技术突破，本次发布的“悟道2.0”实现了“大而聪明”，具备大规模、高精度、高效率的特点。

全球最大万亿参数，新一代FastMoE补齐万亿模型最后一块短板。“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。

开创性的研发FastMoE技术，是打破国外技术瓶颈，实现“万亿模型”基石的关键。以往，由于Google万亿模型的核⼼技术MoE（Mixture of Experts）与其分布式训练框架和其定制硬件强绑定，绝大多数人无法得到使用与研究的机会。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。新一代FastMoE，支持Switch、GShard等复杂均衡策略，支持不同专家不同模型，为万亿模型实现方案补上了最后⼀块短板，让梦想终成现实。

“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据，以及Pile数据集的1.2TB英文文本数据。

另外，“悟道2.0”模型一统文本与视觉两大阵地，支撑更多任务，更加通用化。