大模型效率的关键是框架层和模型层协同优化

近日，《AI大模型技术能力评估报告2023》发布。百度文心大模型3.5以12项指标的7个满分，综合排名第一。其中，代表基础能力的算法模型和代表产业应用情况的行业覆盖两项重要指标，百度皆获得满分。

百度AI技术生态总经理马艳军表示，通用大模型是行业大模型的底座和基础。如果没有通用大模型作为基础，只是泛泛去讲行业大模型，实际上与以前的普通模型没有本质区别，无法带来质的飞跃。

谈起大语言模型，大家通常会感知到它能理解我们说的话，可以进行多轮对话，且有逻辑性。能理解、有逻辑、会推理，这些都是很客观的能力，是具备理性思考的能力；同时，大模型还让人们觉得它能创作，有文采。未来大语言模型的能力还会进一步突破数实的边界，产生更大的价值。而这些都是大语言模型核心技术的突破带来的改变。

马艳军认为，要想真正建好一个行业大模型，通用的底座模型能力是基础和根本。如果没有通用模型，只是一个细分场景一个细分场景地分别开发，就回到了原来打造普通模型的起点，难以实质性降低AI落地应用的门槛。

以文心一言为例，文心一言是百度自主研制的知识增强大语言模型，首先从数万亿数据和数千亿知识中融合学习得到预训练大模型，在此基础上采用有监督精调、人类反馈的强化学习和提示等技术，并具备知识增强、检索增强和对话增强等技术优势。文心一言的底座模型是文心大模型。2019年，百度推出文心大模型1.0，然后持续演进到2.0、3.0版本，今年5月份升级到3.5版本。通过飞桨深度学习平台与文心大模型的协同优化，文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等，模型效果提升50%，训练速度提升2倍，推理速度提升30倍。

业内普遍认为，大模型产业化依然面临诸多挑战，比如模型体积大，训练难度高；算力规模大，性能要求高；数据规模大，质量参差不齐等。要训练出一个真正好用的大模型，实际上依赖的是一整套的底层软件栈，需要算法、算力和数据的综合支撑。比如，要加速大模型训练过程，不是单纯“快”就行了，还得充分考虑算法特点，保证模型效果持续提升。再比如，需要支持大模型的自适应分布式训练，具备弹性容错能力，保障在大规模硬件集群上持续稳定训练。在这个过程中，需要深度学习框架平台与硬件相结合。

能不能提升推理部署性能进而降低服务成本，关系到能否真正实现大模型的规模化落地。马艳军表示，框架层和模型层的协同优化是提升大模型效率的关键，一方面持续提升模型效果，另一方面真正把大模型的训练和推理部署效率提上来，做到更高的性价比，才可能更快实现产业化落地。