近日,工业和信息化部直属国家一级科研事业单位中国软件评测中心发布《人工智能大语言模型技术发展研究报告(2024年)》,总结梳理大语言模型技术能力进展和应用情况,肯定国产大模型的发展成果,为产业界选用大模型提供了权威参考。报告显示,文心大模型技术、产品、应用全面领先,在智能体、多模型创新具备先发优势。
报告认为,百度文心大模型在芯片、框架、模型和应用领域进行全栈布局,在理解、生成、逻辑、记忆等基础能力以及安全能力方面全面领先,在智能体、多模型等模式引领技术创新、生态丰富,在大模型应用开发平台方面功能完备、应用领域广泛。目前,文心大模型4.0 turbo已正式发布,速度更快,效果更好,网页版、app、api已陆续面向用户开放。
算力、数据、算法是大模型三大基石,深度学习框架至关重要
报告指出,软硬协同的算力底座,高丰富度、高质量的数据,持续优化与创新的算法是大模型的技术基石。尤其是 ai芯片、深度学习框架、大规模算力集群等构成的算力底座是实现大模型高效稳定训练的基础。深度学习框架扮演了至关重要的角色,百度飞桨(paddlepaddle)是其中的代表。
飞桨集核心框架、基础模型库、端到端开发套件、丰富的工具组件于一体,实现了动静统一的框架设计,兼顾科研和产业需求,在开发便捷的深度学习框架、大规模分布式训练、高性能推理引擎、产业级模型库等技术上具备优势。目前,专为大模型设计的飞桨新一代框架3.0已经发布,具有动静统一自动并行、编译器自动优化、大模型训推一体、大模型多硬件适配四大能力。最新数据显示,截至目前,飞桨已拥有1465万开发者,服务37万家企事业单位,基于飞桨创建了95万个模型,稳居中国深度学习平台市场综合份额第一。
飞桨深度学习平台提供了高效的分布式训练架构,在万卡集群上,飞桨能够支持超大规模的模型训练任务,实现大量计算节点之间的高效协同,更好地完成大模型的训练任务,这不仅提高了训练效率,而且降低了训练成本。目前,文心大模型的周均训练有效率已达到98.8%,相比2023年文心一言发布时,训练效率提升到当时的5.1倍,推理性能提升到105倍。
在算法优化方面,国内大模型厂商通过多阶段对齐、知识增强等加速提升大模型性能。百度采用有监督精调、偏好学习和强化学习等技术进行多阶段对齐,逐步校准模型的行为,更准确地反映人类的意图和偏好。报告强调,百度文心大模型4.0还在输入、输出两个阶段都运用知识点增强,提升大模型的准确性,做出更准确的预测和决策。
文心大模型综合能力、效率优势明显,智能体成重要发展方向
报告显示,百度文心大模型在中文内容的生成和推理方面的能力十分优秀。在生成方面,文心大模型能根据给定的上下文或主题生成自然、流畅、富有创意的文本内容;在推理方面,能在应对复杂问题时进行深入分析和逻辑推理,给出更加准确和全面的答案。这使得文心大模型在中文语言处理领域具有独特的优势和价值。
智能体是开发最简单的ai应用,是大模型最看好的ai应用方向。以文心大模型为例,百度基于基础模型,进一步进行思考增强训练得到思考模型。智能体可以通过思考模型的理解、规划、反思能力,调用多个工具,完成复杂的任务。对 ai开发者来说,在搭建智能体时,百度这样的大模型服务商只要给出可调用的工具,以及相应的“说明书”即可。
报告中提到智能体的另一大应用是“代码智能体”。近日,百度智能代码助手comate发布中文名“文心快码”,并升级至2.5版本。目前百度80%的工程师已经在深度使用文心快码,代码采纳率已达到46%,新增代码生成占比29%。
百度首提多模型应用理念,大模型落地持续领先
报告认为,未来大模型的发展趋势包括多模态数据融合、提升自适应和迁移学习能力、可解释性算法提高模型透明度、提升产品研发针对性和定制化水平,以及从垂直领域入手开发专用大模型产品等。面对未来趋势,报告认为以文心大模型为代表的国产大模型在技术和产品上已具备显著特点,形成了一定的优势。
目前,文心大模型的模型研发平台化效率已实现快速提升,背后是百度在芯片、框架、模型和应用领域的全栈布局和端到端优化。从应用角度看,除基础模型的本身外,文心大模型已经发展出智能体、多模态等多种创新应用模式,出现代码生成、文生图、视频生成、数字人、自动驾驶等丰富多样的应用生态。针对大模型的落地,百度在2024年ai开发者大会上首提多模型应用理念。研发侧通过大小模型协同训练机制,高效、低成本地进行模型生产;应用侧构建智能路由模型,发挥不同模型处理不同任务的能力,达到效果、效率和成本的动态平衡。
2023年以来,人工智能大模型开启新一轮人工智能发展浪潮,成为科技产业发展强劲动能。2024年则有望成为大模型商业落地元年。百度文心大模型等国产模型在底层技术、核心能力和创新应用上展现出可贵的发展态势,具有广阔的应用前景和巨大的潜力。