百度发布大语言模型文心一言：目前训练还不够，未来会快速迭代

界面新闻记者 | 崔鹏

3月16日下午，百度发布新一代大语言模型、生成式AI产品文心一言。百度创始人、董事长兼首席执行官李彦宏表示，文心一言的使用场景主要包含文学创作、商业文案创作、数理推算、中文理解和多模态生成。

同时百度还公布了文心一言的邀请测试方案。3月16日起，首批用户可通过邀请测试码，在文心一言官网体验产品，后续将陆续开放给更多用户。

此外，百度智能云即将面向企业客户开放文心一言API接口调用服务。3月16日起正式开放预约，搜索“百度智能云”进入官网，可申请加入文心一言云服务测试。

李彦宏在现场多次提及，这类大语言模型还远未到发展完善的阶段，有赖于通过真实的用户反馈而逐步迭代。

百度创始人、董事长兼首席执行官李彦宏，图片来源：官方

百度方面表示，文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据，以及5500亿事实的知识图谱等。

据百度介绍，文心一言的视频生成能力则因成本较高，现阶段还未对所有用户开放，未来会逐步接入。

“多模态是生成式AI一个明确的发展趋势。”李彦宏表示，“未来，随着百度多模态统一大模型的能力增强，文心一言的多模态生成能力也会不断提升。”

百度公司首席技术官（CTO）王海峰表示，“文心一言”是新一代知识增强大语言模型，是在ERNIE及PLATO系列模型的基础上研发的；它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。

王海峰表示，融易新媒体，百度是全球位数不多拥有全栈布局的人工智能公司，图片来源：官方

王海峰称，前三项是这类大语言模型都会采用的技术，ERNIE和PLATO中也已经有应用和积累，在文心一言中又有了进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。

李彦宏表示，目前百度是全球大厂中第一个做出对标ChatGPT产品的企业，“无论是哪家公司，都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理，需要多年的坚持和积累，没法速成。”

他认为，百度是全球为数不多在“芯片-框架-模型-应用”四层进行全栈布局的人工智能公司；而百度AI全栈布局的优势在于，可以在技术栈的四层架构中实现端到端优化，大幅提升效率。尤其是框架层和模型层之间，有很强的协同作用，可以帮助构建更高效的模型，并降低成本。

超大规模模型的训练和推理，给深度学习框架带来了很大考验。为了支持千亿参数模型的高效分布式训练，百度飞桨专门研发了4D混合并行技术。

百度官方信息显示，自2月份百度官宣“文心一言”以来，已有超过650家企业宣布接入文心一言生态。

李彦宏预测，大语言模型将带来三大产业机会。

第一类是新型云计算公司，其主流商业模式从IaaS变为MaaS。之前企业选择云厂商更多看算力、存储等基础云服务。未来，更多会看框架好不好、模型好不好，以及模型、框架、芯片、应用这四层之间的协同。

第二类是进行行业模型精调的公司。这是通用大模型和企业之间的中间层，他们可以基于对行业的洞察，调用通用大模型能力，为行业客户提供解决方案。目前百度文心大模型已经在电力、金融、媒体等领域，发布了10多个行业大模型。