引入33个大模型，百度智能云千帆大模型平台的“破茧时刻”
作者 | 三北
编辑 | 漠影
智东西8月16日报道，过去半年，越来越多的行业已经接入了大模型。
如果将大模型比作一道“佳肴大餐”，那么大模型平台就是供大厨烹饪的“厨房”。菜好不好吃，厨房的作用至关重要。当下，越来越多的“xx行业首个大模型”诞生，大模型行业落地进入效果验证的深水区，对大模型平台也提出了更高要求。
在与上百家客户磨合调研之后，百度智能云千帆大模型平台近期迎来了最新升级，在模型库、提示词库等方面实现迭代。
千帆大模型平台是一个覆盖从数据准备到模型训练、评估优化、测试服务、落地部署等全流程的企业级一站式开发环境和工具链，据称已有超15万企业申请试用，上百家企业与之深度接触。
随着千帆大模型平台扩大开放范围，智东西第一时间对其进行了试用体验，并通过对话百度智能云千帆大模型平台的相关专家，对其最新功能迭代，以及迭代背后的思路和产业洞察进行了深入探讨。
一、引入Llama 2等33个大模型，模型推理成本最多可降50%
在很多人的印象中，千帆大模型平台主要是支持百度文心大模型的调用和部署。但登入千帆大模型平台的操作台，我们发现，“模型仓库”中有很多可选项，多个第三方模型可以进行直接调用、部署，无需等待申请。
▲千帆大模型平台支持直接调用第三方大模型
千帆的工程师称，目前，千帆大模型平台除百度自研的文心大模型外，还支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型，成为国内拥有大模型最多的平台。接入的模型经过千帆平台二次性能增强，模型推理成本可降低50%。
企业和开发者调用第三方模型时为什么要使用千帆平台？这位工程师告诉智东西，接入是简单的动作，企业通过Llama 2等模型的官网就可以实现，但接入不是目的，关键是千帆平台能为用户带来更多的价值。
据称，千帆大模型平台上纳管的模型均经过平台优选，充分考虑可商用、模型效果和模型安全性。在此基础上，团队还对第三方模型做了一系列增强，比如通过全套工具链适配实现性能增强，通过SFT（全量参数微调）及强化学习等调优方式实现效果增强、安全性增强，从而为企业降本增效。
▲千帆大模型平台支持多种方法模型调优
同样是为了效果增强，千帆大模型平台本次还带来了应用支持方面的更新。
在“Prompt（提示词）模板”选项中可以看到，103款Prompt模板已经上线，包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个场景。据称其中大部分是基于百度智能云在产业实践中的积累。
▲103款Prompt模板已经上线千帆大模型平台
Prompt是指通过自然语言向大模型提出问题，问题的好坏直接影响大模型的内容输出质量。在实际应用中，大模型往往因为Prompt缺乏针对性、描述不清晰等原因影响到内容准确性。
用不同Prompt给某对话机器人提问，会得到不同的效果。比如当Prompt输入：“《长安三万里》好看吗？”，机器人会输出一个比较简单的结果：
“《长安三万里》是一部非常出色的动画电影，它以唐朝为背景，通过展现那个时代的文化繁荣和诗歌艺术的精髓，让观众能够深入感受到唐朝的历史和文化氛围。
电影在画面、故事、演员表现和制作质量等方面都表现出了极高的水平，让观众能够沉浸其中，感受到角色的内心世界和情感纠葛。同时，电影还将传统的唐乐和现代音乐相融合，为电影增添了一种独特的气息。
虽然电影也有一些缺点，例如某些情节可能过于紧凑，某些角色的发展可能不够充分，但是这些缺点并不影响电影的整体质量。总的来说，《长安三万里》是一部非常值得观看的动画电影，如果你对历史和文化有浓厚兴趣，那么这部电影一定不容错过。”
对比来看，使用Prompt模板+原始Prompt：“我希望你充当一个电影评论家。你将编写一篇引人入胜和有创意的影评。你可以涵盖诸如情节、主题和基调、演技和角色、方向、配乐、电影摄影、制作设计、特效、剪辑、节奏、对话等主题。但最重要的方面是强调电影给你的感觉。什么是真正引起你的共鸣。你也可以对电影进行批评。请避免剧透。电影名称是《长安三万里》”。因Prompt更详细具体，对话机器人回复了更符合预期的答案：
“《长安三万里》是一部极具创意和想象力的动画电影，带领观众穿越到繁华辉煌的唐朝，展现出那个时代的文化气息和诗歌艺术的精髓。这部电影在情节、主题、演技、制作等方面都表现出了极高的水平，但最令人难忘的是它给观众带来的那种沉浸式的感受。
电影以李白和高适的友情为主线，将历史上的文人墨客融入其中，让观众在欣赏美轮美奂的画面和感受情感纠葛的同时，也能领略到唐诗的魅力。情节紧凑跌宕，人物形象生动鲜明，使得观众能够深入感受到角色的内心世界。
在演技方面，主要演员的表演非常出色，将角色的个性和情感表现得淋漓尽致。他们的表演为电影增色不少，让观众更加深入地融入到故事情节中。
电影的制作质量也非常高，从镜头到音效到配乐，都展现出了精细的制作和精美的设计。特别是电影的配乐，将传统的唐乐和现代音乐相融合，为电影增添了一种独特的的气息。
当然，电影也有一些缺点。例如，有些情节可能过于紧凑，让人有些无法消化;某些角色的发展可能不够充分。让人难以完全理解他们的内心世界。但是，这些缺点并不影响电影的整体质量，仍然是一部值得观看的电影。
总的来说，《长安三万里》是一部非常出色的动画电影，它带给观众的不仅是视觉上的享受，更是精神上的震撼。如果你对历史和文化有浓厚的兴趣，那么这部电影一定不容错过。”
Prompt模板的更新标志着千帆大模型平台的边界进一步拓展，向用户的应用效果靠近，从而大大降低了大模型的使用门槛。
而不断降低使用门槛，也是千帆大模型整条工具链平均每两周一迭代的一个重要指导思路。
千帆的工程师说，千帆大模型平台包含了海量数据处理标注、再训练、微调、强化学习、评估、高效压缩、自动化Prompt工程、快速应用编排等工具。通过这一系列工具链，千帆的核心是服务于企业核心的需求痛点，从而增强终端的大模型应用效果。
▲千帆大模型平台提供大模型全流程工具链
二、“炼模”路难关多，几百家客户摸着“千帆”过河
千帆大模型平台迭代背后，是百度智能云团队与数百家企业的磨合和深度调研。
千帆的工程师谈道，自千帆大模型平台于3月27日正式上线以来，团队每周都会对接大量客户，了解他们的平台使用情况、大模型应用的效果。目前千帆大模型平台已有超15万企业申请，内部深度跟进的就有上百家。本次功能的迭代，正是从和当前深度接触的客户的场景实践中来。
▲千帆大模型平台全景
团队发现，当下大模型需求可以归结为两类：
一是企业希望通过大模型改善它终端应用的效果，并且很多企业在孵化很多创新的应用，这些企业核心关注需要的就是大模型的效果保障，包括它的推理SFT的工具链，以及Prompt工程。
二是有很多行业企业，包括像金融、能源、教育，这些企业的诉求是希望能够结合自己的行业已有的知识经验和丰富场景数据积累，去构建行业大模型，或者服务它的行业上下游企业。
从调研结果来看，90%以上的客户最关心的还是模型效果，这是所有企业最关注的“Top1痛点”。比如在大模型输入输出方面，企业不仅关注推理速度、输出信息准确度等客观指标，还会有一些主观评判。其次企业和开发者关注性能的提升，在资源消耗等方面寻求更高的性价比。
随着实践深入，客户的要求在不断变高。比如很多客户对内容生成速度上有要求，有的用户会提出将首个Token上线时间从7~8秒优化到1秒以内。此外，一些手机、车载厂商希望模型能放到本地，消除通信带来的延迟并增强用户隐私保护，这就需要平台配备满足更多样化需求的模型。
正是这些客户不断提出更高的要求，倒逼千帆去从工具链和模型角度做更多的性能优化。
实际上，在“炼模”的全过程中，企业在数据管理、模型训练、评估/优化、预测服务和Prompt工程和插件服务等各个环节都面临着不确定性及痛点，这也让专业的一站式的大模型平台需求更加迫切。
千帆大模型平台或许是国内经历客户真实场景测试最多的企业级一站式大模型平台。千帆的工程师谈道，在对客户的陪伴式服务过程中，团队收到了很多客户对千帆大模型平台的好评：
比如某政务场景客户，基于千帆平台构建了一个政务AI助手应用，在落地过程中发现对政策文件的解读不够精准详实，于是基于千帆SFT调优工具在几天时间内实现迭代，满意度直线提升；
某医疗客户，结合千帆平台做诊前诊中医疗辅助，通过提示词模版和域内知识检索结合，助大模型给出更好的辅助判断；
某电商客户，基于千帆提示词模板库将电商导购类的Prompt导入，在不到一周的时间里搭建了导购应用。
当下，随着“百模大战”进入深水区，更多的企业开始更关注模型效果调优、实际应用部署等过程中更细的问题。这些问题的解决依靠经验和工具的支撑，众多企业选择摸着“千帆”过河，这也客观上为千帆大模型平台的进一步迭代提供了源泉。
三、行业一线试练5个月，千帆大模型平台寻求“破茧时刻”
纵观全球科技圈，随着科技巨头掀起AI大模型竞赛，大模型平台成为兵家必争之地。
3月27日，千帆平台发布，百度在模型研发和产业应用上都做多工作，可以说百度是目前整个市场上接触开发者最多的大模型厂商。
千帆大模型平台正寻求新的“破茧时刻”，向更易用、更全面、更高效、更开放、更安全方向发展。
更易用：降低门槛，开箱即用。千帆希望通过把整个工具链做可视化界面封装，实现开箱即用。体现在产品的方案和框架，非专业人士5分钟也能很快理解和上手。
更全面：覆盖大模型全生命周期。应用大模型的行业和场景分散，对工具链的丰富性提出更高要求，为此千帆提供数据标注、模型训练与评估，推理服务与应用集成的全面功能服务。
更高效：训练与推理性能大幅提升。当下超大规模参数模型十分耗费算力，对其进行性能优化是复杂的工程，需要通过IaaS、PaaS、MaaS等多层服务优化服务链路。据称，团队在MLPerf榜单训练性能世界领先，千亿模型分布式并行训练加速能力和算力利用率大幅提升。
更开放：预置百度文心大模型与第三方大模型，助力大模型多场景落地应用。千帆从上线的第一天起就强调会预置第三方大模型，希望让客户通过多个模型测试后做出最优选择。
更安全：千帆对所有接入的第三方模型均做了模型安全增强，不仅保障文心大模型的内容安全，还保障了第三方大模型的安全输出。千帆提供完善的鉴权与流控安全机制，自带敏感词过滤功能。
千帆的工程师谈道，百度是端到端的四层技术架构的践行者。从底层的昆仑芯到飞桨深度学习框架，到大模型再到上层应用，每一层都有领先的技术和产品。千帆大模型平台基于四层架构，在大模型开发和应用的全生命周期过程中做了端到端优化，从而让客户感受到系统的提升，最后达到应用效果的提升。
结语：AIGC应用的孵化地上，企业摸着“千帆”过河
随着“百模大战”打响数月，众多行业大模型已经推出，产业接下来面对的是在真实应用场景中的模型价值验证。应用价值的实现不仅取决于模型算法本身，还与数据、调优方法、应用部署等各个环节的操作相关，这都需要称手的大模型平台来为开发者提供支持。
百度智能云千帆大模型平台深度参与了国内大模型落地的进程，也正将洞察和经验沉淀为功能组件，从而为更多企业应用大模型提供重要的桥梁和工具。不过，当下国内外的大模型平台也都处于探索落地期，要真正让平台生态形成正向循环支持产业发展，依然有很远的路要走。
