Gartner孙志勇：企业要将投资回报率作为部署生成式AI的标尺

“企业部署生成式AI时，投入的成本费用很容易过度溢出，企业应该持续关注投资回报率，将其作为在大模型领域投入的标尺。”12月4日，知名咨询公司Gartner研究副总裁孙志勇在接受经济观察网等媒体采访时表示。

孙志勇是Gartner首席信息官研究团队的成员，主要研究数字化转型、数字化商业模式创新等领域。他举例，比如有一家企业要做大模型的定制部署，初期投入费用可能需要4000万元。但随着应用场景的增多，定制模型的训练量、语料和算力等费用的需求也会随之上涨，4000万元只是开胃菜，后面可能还要追加几千万元甚至上亿元的投入成本。

孙志勇建议，并非所有的企业都适合部署大模型，不同类型、规模的企业需要根据实际情况，选择合适的方式部署大模型。在出现业务人员不会用、模型能力不足等情况时，企业会发现投入大模型产生的价值并不高。所以企业要持续评估部署大模型的ROI，及时纠偏或者止损，并控制整体的费用规模。

企业要选择合适的大模型部署方式

孙志勇介绍，企业部署生成式AI大致有“使用、嵌入、扩展、定制、自建”这五种最基本的方式。

第一种“使用”是指企业直接订阅商业的生成式AI应用，例如编码助手、办公软件的AI助手等，前期费用差不多是100万元量级。

第二种“嵌入”是指企业将AI模型的能力嵌入已有定制化的应用，例如增加个性化的检索增强生成功能，费用在500万元左右。

第三种“扩展”是指企业提供一些关键语料或智能工具，使大模型拥有更精准的数据库检索能力，费用大致在500万元范围内。

第四种“定制”是指企业通过微调定制生成式AI模型，其应用以银行、保险公司的头部企业为代表，他们通常会基于开源大模型进行调优，实现定制化的模型部署。据Gartner对头部企业的调研，这种方式的成本包括模型、算力、部署、安全和培训等等，成本较高，初期费用大致在4千万元左右，上不封顶。部分头部企业花费已达1亿元。

第五种“自建”是企业从零开始构建自研大模型，需要投入的费用在亿元量级。比如，部分药企会自研用于药物发现的应用大模型。

当企业处于接触AI应用的早期阶段时，孙志勇建议尽量只用直接使用生成式AI应用的模式或嵌入模式，最多不要超过扩展RAG模式。

他认为，生成式AI应用涉及较多的技术细节，需要大量积累经验。尤其是定制应用模式，企业内部也需要足够多懂模型的人员，例如懂得微调模型的架构师、能够处理AI数据的工程师以及评估模型的专家、提示词工程师等。

当企业已经有了大量的AI应用经验后，孙志勇认为企业可以走定制模型的道路，因为这是高投入高回报的收益体系，投得越多，企业的生成式AI能力可能就会更强。

孙志勇表示，国内已有头部银行基于开源模型做了定制化的模型，在内部开发出了2000多个业务场景和应用，拉开了和竞争对手的差异。

此外，企业的体量也是重要的选择依据。出于自主可控的目的，大型企业会重点使用“定制”这一模式。同时，大型企业的资金规模和信息技术预算都比较大，一般会选择“使用”“嵌入”“扩展”“定制”这4种部署方式。而绝大部分中小型企业只使用前3种方式部署生成式AI。

大模型厂商容易出现商业化困境

从孙志勇的观察来看，目前采用生成式AI应用最多的行业分别是金融机构、新能源车企和医药行业。

具体场景在不同行业有一定差异，比如金融机构主要用生成式AI应用来做客户虚拟助理、内部员工助理等。而新能源车企则用于创造智能驾驶道路测试的虚拟场景。对医药企业而言，更多的是做药品的临床研发和测试。

这一定程度说明了大模型已经被部分行业采用，但孙志勇认为，目前提供大模型服务的厂商仍然存在变现模式不清晰、商业化效果不理想的问题。

孙志勇认为这其中一个重要的原因是，相比标准化的产品，国内很多企业都更偏好定制化的产品，这种模式会让大模型厂商的毛利率很低。

孙志勇提到，以云服务为例做一个中美对比，美国的云厂商的营收可能是Saas占70%，Iaas(基础设施即服务)占30%，而在中国这个数字是倒过来的。通常来说，SaaS适合企业用户使用标准化的软件应用，IaaS则适合需要高度灵活性和可扩展性的用户。

孙志勇认为，产品标准化的程度越高，大模型厂商未来的销售和营收的预期就越稳定。未来大模型厂商会寻求的一个突破点，可能是做垂类模型的应用，将他们利用大模型给别人做服务，以及交互过程当中所产生的一些场景产品化。

除此之外，国内企业的业务负责人，尤其是首席财务官和首席执行官，最关心使用大模型后降本与增收的情况。在孙志勇看来，目前生成式AI带来较多的是一些非财务性的价值。比如提高效率、客户体验等。

非财务性的价值难以量化，这是当前很多企业部署生成式AI时容易碰到的矛盾。

孙志勇提到了变革管理来改变对大模型的投资回报率评估，即关注大模型的落地和企业的业务变革结合。他举例，现在国内不少银行都会把大模型嵌入到客服管理中心，主要是为了提供工单自动生成能力。

过去，银行客服需要一边跟客户交流了解问题，一边打字记录，随后总结形成工单，流程繁琐，且还需要将工单送至经理处审批，得到反馈后才能答复客户。

现在使用大模型实现工单自动生成后，企业将客服系统与后台实时管理系统或企业管理系统相连接，进行流程再造，使工单生成后可直接发送至经理处，经理在线审批，从而提升效率并实现了价值转化。