云VS本地：谁是生成式人工智能主导的未来战场？

企业客户的数据明确但存在冲突。尽管有94%的客户表示他们今年在人工智能上的投入更多，但由于预算的限制，这将会削减在其他项目的投入。此外，关于在哪里运行生成式AI的问题，客户几乎完全分为公共云和本地/边缘计算两派。让问题变得更加复杂的是，开发人员称公共云在功能丰富性和创新速度方面的体验非常出色，然而知识产权泄露、合规性、法律风险和成本等问题将限制组织机构对公共云的使用。

在这份报告中，我们将分享关于大型语言模型采用情况的最新数据和思考，以及影响市场发展的因素。与往常一样，我们将分享最新的ETR数据，以揭示客户在平衡风险和价值实现时间方面所面临的关键问题。

企业IT支出仍然紧缩

下面的图表是最新的ETR支出快照中的数据。该数据包括1,777名高级IT决策者，代表了超过7500亿美元的支出能力。

高级IT决策者们在2022年结束时期望他们的预算能增加4-5%。但到了一月份，这个数字反而下降了4.1%，尽管在今年的各个时间段都有小幅度的增长，但目前仍然只增长了2.9%，远低于最初的预期。

预算限制迫使进行权衡

在预算有限的情况下，生成式AI的迅速发展导致组织机构不得不重新设置优先级。正如我们在去年与Andy Thurai进行的分析中所分享的那样，人工智能投资回报一直难以捉摸。但ChatGPT热潮促使董事会下达了一项自上而下的命令，并因此改变了企业技术方面的支出重点。

上图显示了ETR追踪的行业。净分数或支出动力位于纵轴上，调查中的普及度位于横轴上。虽然所有行业在2022年都感受到了预算限制的压力，但AI作为领先的细分市场之一，到了2022年10月，被压缩到低于40%的红色虚线——即支出速度的高水位线。ChatGPT在11月份进入市场后，AI支出加速增长。然而，预算并没有发生明显变化。

因此，我们看到其他行业出现了压缩的情况，这表明在短期内，对生成式AI的资金投入将对市场的其他细分领域产生一定程度的稀释效应。

对AI的支出超过其他项目

正如我们之前提到的，在下面的数据中显示，94% 的客户报告称他们将在2023年增加他们在AI上的支出。

尽管大多数客户报告称其支出增长幅度为10%或更低，但有36%的客户表示他们的支出将增长两位数。

高层领导的要求与风险偏好相冲突

来自高层自上而下的压力要求企业“搞清楚”生成式AI，这是一项紧迫的任务，实际执行起来更具有挑战性。下图显示了客户在生产环境中如何使用生成式AI。虽然有34%的客户表示他们不在评估中，但这个数字较上一季度大幅下降。

无论如何，在实际生产环境中，有两件事值得注意：

1）大多数人仍处在评估阶段；

2）使用案例相当直观，聊天机器人是最重要的应用领域，其次是代码生成、文本摘要和撰写市场营销文案。

我们认为，组织必须真正理解商业案例并确定投资回报率。最大的投资回报驱动因素将是降低劳动力成本。你可以将其归类为提高生产力，但最终目标是减少对人力资源的需求。这并不一定意味着失业率会上升——它只是意味着价值的主要驱动因素将是减少员工数量。这无疑会改变就业所需的技能。

组织必须评估GenAI的风险

一个关键挑战是，在上层动力确实存在的情况下，部署会带来一系列风险问题。下面这张幻灯片来自Technalysis发布的一项最新研究，该独立分析公司由分析师鲍勃·奥唐奈尔运营。它展示了1,000名IT决策者所关注的GenAI相关最重要的问题，包括合规性、知识产权泄露、法律问题（如版权侵犯）、数据和工具质量等。

这些都是对生成AI及其使用方式谨慎的合理原因。

重新思考云与本地之间的平衡

对于GenAI风险的担忧导致许多组织表示他们将在本地进行GenAI部署。

下面是ETR提供的一些数据，显示组织报告了相同比例的私有和公有基础架构，即公共云或本地/边缘部署。云的吸引力在于它拥有最好的工具，但出于Technalysis调查中提到的原因，私有基础架构预计将成为一个流行的部署选项。

但云仍然具有优势。目前，云中存储了大量的数据——我们认为40-45％的工作负载正在云上运行，也许到明年可能达到50％。正如我们在以前的研究中报道的那样，云和本地正在趋于平衡——云仍在以更快的速度增长——但对于许多传统应用程序来说，迁移到云端的商业案例还没有那么强大。我们相信，云端增长的很大一部分来自于现有云工作负载之上的新应用程序或功能。

本地工作负载正成为注入人工智能的良机，诸如思科、IBM、戴尔技术和HPE等老牌企业正在寻找机会并积极投资。

云依然具有巨大优势

事实上，在与开发人员交流时，他们普遍认为云在人工智能领域非常强大。以下是我们强调过的八个观点，开发者告诉我们公共云满足了这些需求。我们相信，在考虑云和本地GenAI解决方案之间的功能权衡时，这些观点可以作为客户的参考指南。

AI的创新速度，建立在像Amazon SageMaker这样的先前工具之上。集成的简易性和推动的生产力……使开发人员能够迅速实现预期结果。我们鼓励我们的社区访问thecubeai.com作为一个示例，并注册我们的私有测试版。我们的团队使用AWS上现成可用的工具，包括开源LLMs、MongoDB、Milvus作为我们的向量数据库和其他云工具，在几周内迅速构建了这个平台。

根据我们收到的查询，模型训练需要更多时间，但是MVP（最小可行产品）开发时间仅为正常软件产品开发周期的十分之一。

我们在上述第4点中强调了重要性——即模型选项的多样性——不仅来自云供应商，还来自于第三方供应商。

第5点和第6点也非常关键——能够隔离推理请求，使LLM供应商无法访问任何客户数据。安全性提供丰富性也是关键因素。例如，确保数据保留在特定地区以及对数据传输进行加密等功能。

云提供了从硅到AI工具链、最大程度的数据库选择、治理选择、身份访问、开源工具可用性以及丰富的合作伙伴生态系统的一流工具。

因此，尽管HPE和Dell这样的公司已经宣布提供LLMs作为服务，但他们的能力如何，以及他们是否真正将LLMs无缝地集成到解决方案中，还并不确定。

虽然在本地进行工作可以降低风险并且非常合理，但现有企业需要做大量工作来建立全面的解决方案和生态系统合作伙伴堆栈。

比较云与现有企业之间客户支出势头

与现有企业基础设施供应商相比，云供应商具有更强劲的业务动力。尽管有关云优化、重返本地和增长放缓等话题屡见不鲜，但数据仍明显支持云供应商。

上面是ETR数据，显示了几位有潜力的LLM领导者的净分数分解。净分数是一种度量支出速度的指标。它跟踪新客户的百分比-这就是酸橙色。深绿色表示与去年相比支出增加6％或更多。灰色表示支出持平，粉红色表示支出减少6％或更糟，明亮红色表示流失客户。将红色从绿色中减去，就可以得到右侧柱形图中显示的净分数。

在净分数右侧，我们显示了调查中的回应数量，这是市场影响力的代理变量。因此，正如您所看到的，AWS、微软和谷歌的净分数分别为51％、49％和34％，并且N值接近或超过1,000。

DELL和HPE相比，在市场影响力方面，DELL有着很强的存在感（N超过800），HPE也高达483。但从支出角度来看，云计算仍然具有明显较高的动力。

追踪一些关键数据平台

下面我们展示了Databricks、Snowflake、IBM和Oracle等一些重要的数据平台名称的同样数据。Databricks具有非常可靠的60％净分数，已经超过了47％的Snowflake，尽管Snowflake在市场影响力上更大。但显然Databricks正在逐渐接近Snowflake的传统领域。正如您所看到的，IBM和Oracle的净分数较低，分别为10％和-1％，但数据集中有大量数据。

GenAI何时会在利润表中显示出来？

我们预计对人工智能（包括GenAI）的支出将在2023年下半年开始对利润表产生明显影响。

以AWS为代表，下图显示了AWS自2022年第一季度以来的收入增长率。我们认为，在第三季度，减速将趋于稳定，根据当前的预测，由于人工智能作为助推因素和第四季度的季节性因素，增长将在第四季度重新加速。特别是我们预计GenAI将推动更多的计算和存储支出，并在数据平台和相关工具方面产生附加支出。

这种情况存在一些风险，包括宏观环境和大数定律的作用，以及竞争，但我们目前的想法是我们正在云优化的尾声阶段，并转向新的工作负载启用。

GenAI的功耗分布

John Furrier经常在theCUBE上谈论幂律。我们将通过观察对大型语言模型进行修改后的幂律分布来进行总结。

幂律分布是两个数量之间的统计关系。简单地说，幂律分布可以理解为80/20法则。例如，我们销售额的80%来自我们产品组合中的20%。在下面的图表中，我们对这个概念做了一些改进，认为只有少数公司会构建大规模的语言模型。大多数LLM将位于X轴上较长的尾部，并且非常特定于行业，并且它们的规模较小。

此外，边缘部署将会非常丰富，并且高度敏感于延迟、经济性和功耗消耗。

在这里，我们想要提出几点观点：

首先，我们认为企业技术创新仍然受到消费者规模的推动。个人电脑芯片、来自搜索引擎和社交媒体的数据实力、闪存存储以及最近的Nvidia游戏等等，所有这些都通过消费者渠道进入了企业。

我们相信，大型云计算和消费品牌将主导最大模型空间和模型的持续运行。

与Web不同的是，Web上的幂律曲线就像一堵笔直向下没有躯干的墙（橙色线沿Y轴）。我们相信LLM领域将像红色虚线所示一样被拉升并向右上方移动。在这个领域，我们相信开源和第三方工具将填补空白，以及Snowflake和Databricks等云合作伙伴。

戴尔、HPE和IBM等本地市场占主导地位的企业将成功，当他们能够利用LLM多样性，并将其部署在他们的市场模型中...以一种与云计算一样简单、更受控制且对于他们特定用例而言更具成本效益的方式。重要的是，我们认为企业人工智能将需要明确的投资回报率和经济价值，否则项目将无法成功。

正如我们之前所说，我们相信主要价值将来自于减少人员数量。

与此同时，我们相信边缘计算将由基于低成本、低功耗、高性能系统构建的架构主导 ——往往是基于Arm的设计，并且是大规模的。比如特斯拉和苹果。我们相信边缘计算的经济学最终将进入企业并成为一股破坏性力量。

这可能需要十年左右的时间，但自个人电脑打破大型机以来，企业IT的经济学一直受消费者规模的推动，我们认为这一浪潮也不例外。人工智能+数据+规模经济学将决定未来几年内行业的基本结构。

无论您在哪个行业中，我们认为这是一值得做出投资的。然而，应用它需要仔细和深入的思考...