人类已达硅计算架构上限！预计2030年，AI会消耗全球电力供应的50%
现在，我们已经习惯了计算会变得越来越便宜，以至于我们从来不曾怀疑过，也许有一天我们会用不起它。
现在，Rodolfo Rosini，一家初创公司的CEO提出了一个令我们震惊的问题：如果我们正在达到经典计算模型的基本物理极限，就像我们的经济依赖廉价的计算一样，那该怎么办？
大型计算的停滞
现在，由于缺乏技术创新，美国已经到达了一个平稳期。
赖特定律（Wright’s Law）在很多行业中都成立——制造工艺每改进20%左右，生产率就会翻一番。
在技术领域，它表现为摩尔定律。
在1960年代，英特尔联合创始人Gordon Moore注意到集成电路中的晶体管数量似乎同比翻了一番，提出了摩尔定律。
从此，这个定律就成为市场和工程之间契约的基础，利用过剩的计算能力和尺寸的缩小，推动计算堆栈中产品的构建。
那时的预期是，有了更快和更便宜的处理器，计算能力会随着时间呈指数级提高。
然而，构成摩尔定律的不同力量已经发生了变化。
几十年来，摩尔定律背后的推动力是Dennard缩放定律。晶体管尺寸和功耗同步减半，使每单位能量的计算量增加一倍（后者也称为Koomey’s LawKoomey定律)。
50年的微处理器趋势数据
2005 年，由于电流泄漏导致芯片升温，这种缩放比例开始失效，随之而来的是具有单个处理核心的芯片的性能停滞不前。
为了保持计算增长轨迹，芯片行业转向了多核架构：多个微处理器“粘合”在一起。虽然这可能在晶体管密度方面延长了摩尔定律，但它增加了整个计算堆栈的复杂性。
对于某些类型的计算任务，如机器学习或计算机图形，这带来了性能提升。但是对于很多并行化不好的通用计算任务，多核架构无能为力。
总之，很多任务的计算能力不再呈指数级增长。
即使在多核超级计算机的性能上，从TOP500 （全球最快超级计算机排名）来看，2010年左右也出现了明显的拐点。
这种放缓的影响是什么？计算在不同行业中发挥的越来越重要的作用表明，影响是立竿见影的，而且只有在摩尔定律进一步动摇的情况下才会变得更加重要。
举两个极端的例子：计算能力的提高和成本的降低使得能源行业石油勘探的生产率增长了49%，生物技术行业的蛋白质折叠预测增长了94%。
这意味着计算速度的影响不仅限于科技行业，过去50年的大部分经济增长都是摩尔定律驱动的二阶效应，没有它，世界经济可能会停止增长。
还有一个需要更多算力的突出原因，就是人工智能的兴起。在今天，训练大语言模型 (LLM) 可能花费数百万美元，并需要数周时间。
如果不继续增加数字运算和数据扩展，机器学习所承诺的未来就无法实现。
随着机器学习模型在消费技术中的日益普及，预示着其他行业对计算的巨大需求，而且可能是双曲线的需求，廉价的处理正成为生产力的基石。
摩尔定律的死亡可能会带来计算的大停滞。与达到AGI可能需要的多模态神经网络相比，今天的LLM仍然相对较小，且容易训练。未来的GPT和它们的竞争对手将需要特别强大的高性能计算机来改进，甚至进行优化。
或许很多人会感到怀疑。毕竟，摩尔定律的终结已经被预言过很多次了。为什么应该是现在？
从历史上看，这些预测中有许多都源于工程上的挑战。此前，人类的聪明才智曾一次又一次地克服了这些障碍。
现在的不同之处在于，我们面临的不再是工程和智能方面的挑战，而是物理学施加的限制。
MIT Technology Review2月24日发文称，我们没有为摩尔定律的终结做好准备
过热导致无法处理
计算机是通过处理信息来工作的。
当他们处理信息时，其中一些信息会随着微处理器合并计算分支或覆盖注册表而被丢弃。这并不是免费的。
热力学定律对某些过程的效率有严格的限制，而它也适用于计算，就像它适用于蒸汽机一样。这个成本称为Landauer’s limit兰道尔极限（Landauer’s limit）。
它是每次计算操作过程中散发的微量热量：大约每比特10^-21焦耳。
鉴于这种热量这么小，兰道尔极限长期以来一直被认为可以忽略。
然而，现在的工程能力已经发展到了可以达到这种能量规模的程度，因为由于电流泄漏等其他开销，现实世界的极限估计比Landauer的边界大了10-100倍。芯片有数以千亿计的晶体管，以每秒数十亿次的速度运行。
把这些数字加起来，或许在到达热障碍之前，摩尔定律或许还剩下一个数量级的增长。
到那时，现有的晶体管架构将无法进一步提高能效，而且产生的热量会阻止将晶体管封装得更紧密。
如果我们不弄清楚这一点，就无法看清行业价值观将会发生什么变化。
微处理器将受到限制，行业将争夺边际能源效率的较低奖励。
芯片尺寸会膨胀。看看英伟达4000系列的GPU 卡：尽管使用了更高密度的工艺，但它只有一只小狗那么大，功率高达650W。
这促使NVIDIA首席执行官黄仁勋在2022年底宣布“摩尔定律已死”——尽管这一声明大部分正确，但其他半导体公司否认了这一声明。
IEEE每年都会发布半导体路线图，最新的评估是2D的微缩将在2028年完成，3D微缩应该在2031年全面启动。
3D 微缩（芯片在其中相互堆叠）已经很普遍，但它是在计算机内存中，而不是在微处理器中。
这是因为内存的散热要低得多；然而，散热在3D架构中很复杂，因此主动内存冷却变得很重要。
具有256层的内存即将出现，预计到2030年将达到1,000层大关。
回到微处理器，正在成为商业标准的多门器件架构（如Fin场效应晶体管和Gates-all-round）将在未来几年继续遵循摩尔定律。
然而，由于固有的热问题，在20世纪30年代以后都不可能有真正的垂直扩展（vertical scaling）。
事实上，目前的芯片组会仔细监督处理器的哪些部分随时处于活跃状态，即使在单个平面上也能避免过热。
2030危机？
一个世纪前， 美国诗人Robert Frost曾经这样问道：世界会在霜还是火中终结?
如果答案是火，那就几乎预示着计算的终结。
或者，就接受这个事实：电力使用会增加，然后扩大微处理器的制造规模。
为了这个目的，人类已经消耗了很大一部分地球能源。
也许另一种选择是简单地接受增加的电力使用并扩大微处理器的制造规模。我们已经为此目的使用了地球能源供应的很大一部分。
在爱尔兰，仅70个数据中心就消耗了全国14%的能源。到2030年代，预计全球生产电力的30-50%将用于计算和冷却。
（有趣的是，在3月19日博文发表后，作者又将这个预测删除了。他的解释是，这是基于Nature论文中最坏情况的推断，为了论证的清晰和精确，现在已将其删除）
而现在的能源生产的规模化速度，在这之后会导致摩尔定律规模化的成本略微增加。
而在设计（能源效率）和实施层面（将仍在使用的旧设计替换为最新技术）的一系列一次性优化措施，将允许印度等发展中经济体赶上全球的整体生产力。
而摩尔定律终结后，人类在微处理器芯片的制造还没有达到极限之前，就会耗尽能源，计算成本下降的步伐将停滞不前。
虽然量子计算被吹捧为超越摩尔定律的有效途径，但它存在太多未知数了，离商用还有数十年的发展，至少在未来 20到30年内，都派不上用场。
显然，未来10年将出现严重的算力差距，现有的技术公司、投资者或政府机构都没办法解决。
摩尔定律和兰道尔极限的碰撞已经有数十年了，可以说是2030年代最重大、最关键的事件之一。
但现在，知道这件事的人，似乎并不多。
