Epoch AI：硬件占训练前沿AI模型成本的47-67%

近年来，训练前沿人工智能模型的成本急剧增长，但关于这些费用的规模和增长的公开数据有限。

分析显示，自2016年以来，前沿模型最终训练运行的摊销硬件和能源成本以每年2.4倍的速度快速增长。Epoch AI还估算了开发关键前沿模型的成本分解，包括研发人员成本和实验计算成本。大部分开发成本是硬件成本，占47-67%，研发人员成本占29-49%，其余2-6%用于能源消耗。

如果培训成本持续增长的趋势持续下去，到2027年，最大规模的培训将花费超过10亿美元。

关键结果

Epoch AI的主要方法是基于硬件折旧和模型训练期间的能源消耗来计算训练成本。硬件成本包括AI加速芯片、服务器、互联硬件。Epoch AI使用来自开发人员或可信的第三方报告的信息来识别或估计给定模型的硬件类型和数量以及训练运行时间。Epoch AI还估计了在每个模型的最后训练运行期间硬件的能量消耗。

使用该方法，Epoch AI估计了45个前沿模型的训练成本，发现总体增长率为每年2.4倍。

作为一种替代方法，Epoch AI还计算了使用租用硬件在云中训练这些模型的成本。这种方法计算起来非常简单，因为云计算提供商对每芯片小时收取统一的费用，能源和互连成本也计入了价格。

使用这种方法，Epoch AI发现每年的增长率非常相似，为2.6倍，但由此产生的成本估计平均约为硬件和能源平摊方法估计的两倍。

影响

人工智能培训成本的快速增长带来了重大挑战。只有少数大型组织能够跟上这些费用，这可能会限制创新，并将影响力集中在前沿人工智能开发上。