关于ZAKER 合作
量子位 19小时前

OpenAI 算力账单曝光:70 亿美元支出,大部分钱花在了“看不见的实验”

来扒一扒 OpenAI 算力支出的天价账单——

爆款产品的最终训练占小额,大部分钱花在了幕后实验上

据 Epoch AI 统计的数据显示,去年 OpenAI 在计算资源上支出了70 亿美元

由于公司当时还没有大量的算力,所以这笔天价账单基本都是以向微软租用云算力的形式支付出去的,并不包括对数据中心的前期投入。

70 亿中,包括大约50 亿美元用于研发算力(涵盖所有训练和研究),约 20 亿美元用于面向用户的推理算力 **。

值得注意的是,这 50 亿美元研发投入的绝大部分,竟然没有花在 GPT-4.5、GPT-4o 等爆款模型的最终训练上,而是贡献给了幕后的研究和各种实验性运行

OpenAI 真 · 实验狂魔!

不只热衷爆款模型,更爱 " 做实验 "

首先来区分两个概念:

最终训练运行

直接产生能向公众发布的特定模型版本的训练运行,目标是生成可发布、可使用的最终模型版本。

实验性运行

这些运行通常是排险运行,是为了准备最终训练运行而进行的探索性试验,用于确定最佳参数、架构或训练策略等。

那么,像 GPT-4.5、GPT-4o 这种级别的模型,光是最终训练一次,不得把研发的这 50 亿美元花掉一大半?

答案是 nonono。

研究人员估算了 OpenAI 在 2024 年第二季度到 2025 年第一季度期间发布或宣布的重要模型(包括 GPT-4.5、GPT-4o、o3 和 Sora Turbo)的训练成本。

计算目标是只估算最终训练运行的成本,刻意排除那些用于预热和探索的实验性运行。

他们采用了两种各有侧重的算账方法。

针对GPT-4.5,研究人员通过集群规模、训练持续时间、云成本三个指标,直接估算了 GPT-4.5 的最终运行成本。

对于像 GPT-4o 和 Sora Turbo 这样的模型,研究人员采取了更为标准的间接估算方法。

首先估计这些模型在训练过程中进行了多少次浮点运算(FLOP),随后利用一套标准化的假设来计算出云算力费用。

团队通过比对分析,得出了关键结论:OpenAI 2024 年的大部分研发算力,可能分配给了研究、实验性训练运行,或训练还没露面的模型。

这部分训练并不直接产出最终面向公众的产品版本,而是在探索模型的最佳参数、架构等。

也就是说,我们看到那些轰动一时的爆款模型,它们在发布时进行的那个最终的训练所消耗的成本,在 50 亿美元的总研发支出中,其实只占了很小一部分。

总之,据这项分析报告来看,在 OpenAI 眼中还是:实验 >ALL。

这个结果也在一定程度上解释了为什么它被外界广泛报道 2024 年严重亏损。

毕竟当年营收 37 亿美元,却花了 50 亿美元研发支出的一大部分用于背后的 " 不露脸实验 "。

所以为什么 AI 公司都在搞算力?

谁掌控算力,谁就掌控 AI

目前为止,OpenAI 已经达成了近万亿的算力交易,除了租用云服务,更大额的投资砸在了自建数据中心上。

钱都花在了算力上。为什么?

AI 芯片公司 Groq 的创始人Jonathan Ross在最新的访谈中也提到了 AI 公司自建数据中心这一趋势。

他认为,如果供给 OpenAI 或者 Anthropic 这类公司的算力能够翻倍,那么他们的收入也会同步翻倍。

而就目前的形势来看,AI 的发展对于算力的需求是没有上限的

谁掌控算力,谁就掌控 AI。

Jonathan Ross 还打了个比方:就算你的模型比 OpenAI 的聪明十倍,只要 OpenAI 的算力多你十倍,OpenAI 的实际效果就会更好。

于是,为了防止被算力卡脖子,OpenAI 如今也开始自建数据中心。

在拥有大量算力资源之后,OpenAI 又会 " 实验 " 出怎样的产品呢?

参考链接:https://epoch.ai/data-insights/openai-compute-spend

Jonathan Ross 完整访谈:https://www.youtube.com/watch?v=VfIK5LFGnlk

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

年度科技风向标「2025 人工智能年度榜单」评选报名开启啦!我们正在寻找 AI+ 时代领航者 点击了解详情

企业、产品、人物 3 大维度,共设立了 5 类奖项,欢迎企业报名参与

一键关注 点亮星标

科技前沿进展每日见

最新评论

没有更多评论了