来扒一扒 OpenAI 算力支出的天价账单——
爆款产品的最终训练占小额,大部分钱花在了幕后实验上。
据 Epoch AI 统计的数据显示,去年 OpenAI 在计算资源上支出了70 亿美元。
由于公司当时还没有大量的算力,所以这笔天价账单基本都是以向微软租用云算力的形式支付出去的,并不包括对数据中心的前期投入。
70 亿中,包括大约50 亿美元用于研发算力(涵盖所有训练和研究),约 20 亿美元用于面向用户的推理算力 **。
OpenAI 真 · 实验狂魔!
不只热衷爆款模型,更爱 " 做实验 "
首先来区分两个概念:
最终训练运行
直接产生能向公众发布的特定模型版本的训练运行,目标是生成可发布、可使用的最终模型版本。
实验性运行
这些运行通常是排险运行,是为了准备最终训练运行而进行的探索性试验,用于确定最佳参数、架构或训练策略等。
那么,像 GPT-4.5、GPT-4o 这种级别的模型,光是最终训练一次,不得把研发的这 50 亿美元花掉一大半?
答案是 nonono。
计算目标是只估算最终训练运行的成本,刻意排除那些用于预热和探索的实验性运行。
他们采用了两种各有侧重的算账方法。
针对GPT-4.5,研究人员通过集群规模、训练持续时间、云成本三个指标,直接估算了 GPT-4.5 的最终运行成本。
首先估计这些模型在训练过程中进行了多少次浮点运算(FLOP),随后利用一套标准化的假设来计算出云算力费用。
这部分训练并不直接产出最终面向公众的产品版本,而是在探索模型的最佳参数、架构等。
也就是说,我们看到那些轰动一时的爆款模型,它们在发布时进行的那个最终的训练所消耗的成本,在 50 亿美元的总研发支出中,其实只占了很小一部分。
总之,据这项分析报告来看,在 OpenAI 眼中还是:实验 >ALL。
这个结果也在一定程度上解释了为什么它被外界广泛报道 2024 年严重亏损。
毕竟当年营收 37 亿美元,却花了 50 亿美元研发支出的一大部分用于背后的 " 不露脸实验 "。
谁掌控算力,谁就掌控 AI
目前为止,OpenAI 已经达成了近万亿的算力交易,除了租用云服务,更大额的投资砸在了自建数据中心上。
钱都花在了算力上。为什么?
AI 芯片公司 Groq 的创始人Jonathan Ross在最新的访谈中也提到了 AI 公司自建数据中心这一趋势。
而就目前的形势来看,AI 的发展对于算力的需求是没有上限的。
谁掌控算力,谁就掌控 AI。
Jonathan Ross 还打了个比方:就算你的模型比 OpenAI 的聪明十倍,只要 OpenAI 的算力多你十倍,OpenAI 的实际效果就会更好。
于是,为了防止被算力卡脖子,OpenAI 如今也开始自建数据中心。
在拥有大量算力资源之后,OpenAI 又会 " 实验 " 出怎样的产品呢?
参考链接:https://epoch.ai/data-insights/openai-compute-spend
Jonathan Ross 完整访谈:https://www.youtube.com/watch?v=VfIK5LFGnlk
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
年度科技风向标「2025 人工智能年度榜单」评选报名开启啦!我们正在寻找 AI+ 时代领航者 点击了解详情
企业、产品、人物 3 大维度,共设立了 5 类奖项,欢迎企业报名参与
一键关注 点亮星标
科技前沿进展每日见