关于ZAKER Skills 合作
财联社-深度 8分钟前

Perplexity 宣布将使用英伟达新款 CPU 全新设计更符合 AI 代理需求

财联社 7 月 8 日讯(编辑 马兰)人工智能初创公司 Perplexity 周二宣布,该公司计划使用英伟达的新型 CPU 芯片。这将帮助英伟达撬动由英特尔和 AMD 等传统芯片制造商主导的 CPU 市场。

英伟达曾表示,预计到本财年末,其通用型 Vera CPU 的销售额将达到 200 亿美元。

与其 GPU 相比,Vera 芯片的推出更为重要,因为 OpenAI 等人工智能顶尖实验室已经开始设计自己的人工智能芯片,这迫使英伟达拓展其硬件产品线。

而 Vera 处理器的优势在于,它是从零开始为人工智能代理时代而构建。人工智能代理是一种自主程序,可以不断编写代码、执行任务并协调复杂的工作流程,而无需像人类计算机用户那样休息。

英特尔和 AMD 的 CPU 则从笔记本电脑时代开始兴盛,实际无法完美应对人工智能代理持续不断的循环运算。

Perplexity 公司负责计算机企业和基础设施的副总裁 Nate Kupp 表示,英伟达的 CPU 执行人工智能代理编码任务的速度比传统 CPU 快约 1.5 倍,这与他们核心架构完美契合。

Perplexity 拒绝透露计划购买多少颗英伟达 CPU。但英伟达此前曾透露,OpenAI、Anthropic 和 Oracle 也计划使用其 CPU。

英伟达 CPU 技术

英伟达在其博客中最新发表的文章指出,CPU 端的执行速度变慢,将导致强化学习每个周期受到的有效评估较少,从而训练时间延长,且需要更长时间来为单个用户提供服务,并可能导致 KV 缓存丢失,从而增加算力成本。

而 Vera 的设计可以帮助解决这三个问题。英伟达称 Vera CPU 的核心速度提升了 1.8 倍,能够在相同的时间窗口内完成高达 85% 的评估任务,并提供更丰富的强化学习反馈,从而带来更高质量、更丰富的训练信号,缩短训练时间。

与此同时,Vera CPU 在人工智能代理部署时,将主要的优化指标从纯粹的吞吐量转向严格且可预测的延迟。在保证 CPU 延迟稳定的情况下,服务单用户的时间将有效缩短,同等数量的 GPU 可以同时服务更多客户。

而针对 KV 缓存因 GPU 与 CPU 之间计算步骤间隔过大而被新请求刷新的问题,Vera CPU 选择压缩 CPU 端,减少等待时间,从而缩短 KV 缓存面临驱逐压力的时间窗口,从而保留更多数据,并减少通过重新计算而浪费的算力。

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容