财联社于7月8日发布消息（编辑为马兰）, 人工智能初创公司Perplexity在周二宣称, 这家公司打算运用英伟达的新型CPU芯片, 这能够助力英伟达去撬动那个由英特尔以及AMD等传统芯片制造商所主导的CPU市场。
英伟达曾作表示, 预估直至本财年结束的时候, 其通用型的Vera CPU的销售金额将会达到200亿美元。
随着OpenAI等人工智能顶尖实验室着手设计自身的人工智能芯片, 对英伟达硬件产品线做出了拓展要求, 在此种情形下, 与GPU相比较而言, Vera芯片的推出显得更为重要了。
Vera处理器自身所具备的优势处在, 它专为人工智能代理时代打造, 是从无到有的构建。人工智能代理属于自行运转的程序, 能够持续性编写代码, 去执行任务, 还能协调复杂的工作流程, 并且丝毫不用像人类计算机用户一般需要休息。
英特尔的CPU, 从笔记本电脑时代起开始兴盛, AMD的CPU, 同样是从笔记本电脑时代起开始兴盛, 它们实际没法, 完美应对人工智能代理, 持续不断的循环运算。
致力于计算机企业以及基础设施领域的Perplexity公司的副总裁名叫Nate Kupp, 他声称, 英伟达的CPU在执行人工智能代理编码任务时, 相比传统CPU而言其速度要快出大概1.5倍, 并且这一情况与它们自身的核心架构能够达成完美契合。
Perplexity不肯说要打算购买若干数量的英伟达CPU。然而, 英伟达先前讲过, OpenAI亦打算采用其CPU, Anthropic同样计划用其CPU, Oracle也有使用其CPU的规划。
英伟达CPU技术
英伟达于其博客里最新发布的文章表明, CPU端的执行速度出现变慢的情况, 这会致使强化学习在每个周期所受到的有效评估数目变得较少, 进而使得训练时间得以延长, 并且还需要耗费更长时间去为单个用户提供服务, 同时还可能引发KV缓存丢失的状况, 由此而增加算力成本。
Vera的设计有助于解决这三个问题, 英伟达宣称Vera CPU的核心速度提高了1.8倍, 在相同时间窗口里能完成高达85%的评估任务, 还能提供更丰富的强化学习反馈, 由此带来更高质量、更丰富的训练信号, 进而缩短训练时间。
在同一时间, Vera CPU于人工智能代理开展部署之际, 把主要的优化指标从单纯的吞吐量转变为严格且具备可预测性的延迟, 在确保CPU延迟处于稳定状态的情形下, 服务单个用户的时间将会被有效缩减, 相同数量的GPU能够同时为更多客户提供服务。
针对KV缓存, 因GPU跟CPU之间计算步骤间隔过大，被新请求刷新的问题, Vera CPU作出选择, 压缩CPU端, 以此减少等待时间, 进而缩短KV缓存面临驱逐压力的时间窗口, 因而保留更多数据, 还减少通过重新计算而浪费的算力。
（财联社 马兰）
