正文 AI基础设施:OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态 万生优配 V管理员 /2024-09-19 09:39:03/13阅读/0评论 0919 此篇文章发布距今已超过95天,您需要注意文章的内容或图片是否可用! 来源:Gangtise投研 AI基础设施 专家表示,OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变,引入新计算模式后计算复杂度(计算多样性)与训练相当,以前的推理芯片效能和能力逐渐不够,最终会回到用训练芯片做推理的状态。
还没有评论,来说两句吧...