DeepSeek初次表露：实践本钱利润率545%！

DeepSeek开源周收官，DeepSeek以最后一弹，再次在AI江湖激发了层层荡漾。 3月1日，DeepSeek在知乎上宣布题为《DeepSe188体育app官方网站ek-V3/R1 推理体系概览》的文章，片面发表V3/R1 推理体系背地的要害机密。 最为惹人注视的是，文章初次表露了DeepSeek的实践本钱跟利润率等要害信息。据先容，假设GPU租赁本钱为2美元/小时，总本钱为87072美元/天；假如全部tokens全体依照DeepSeek R1的订价盘算，实践上一天的总收入为562027美元/天，本钱利润率为545%。 最年夜水平优化推理体系，实践本钱利润率高达545% 据文章先容，DeepSeek-V3/R1推理体系的优化目的是更年夜的吞吐、更低的耽误。为了实现这两个目的，DeepSeek应用了年夜范围跨节点专家并行（Expert Parallelism / EP）的方式，并经由过程一系列技巧战略，最年夜水平地优化了年夜模子推理体系，实现了惊人的机能跟效力。 详细而言，在更年夜的吞吐的方面，年夜范围跨节点专家并行可能使得batch size（批尺寸）年夜年夜增添，从而进步GPU矩阵乘法的效力，进步吞吐。 batch size在深度进修中是一个十分主要的超参数，手印型在练习进程中每次应用的数据量巨细。它决议了每次模子更新时应用的练习样本数目，调剂batch size能够影响模子的练习速率、内存耗费以及模子权重的更新方法。 在更低的耽误方面，年夜范围跨节点专家并行使得专家疏散在差别的GPU上，每个GPU只要要盘算很少的专家（因而更少的访存需要），从而下降耽误。 然而，因为年夜范围跨节点专家并行会年夜幅增添体系的庞杂性，带来了跨节点通讯、多节点数据并行、负载平衡等挑衅，因而DeepSeek在文章中也重点阐述了应用年夜范围跨节点专家并行增年夜batch size的同时，怎样暗藏传输的耗时，怎样停止负载平衡。 详细来看，DeepSeek团队重要经由过程范围化跨365bet体育注册节点专家并行、双批次堆叠战略、最优负载平衡等方法，最年夜化资本应用率，保障高机能跟稳固性。 值得留神的是，文章还表露了DeepSeek的实践本钱跟利润率等要害信息。据先容，DeepSeek V3 跟R1的全部效劳均应用英伟达的H800 GPU，因为白昼的效劳负荷高，晚上的效劳负荷低，DeepSeek实现了一套机制，在白昼负荷高的时间，用全部节点安排推理效劳。晚上负荷低的时间，增加推理节点，以用来做研讨跟练习。 经由过程时光上的本钱把持，DeepSeek表现DeepS十大滚球体育平台eek V3跟R1推理效劳占用节点总跟，峰值占用为278个节点，均匀占用226.75个节点（每个节点为8个H800 GPU）。假设GPU租赁本钱为2美元/小时，总本钱为87072美元/天；假如全部tokens全体依照DeepSeek R1的订价盘算，实践上一天的总收入为562027美元/天，本钱利润率为545%。