DeepSeek中多Token预测的起源
Abstract像GPT和Llama这样的大型语言模型是用next-token预测损失来训练的。在这项工作中，我们建议训练语言模型一次预测多个未来标记可以提高样本效率。更具体地说，在训练语料库中的每个
阅读全文DeepSeek V3 中 AUXILIARY-LOSS-FREE LOAD BALANCING STRATEGY 的由来
ABSTRACT对于混合专家（MoE）模型，不平衡的专家负载将导致路由崩溃或增加计算开销。现有方法通常采用辅助损失来促进负载平衡，但较大的辅助损耗会在训练中引入不可忽略的干扰梯度，从而影响模型的性能。
阅读全文