万卡集群真实部署,已节省数百万 GPU 小时!MoE 通信优化技术 COMET 开源
当前,MoE 架构是业界拓展模型规模的重要方向,然而,其在分布式训练中存在的大量通信开销,仍严重制约了训练效率和成本。为攻克这一瓶颈,豆包大模型团队提出了一个全新的通信优化系统 COMET,通过更精准
阅读全文当前,MoE 架构是业界拓展模型规模的重要方向,然而,其在分布式训练中存在的大量通信开销,仍严重制约了训练效率和成本。为攻克这一瓶颈,豆包大模型团队提出了一个全新的通信优化系统 COMET,通过更精准
阅读全文近日,豆包大模型团队开源 SuperGPQA,一个领域全面且具备高区分度的知识推理基准测试。该数据集构建了覆盖 285 个研究生级学科、包含 26529 道专业问题的评估体系,不仅涵盖主流学科,更将轻
阅读全文近日,豆包大模型团队提出 BFS-Prover,一个基于大语言模型 (LLM) 和最优先树搜索 (BFS) 的高效自动形式化定理证明系统。团队通过该成果发现,简单的 BFS 方法经过系统优化后,可在大
阅读全文