传统预训练正走向终结,推理优化与后训练提升有限,大模型今后如何突破发展瓶颈?
高质量数据枯竭,传统预训练走向终点,大模型如何突破瓶颈?当前(多模态)大模型正深陷「数据饥渴」困境:其性能高度依赖预训练阶段大量高质量(图文对齐)数据的支撑。然而,现实世界中这类高价值数据资源正在迅速
阅读全文高质量数据枯竭,传统预训练走向终点,大模型如何突破瓶颈?当前(多模态)大模型正深陷「数据饥渴」困境:其性能高度依赖预训练阶段大量高质量(图文对齐)数据的支撑。然而,现实世界中这类高价值数据资源正在迅速
阅读全文机器之心报道编辑:Panda因为基准测试成绩与实际表现相差较大,近期开源的 Llama 4 系列模型正陷入争议的漩涡之中,但有一点却毫无疑问:MoE(混合专家)定然是未来 AI 大模型的主流范式之一。
阅读全文机器之心报道编辑:泽南、+0第七代 TPU 来了。AI 算力又迎来了新的标杆。本周三,谷歌正式发布了旗下第七代张量处理单元(TPU)Ironwood。谷歌称,在大规模部署的情况下,这款 AI 加速器的
阅读全文GEAL 由新加坡国立大学的研究团队开展,第一作者为博士生鲁东岳,通讯作者为该校副教授 Gim Hee Lee,团队其他成员还包括孔令东与黄田鑫博士。主页:https://dylanorange.gi
阅读全文近年来,端到端(End-to-End,E2E)自动驾驶技术不断进步,但在复杂的闭环交互环境中,由于其因果推理能力有限,仍然难以做出准确决策。虽然视觉 - 语言大模型(Vision-Language M
阅读全文机器之心报道编辑:杜伟、蛋酱AI 圈永远不缺「新活」。这两天,加州大学伯克利分校、斯坦福大学、英伟达等机构联合制作的《猫和老鼠》AI短片火了。论文共同一作 Karan Dalal 的帖子收获百万观看。
阅读全文机器之心报道编辑:+0刚刚,alphaXiv 推出了新功能「Deep Research for arXiv」,该功能可协助研究人员更高效地在 arXiv 平台上进行学术论文的检索与阅读,显著提升文献检
阅读全文论文有两位共同一作。汪晗阳,清华大学计算机系本科四年级,研究方向为三维视觉、生成模型,已在CVPR、ECCV、NeurIPS等会议发表论文。刘芳甫,清华大学电子工程系直博二年级,研究方向为生成模型 (
阅读全文本篇论文是由南洋理工大学 S-Lab 与普渡大学提出的无分类引导新范式,支持所有 Flow Matching 的生成模型。目前已被集成至 Diffusers 与 ComfyUI。论文标题:CFG-Ze
阅读全文机器之心报道编辑:张倩、泽南大家翘首以盼的 Llama 4,用起来为什么那么拉跨?Llama 4 这么大的节奏,Meta 终于绷不住了。本周二凌晨,Meta Gen AI 团队负责人发表了一份澄清说明
阅读全文机器之心报道编辑:蛋酱、+0刚刚,斯坦福大学正式发布了《2025 AI Index》报告。在过去的一段时间里,人工智能领域经历了一场蓬勃的发展,但与此同时,也有人说「人工智能是一个泡沫」。其他的讨论话
阅读全文图文大模型通常采用「预训练 + 监督微调」的两阶段范式进行训练,以强化其指令跟随能力。受语言领域的启发,多模态偏好优化技术凭借其在数据效率和性能增益方面的优势,被广泛用于对齐人类偏好。目前,该技术主要
阅读全文在信息检索系统中,搜索引擎的能力只是影响结果的一个方面,真正的瓶颈往往在于:用户的原始 query 本身不够好。尤其在专业搜索场景(如文献、数据库查询)中,用户往往无法用精确、完整的表达描述他们的需求
阅读全文机器之心原创作者:张倩「未来,99% 的 attention 将是大模型 attention,而不是人类 attention。」这是 AI 大牛 Andrej Karpathy 前段时间的一个预言。这
阅读全文机器之心报道编辑:张倩、+0Noprop:没有反向传播或前向传播,也能训练神经网络。「我们应该抛弃反向传播并重新开始。」早在几年前,使反向传播成为深度学习核心技术之一的 Geoffrey Hinton
阅读全文本文由加拿大滑铁卢大学魏聪、陈文虎教授团队与 Meta GenAI 共同完成。第一作者魏聪为加拿大滑铁卢大学计算机科学系二年级博士生,导师为陈文虎教授,陈文虎教授为通讯作者。近年来,视频生成技术在动作
阅读全文基于当前观察,预测铰链物体的的运动,尤其是 part-level 级别的运动,是实现世界模型的关键一步。尽管现在基于 diffusion 的方法取得了很多进展,但是这些方法存在处理效率低,同时缺乏三维
阅读全文机器之心报道机器之心编辑部万万没想到。Meta 选择在周六日,发布了最新 AI 模型系列 ——Llama 4,这是其 Llama 家族的最新成员。该系列包括 Llama 4 Scout、Llama 4
阅读全文选自Towards Data Science作者:Sandi Besen机器之心编译在人工智能飞速发展的今天,LLM 的能力令人叹为观止,但其局限性也日益凸显 —— 它们往往被困于训练数据的「孤岛」,
阅读全文本文介绍了 FoundationStereo,一种用于立体深度估计的基础模型,旨在实现强大的零样本泛化能力。通过构建大规模(100 万立体图像对)合成训练数据集,结合自动自筛选流程去除模糊样本,并设计
阅读全文大型语言模型 (LLM) 在软体机器人设计领域展现出了令人振奋的应用潜力。密歇根大学安娜堡分校的研究团队开发了一个名为「RoboCrafter-QA」的基准测试,用于评估 LLM 在软体机器人设计中的
阅读全文机器之心报道编辑:张倩语言是离散的,所以适合用自回归模型来生成;而图像是连续的,所以适合用扩散模型来生成。在生成模型发展早期,这种刻板印象广泛存在于很多研究者的脑海中。但最近,这种印象正被打破。更多的
阅读全文选自 Gates Notes作者:Bill Gates机器之心编辑部1975 年 4 月 4 日,比尔・盖茨和保罗・艾伦在美国新墨西哥州阿尔伯克基市创立了微软公司。到今天,半个世纪过去了,微软早已成长
阅读全文近年来,大语言模型(LLM)的性能提升逐渐从训练时规模扩展转向推理阶段的优化,这一趋势催生了「测试时扩展(test-time scaling)」的研究热潮。OpenAI 的 o1 系列与 DeepSe
阅读全文想象一下,一座生机勃勃的 3D 城市在你眼前瞬间成型 —— 没有漫长的计算,没有庞大的存储需求,只有极速的生成和惊人的细节。然而,现实却远非如此。现有的 3D 城市生成方法,如基于 NeRF 的 Ci
阅读全文机器之心报道机器之心编辑部一种全新的学习方法。这会是 DeepSeek R2 的雏形吗?本周五,DeepSeek 提交到 arXiv 上的最新论文正在 AI 社区逐渐升温。当前,强化学习(RL)已广泛
阅读全文机器之心报道编辑:蛋酱AI 可能「借鉴」了什么参考内容,但压根不提。自去年以来,我们已经习惯了把复杂问题交给大模型。它们通常会陷入「深度思考」,有条不紊地展示思维链过程,并最终输出一份近乎完美的答案。
阅读全文最近,像 OpenAI o1/o3、DeepSeek-R1 这样的大型推理模型(Large Reasoning Models,LRMs)通过加长「思考链」(Chain-of-Thought,CoT)在
阅读全文第一作者为哈尔滨工业大学(深圳)博士生王霄和华为大模型研究员佀庆一,该工作完成于王霄在华为实习期间。王霄的研究方向为多模态视频理解和生成,佀庆一的研究方向为多模态理解、LLM post-trainin
阅读全文ATEC2025 科技精英赛是由 ATEC 前沿科技探索社区主办,清华大学、浙江大学、西安交通大学、上海交通大学发起。本届赛事由香港中文大学、北京大学、北京师范大学顶尖学府联合蚂蚁集团共同承办的全球性
阅读全文