还在盲目堆数据?用SAE特征空间指导合成,2K样本轻松追平300K SOTA
在大模型后训练阶段,训练数据的多样性直接决定了下游任务的最终表现。为了覆盖尽可能多的长尾场景,当前主流的做法往往是不断扩大合成数据的规模。然而,构建后训练数据时,现有方法大多依赖基于文本层面的指标(如
阅读全文在大模型后训练阶段,训练数据的多样性直接决定了下游任务的最终表现。为了覆盖尽可能多的长尾场景,当前主流的做法往往是不断扩大合成数据的规模。然而,构建后训练数据时,现有方法大多依赖基于文本层面的指标(如
阅读全文比起算力规模,那些在工程一线沉淀的系统决策,才是模型性能的胜负手。大模型的演进往往给外界一种算力即一切的错觉。但对于真正的一线研发团队而言,决定模型最终性能的,往往是那些隐藏在海量参数背后的系统工程决
阅读全文高效的随机优化器需要平衡两个核心目标,在确定性区域保持良好的更新方向,以及具备适应随机梯度扰动的机制。长期以来,Adam 及其变体 AdamW 利用坐标级别的自适应矩估计提升了训练稳定性,是大型语言模
阅读全文突破大模型无限上下文瓶颈的核心解法是什么?MIT 团队给出的答案出乎意料的朴素:线性回归。尽管挑选核心键(Key)仍需依赖启发式或贪心搜索,但最耗时的特征拟合已被 MIT 的最新研究彻底转化为经典的线
阅读全文当 C-Eval、CLUE 等传统榜单逐渐饱和,单纯的“高分”是否还能代表“高能”?近日,来自非线智能、中山大学、港科大、华为、NSFOCUS、中国平安等机构的研究团队提出了一种全新的评估范式—— R
阅读全文随机丢弃一半梯度,大模型训练困惑度反降 19%。在当前的训练主流中,Adam 等密集型优化器占据着绝对统治地位。业界习惯了尽可能利用所有可用的梯度信息来更新参数。然而,西北大学与 Google 的一项
阅读全文在日常生活中,无论是团队协作完成项目、商业伙伴间的交易往来,还是邻里间的互帮互助,合作都是社会高效稳定运转的基石。然而,合作并非总是稳定的。想象这样一个场景:公司里几个部门共同推进一个重要项目,起初大
阅读全文今夜不看春晚看代码!阿里开源 Qwen3.5-Plus,性能硬刚闭源顶流。当全网都在集五福、晒年夜饭时,阿里“源神”在除夕夜悄悄放了个大招。千问 3.5 系列旗舰模型 Qwen3.5-Plus 正式开
阅读全文藏在 PDF 里的隐形指令,专治 AI 代写审稿意见。近日,Reddit 上关于 ICML 2026 审稿的讨论引发了不小的关注。多位审稿人注意到,分配给他们的论文 PDF 文件中存在异常。只要将文档
阅读全文谁能想到,把旗舰级代码能力塞进 10B 的小模型里,只要 1 美刀?就在昨天,MiniMax M2.5 正式开源。在旗舰模型动辄 70B+ 的当下,这个体量显得相当另类。但就是这区区 10B 激活参数
阅读全文通往 Software 3.0,AI 开始自己写 Python 代码进化大脑了。在 Agent 开发的深水区,记忆(Memory)始终是一个无法绕开的痛点。尽管基础模型的能力日益强大,但在推理过程中本
阅读全文众所周知,Transformer 及其核心的全注意力机制(Full Attention)虽长期占据大模型架构的核心地位,但平方级计算复杂度、高额显存占用的瓶颈,早已成为实现超长上下文处理与模型规模化应
阅读全文研讨会简介第一届 “生成式 AI、偏好优化与智能体系统驱动的低层视觉前沿(LoViF)” 研讨会将于 2026 年 6 月与 CVPR 2026 同期举办。底层视觉正经历一场范式转变,传统的图像复原方
阅读全文纵观人工智能的发展历程,本质上是一部“数据驱动策略与利用方式”的演进史。每一次范式跃迁,既延伸和重构了前一阶段的数据驱动策略,又演进出新的数据利用方式,从而推动模型能力的跃升与涌现。〓 数据驱动策略与
阅读全文在大语言模型不断走向智能体化、并通过工具调用直接作用于真实世界的今天,安全问题已经不再停留在“说什么”,而是转向“会做什么”。当模型能够调用代码执行器、数据库和真实 API 时,一次看似合理的工具调用
阅读全文针对世界模型落地难题,LeCun 团队连发三文,给出从算法到工程的全栈最优解。近期,Yann LeCun 团队连发三文,重点攻关非生成式世界模型(World Models)当前面临的三大技术痛点。非生
阅读全文26 字节,13 个参数。这是让 7B 模型数学能力逼近全量微调的全部数据。下面这张看似普通的二维码,实则包含了一个名为 TinyLoRA 的微调适配器的全部参数。〓 图1. TinyLoRA 权重二
阅读全文随着多模态大模型的飞速发展,我们正处于从“固定模态对”向“任意模态转换”跨越的关键节点。我们诚邀您参加 CVPR 2026 A2A-MML Workshop!本次研讨会旨在汇聚视觉、语言、音频、3D、
阅读全文懂代码、懂审美的 AI 绘图天团,专治科研人的画图焦虑。赶论文时最让人头大的,不是算力,也不是数据,而是画图。虽然 AI 早就学会了补全代码、甚至自动设计实验,但在赶 deadline 的时候,绝大多
阅读全文多模态生成技术突飞猛进,成为目前人工智能领域的热点。Midjourney 和 Sora 等产品获得惊艳的效果,并给我们获取信息的主要途径之一——推荐系统——带来深远的影响,甚至一场底层范式的根本性变革
阅读全文近期,威立执行副总裁兼总经理Jay Flynn,威立高级副总裁兼学术出版全球负责人Liz Ferguson及威立高级副总裁兼首席营销官Anna Reeves到访中国市场,在威立北京办公室与威立全球副总
阅读全文🪄 你的 Dashboard 好看又精准吗? 也许,是时候让 AI 来严肃地打一次分了。引言:当 AI 开始 “看图思考”在这个“数据驱动决策”的时代,图表早已不是“锦上添花”的装饰——它是传递复杂信
阅读全文当你还在反复调试 Prompt 时,隔壁组已经用 Agent 把代码直接变成了顶会论文。科研中最绝望的时刻往往不是没有 idea,而是实验跑通后,对着丑陋的 Visio 架构图调配色,或者对着空白的
阅读全文在 Transformer 的训练过程中,只要稍微留心观察权重或激活值的分布,你就会发现残差流里的那个怪象:无论输入何种 token,某些固定维度的激活值始终显著高于其他维度。与此同时,Attenti
阅读全文Token 级数据清洗不仅更强,还能让攻击成本飙升 7000 倍。作为定义了 GPT-2 范式的核心人物,Alec Radford 曾向业界证明了数据规模的价值。在 2024 年离开 OpenAI 后
阅读全文直播时间:2月1日 9:00-12:20会议地点:湖州师范学院论坛信息OpenKG将于2026年2月1日举办主题为“知识增强大模型新发展”2025年度论坛。论坛由两部分组成:特邀报告部分特别邀请了来自
阅读全文2026 开年三文连发,大模型如何靠上下文实现自我进化?最近几天,MIT、ETH Zurich 和 UCLA 等团队,几乎在同一时间提交了关于 Self-Distillation 的重磅论文。虽然它们
阅读全文近年来,大语言模型在检索增强生成(RAG)和文本摘要等任务中表现出惊人的潜力。然而,“忠实度幻觉”(Faithfulness Hallucination)——即模型生成的回复与其提供的参考文档不一致或
阅读全文面试官让手写 Attention?看看这个纯 NumPy 项目,从底层彻底告别“调包侠”。Ilya Sutskever 曾给 John Carmack 开出一份 30 篇论文的书单,直言如果你能真正吃
阅读全文眼下 CVPR Rebuttal 马上截稿,ECCV 的投稿准备也该提上日程了。审稿人写道:“Your method lacks comparison with recent work XXX(202
阅读全文