怎样找到一个真正的研究问题:一份带案例的选题与定目标手册
先看三个场景,你可能至少中了一个。
场景一:组会上导师问"你的研究问题是什么",你回答"我在做 XX 的改进"。导师追问"为什么是这个问题",你开始讲那篇论文的动机。讲完你自己也发现,你讲的是别人的问题。
场景二:你想做点研究,但脑子里只有一堆技术名词——RAG、Agent、RLHF、LoRA、MoE。每一个你都能说出大概,但你不知道拿它们去解决什么。
场景三:你在一个真实业务里,每天被同一件事绊倒。你觉得"这就是个工程脏活",从没想过它可能是一个研究问题。
这三种卡点,本质是同一个:你把"技术"当成了起点,把"方向"当成了答案,却从来没有把中间那层"问题"造出来。
John Schulman 在《An Opinionated Guide to ML Research》里说得很直接:你选择正确问题的能力,甚至比你的原始技术能力更重要。 但这句话只给了结论,没给动作。这篇文章想补上的就是动作:怎么找方向、怎么把方向压成目标、怎么从目标里逼出一个具体问题,以及怎么判断它值不值得做。
所有环节都配案例。不是"要有品味"这种话,而是"打开哪个仓库、加什么扰动、看它死在第几步"。
全文知识图谱
一、先把三个词分开:方向、目标、问题
这三个词在日常对话里经常被混着用,但它们是三件完全不同的事,混用会直接导致你卡住。
| 层级 | 是什么 | 能不能写代码 | 典型错误说法 |
|---|---|---|---|
| 方向 | 一片战场:谁在什么约束下、缺什么能力 | 不能,写不出来 | "我要做 AI 安全" |
| 目标 | 一个可验证的能力测试场,有明确成败 | 能,能搭环境 | "让加速后的模型依然保持概念擦除" |
| 问题 | 现有方法在这个测试场上失败的具体原因 | 能,能写实验 | "为什么 4-bit 量化会把安全干预的梯度抹平?" |
大多数人卡在第一步:把"方向"当成"问题",然后坐在那里想。
- "我想做 Agent 可靠性"——这是方向。
- "我想改进 ToMe 的 token 合并策略"——这是技术。
- "在第 15 步工具调用返回格式错误时,Agent 会开始编造不存在的函数名,为什么?"——这才是问题。
1.1 一个自检:这句话能不能让你今天动手
判断你手里那句话到底是方向、技术还是问题,只需要问一句:
如果我现在打开编辑器,我知道第一个脚本要写什么吗?
- 不知道 → 它是方向或愿望,还需要往下压。
- 知道要复现哪个仓库、改哪个文件、跑哪个指标 → 它是问题。
这个标准很粗暴,但极其有效。因为研究的本质不是"想清楚一切再开始",而是"用一个可执行的动作,去换一条确定的信息"。
1.2 为什么必须先有方向,不能直接找问题
有人会问:既然问题才是要动手的东西,为什么不跳过方向,直接找个问题做?
因为方向决定你读什么、忽略什么、把什么当成噪声。
同样一篇论文,带着"我想让 Agent 在长轨迹下可靠"这个方向去读,你会盯住它的失败案例、它的上下文管理、它的重试机制;带着"我想改进注意力机制"去读,你只会看它的模型结构图。两种读法会把你带到完全不同的地方。
Schulman 说,品味是靠"观察哪些想法兴盛、哪些被遗忘"形成的。而你能观察到什么,取决于你站在哪个方向上看。
1.3 方向、目标、问题是一条漏斗,不是三个并列的选项
方向(谁的什么能力,在什么约束下不够用)
↓ 加约束、加场景、加判据
目标(一个可验证的能力测试场)
↓ 跑基线、看失败、拆原因
问题(现有方法失败的具体机制)
↓ 提出假设、做实验
贡献(新方法 / 新理解 / 新测试床)
这条漏斗有一个反直觉的地方:越往下,越不性感,但越能干活。
方向听起来最宏大,也最容易让人自我感动;问题听起来最琐碎,但它才是你每天真正面对的东西。能把一个宏大的方向,压成一句"第 15 步会发生什么",这个压缩能力本身就是研究能力。
二、找方向:六个矿脉、三条路径、一个候选池
方向不是从天上掉下来的,也不是靠"多读论文"读出来的。它更像矿:有固定的几个矿脉,你按固定频率去挖,就一定有产出。
2.1 方向的本质:约束 × 能力缺口 × 可验证性
我把一个合格的方向写成一句话:
在【某种真实约束】下,【某类使用者/系统】需要【某种能力】,而现有方法给不了。
三个成分缺一不可:
| 成分 | 作用 | 缺了会怎样 |
|---|---|---|
| 真实约束 | 把问题从"通用"逼到"具体" | 你会做出一个谁都能说、谁都能做的方向 |
| 能力缺口 | 定义"现在不行"的边界 | 你不知道自己在补什么 |
| 可验证性 | 保证最后能判成败 | 你会陷入"感觉有道理"的自嗨 |
三个反例,一眼就能看出缺了什么:
- "我要做 AI for Science"——缺约束,也缺缺口。哪个科学?哪个环节?现在卡在哪?
- "我要研究扩散模型"——缺约束,也缺使用者。扩散模型的什么能力不够用?
- "我要让模型更聪明"——三个都缺。这不是方向,这是口号。
2.2 六个矿脉:方向到底从哪挖
| 矿脉 | 怎么挖 | 挖出来长什么样 |
|---|---|---|
| 自己的摩擦清单 | 记录一周内让你皱眉、骂脏话的瞬间 | 每次让模型压缩长文档,它都会悄悄删掉"风险提示"那一节 |
| 模型的能力断层 | 具体到"它做不到什么",不写"不够聪明" | 20 步以上的工具调用必崩 |
| 技术换代的配套失灵 | 新范式出现后,哪些旧机制的前提被打破了 | 缓存跳过了安全干预层 |
| 别人的脏代码 | 看开源项目里的 hack、workaround、TODO | 用 300 行正则硬解析模型输出 |
| 论文的空白 | Limitations 段、复现失败的 issue、审稿意见 | "我们的方法假设每一层都会被完整计算" |
| 你的资源禀赋 | 你有什么独家数据、场景、行业关系、专业背景 | 你在医疗、法律、制造现场待过 |
下面逐条展开,每条都给操作方法和例子。
矿脉一:摩擦清单
这是最容易被低估的一条,因为它每天都在发生,但你从没记下来。
操作方法:手机备忘录建一个"摩擦"清单,只记现象,不解释。格式固定为四行:
时间:
现象:(只写发生了什么,不写原因)
我当时的土办法:
这件事多久发生一次:
一周至少五条。连续记四周,你会得到二十条原始素材。
例子:你让模型把一份 8000 字的文档压缩到 3000 字,它每次都会不声不响删掉"风险提示"那一节。不是摘要质量差,是它根本没有"哪些内容不能删"的概念。
这个现象往上抽一层,是"可控压缩下的信息保真";再往上,是"约束满足式生成"。一个方向就这样从一次烦躁里长出来了。
为什么有效:摩擦是真实约束最诚实的信号。你不会为一个不存在的问题持续烦躁四周。
矿脉二:能力断层
判断标准是:你能用一句"它做不到 X"说清,而且 X 是能力,不是知识。
- "它不懂 Kubernetes"——这是知识,RAG 就能补,不是好方向。
- "它无法在 30 步操作的中途发现自己走错了路"——这是能力,补不了,是好方向。
操作方法:拿一个你常用的模型,做一张"能力清单",分三列:
| 它能做 | 它做得不稳 | 它根本做不到 |
|---|---|---|
| 写单个函数 | 跨文件重构 | 在长任务中自我纠错 |
| 解释报错 | 定位偶现 bug | 判断自己是否已经偏离目标 |
| 总结文档 | 处理表格与图表混排 | 在信息缺失时主动提问 |
第三列就是你的矿。第二列是工程优化空间,第一列不是研究。
矿脉三:技术换代的配套失灵
每当底层范式变了,以前沉淀的配套工具就会集体失灵。这是产出密度最高的矿脉之一,因为它有时间窗口。
操作方法:列一张"前提清单"。任何一个旧机制,都可以问:
这个机制默认了什么前提?
每一层都会被完整计算?
每个 token 都会被看到?
用户只问一次、不追问?
模型只输出文本、不调用工具?
训练和推理使用同一分布?
上下文足够放下一整篇文档?
然后逐条检查:新范式有没有打破这个前提? 打破了,旧机制就出现了适配缺口。
例子:
- 前提"每一层都会被完整计算"被特征缓存、Token 合并、量化打破 → 安全干预、水印、可解释性全部要重新设计。
- 前提"用户只问一次"被多轮 Agent 打破 → 一次性对齐变成轨迹级对齐,信用分配成为问题。
- 前提"模型只输出文本"被工具调用打破 → 幻觉从"说错话"变成"执行错动作",错误代价高一个量级。
Schulman 在 2.1 节留了一个反思问题:你领域的趋势是什么?哪些工作线会让其他工作线过时? 这条矿脉就是那个问题的操作版。
矿脉四:别人的脏代码
你在别人的仓库里看到 300 行正则,不要笑他——那是他在替一个不存在的抽象层打工。把那个抽象层补上,就是方向。
操作方法:在你常用的三个开源项目里,搜这些关键词:
TODO
FIXME
HACK
workaround
fallback
retry
if.*regex
sleep(
然后问:这些代码在绕过什么? 绕过的东西,往往就是缺失的机制。
例子:
- 所有人都在 prompt 里硬编码输出格式 → "结构化输出"还没有一个可靠机制。
- 所有人都在手写重试、超时、降级 → "不可靠工具调用的编排"还没有标准答案。
- 所有人都在用正则从模型输出里抠 JSON → "约束解码"在真实工程里还不够好用。
脏代码的密度,就是需求的密度。
矿脉五:论文的空白
三个固定位置,按信息价值排序:
- Limitations 段:作者自己承认的边界。注意,作者通常会把它写得很客气,你要把"我们的方法在极端长尾下可能退化"翻译成"它在什么条件下会坏"。
- GitHub issue:复现失败的地方。尤其是那些"作者三个月没回"的 issue——往往不是用户太笨,是方法真有边界。
- 审稿意见:如果能拿到,这是最诚实的失败清单。审稿人问的问题,往往就是这个工作最薄弱的假设。
操作方法:每读一篇论文,强制写三行:
它假设了什么?
它在什么条件下会不成立?
作者有没有做那个能杀死它的实验?
第三行最值钱。如果作者没做,而你能做,你就有了一个起点。
矿脉六:你的资源禀赋
这是唯一别人抄不走的矿。
盘点表:
| 资源类型 | 具体问题 | 例子 |
|---|---|---|
| 数据 | 你有什么别人拿不到的数据? | 三年工单、某医院影像、某工厂传感器日志 |
| 场景 | 你每天待在什么现场? | 客服、运维、教学、法律审阅 |
| 关系 | 你能接触到谁? | 科学家、医生、律师、工厂老师傅 |
| 技能 | 你有什么非 AI 的专长? | 物理、生物、统计、控制系统 |
| 位置 | 你在什么语言/地区/行业? | 中文长尾、下沉市场、跨境业务 |
方向应该长在你的禀赋上,而不是长在 arXiv 上。 因为 arXiv 上的方向,全世界几万人都能看到;而你的工单数据、你的现场观察、你的跨学科背景,只有你有。
2.3 三条找方向的路径
六个矿脉解决"素材从哪来",三条路径解决"怎么从素材走到方向"。
路径一:从趋势往下走(演绎)
适合:你读论文多、对技术演进敏感。
新范式出现
→ 列出它打破的旧前提
→ 找出依赖这些前提的配套机制
→ 配套失灵的地方,就是方向
例子:Transformer 取代 RNN → 打破了"顺序计算、隐状态传递"的前提 → 位置编码、长上下文、流式推理全部变成新问题。
路径二:从场景往上走(归纳)
适合:你在真实业务里、能接触到用户。
观察到一个反复发生的疼
→ 看现在大家用什么土办法绕过
→ 问土办法为什么不够
→ 把土办法背后的需求抽象成能力缺口
→ 能力缺口就是方向
例子:客服每周手动补 FAQ → 土办法是"按日期打 tag + prompt 里说优先用新文档" → 不够,因为模型无法判断文档是否过期 → 方向是"动态知识下的时效性验证"。
路径三:从方法横着走(类比)
适合:你有跨学科背景,或者喜欢读其他领域的经典。
在 A 领域成熟的机制
→ 找到它在 B 领域的同构问题
→ 把机制迁移过去,并处理 B 领域的特殊约束
例子:
- 传染病的 SIR 模型 → 信息传播、谣言扩散、模型越狱的传播。
- 热力学的熵 → 信息过载、注意力稀缺。
- 控制论的反馈与稳定性 → Agent 的自我纠错、长轨迹的误差累积。
- 材料科学的退火 → 优化中的探索与收敛。
类比的危险在于"看起来像"。所以迁移之后,必须回答:B 领域多了什么约束,导致 A 领域的结论不能直接用? 那个"不能直接用"的地方,才是你的贡献。
2.4 方向候选池:每周 30 分钟,每月一次收敛
不要指望某天灵光一闪想出一个方向。更可靠的做法是把它做成一条流水线。
每周五,30 分钟:
写 5 张现象卡
字段:现象 / 谁受影响 / 现在怎么绕过 / 我有什么独家信息
每月最后一个周五,60 分钟:
把 20 张卡按"共同的能力缺口"聚类
出现 3 次以上的簇 → 方向候选(通常只剩 2 到 3 个)
每个候选过评分卡
只留 1 个,写成目标卡片(见 3.3)
为什么门槛是"出现 3 次以上"?因为单次现象可能只是偶发,重复出现才说明背后有结构性约束。这是成本最低的需求验证:你不需要发问卷,只需要看自己一个月里被同一件事绊倒了几次。
评分卡可以这样做,每项 1 到 5 分:
| 维度 | 问法 | 权重 |
|---|---|---|
| 疼的程度 | 这个问题不解决,谁真的会疼?疼多久一次? | 25% |
| 现有缺口 | 现有方法是真的不行,还是只是不够好? | 25% |
| 不对称信息 | 我有什么别人没有的数据、场景或视角? | 20% |
| 时效性 | 半年后、模型大 10 倍后,它还在吗? | 15% |
| 可验证性 | 我能不能在两周内搭出一个能判成败的环境? | 10% |
| 资源匹配 | 我的算力、时间、人手够不够? | 5% |
加权总分低于 3.5 的,先放回池子,不要立刻做。高于 4 分的,进入下一层:定目标。
2.5 方向的三种死法
| 死法 | 长什么样 | 为什么死 |
|---|---|---|
| 太宽 | "我要做 AI 教育" | 没有边界,做出来的东西无法评判,也无法积累 |
| 太窄 | "我要把某个数据集上的某个指标提升 2%" | 没有外推价值,换一个数据集就归零 |
| 太晚 | "我要做一个更好的通用聊天模型" | 已经被工程化和资本化,个人/小团队没有胜算 |
还有三种"坏味道",和死法配套使用:
| 坏味道 | 长什么样 | 缺了什么 |
|---|---|---|
| 只有技术,没有场景 | "我要研究 diffusion policy" | 缺约束,做出来不知道往哪用 |
| 只有场景,没有约束 | "我要做 AI 医疗" | 缺死局,谁都能说,谁都能做 |
| 约束是虚构的 | "假设用户完全没有网络" | 缺真实性,做出来的问题没人疼 |
一个合格的方向,应该能同时回答三件事:谁在疼、疼在哪一步、为什么现有方法止不了疼。
2.6 三个完整的方向挖掘案例
案例 A:客服知识库(从场景往上走)
你在一家 20 人的 SaaS 公司做客服机器人。每周五你要手动补 200 条 FAQ,因为产品每周发版,知识库永远滞后。
摩擦:FAQ 永远追不上发版。 能力断层:模型能回答"文档里写了什么",但回答不了"这份文档是什么时候写的、现在还算不算数"。 别人的脏代码:同事写了个脚本按日期给文档打 tag,再在 prompt 里塞一句"优先用新文档"——不管用。 资源禀赋:你手上有三年的工单数据,和每周的发版记录。
方向不是"做一个更好的 RAG",而是:当知识库以每周 20% 的速度变化时,如何让回答的时效性可验证、可追责。
往上,它接"动态知识下的检索与冲突消解";往下,它能压成"给每条回答标注引用的文档版本,并在版本过期时主动说不知道"的测试床。
案例 B:Coding Agent(从能力断层 + 脏代码)
你用一个开源 coding agent 修 bug,发现它在第 15 步开始重复读同一个文件,context 快爆了,然后编造了一个不存在的函数。
能力断层:它无法在中途判断"我这条路径已经走不通了"。 脏代码:所有同类项目都在用"最大步数 + 超时"硬兜底,没有人真正做"失败识别"。 论文空白:多数 Agent 论文只报告成功率,不报告"失败前浪费了多少步"。 资源禀赋:你有三个月的 Agent 运行日志,能看到失败轨迹长什么样。
方向:当工具返回的信息不足以推进任务时,如何让 Agent 识别"信息不足"并主动改变策略,而不是重复动作或幻觉补全。
往上是"长轨迹下的元认知与信用分配",往下是"30 步合成任务 + 中途注入工具错误"的测试床。
案例 C:AI for Science(从前提清单 + 资源禀赋)
你在材料实验室待过,看到博士生用大模型读仿真软件报错,模型经常编造不存在的参数名。
前提清单:模型默认"工具是标准化的、文档是完整的、报错是可读的"。但科学软件恰恰相反:版本多、文档缺、报错是给专家看的。 脏代码:大家写正则匹配报错关键词,再手工查手册。 资源禀赋:你有实验室的真实报错日志和对应的修复记录。
方向:在工具文档不完整、报错非结构化的科学软件环境里,如何让模型通过"试错 + 验证"定位参数错误,而不是编造。
往上是"少样本下的工具状态空间探索",往下是"给定一份真实报错日志,让 Agent 在 10 次工具调用内定位并修复参数"的测试床。
注意这三个案例的共同结构:都不是从"我想用什么技术"出发,而是从"谁在什么约束下缺什么能力"出发。 技术是最后才出现的。
三、定目标:把方向压成一个能判成败的测试床
方向和目标之间,隔着一次"降维"。
你不可能一上来就搞几百 G 的数据集跑一个礼拜。Schulman 当年也是先从 2D 倒立摆,走到 2D 猎豹,最后才上 3D 小人。
3.1 Schulman 的两段经历,到底教了什么
第一段:让机器人叠衣服
目标由导师 Pieter Abbeel 定为实验室的主目标:让机器人操作可变形物体——手术机器人打结、家用机器人叠衣服。
注意这句话的结构:它描述的是一个能力,不是一种算法。 没有说"我要改进模仿学习",也没有说"我要做一个新的轨迹优化器"。它说的是"让机器人把衣服叠好"。
他自己形成的做法是:从人类示范中学习,先从 PR2 打结开始。执行过程中冒出了各种意想不到的子问题,其中之一是轨迹优化——而轨迹优化最后反而成了这个项目最有影响力的产物。
这段经历教的是:真正有价值的产出,往往不是你一开始瞄准的那个东西,而是你在解决主目标时被逼出来的副产物。 但前提是,你得先有一个足够硬的主目标,逼得出来。
第二段:让 3D 小人从零学会跑
后半段他对强化学习感兴趣,选了机器人运动控制,因为目标具体、结果令人兴奋。
把他的话翻译成一个可以写进实验记录的规格:
在 MuJoCo 物理仿真器里,只给向前跑的速度奖励,让一个有 20 个关节的 3D 人形(Humanoid)从零学会站起来往前跑,而且不摔倒。
这个目标为什么好?拆开看,它满足三个条件:
第一,一眼能判成败。 站起来了、往前跑了,就是成了;趴在地上抽搐,就是败了。不需要在小数点后两位跟别人辩论,也不需要挑一个对自己有利的指标。
第二,恰好卡在当时的技术边界之外。 当时的算法可以让 2D 的虫子(Swimmer)或者半只猎豹(HalfCheetah)跑起来,但一到 3D 全身小人就彻底瘫痪。它没有难到不可能,也没有简单到没意思——它就在那条线的外面一点点。
第三,自带照妖镜。 只要他拿现有算法去跑这个 3D 小人,算法里的问题就会被无限放大:
- 步长稍微大一点,策略就彻底崩溃,再也恢复不了 → 逼出了 TRPO 的信任域约束。
- 方差太大导致训练极慢,而直接用 TD 估计偏差又太高 → 逼出了 GAE,用参数 λ 平衡偏差与方差。
后来的故事大家都知道了:TRPO、GAE、PPO。
核心启示:TRPO 和 GAE 不是他在纸上推公式推出来的,是为了让那个 3D 小人跑起来被逼出来的副产物。 但因为问题本身抓得准,这两个副产物统治了强化学习十年。
3.2 好目标的五个标准
Schulman 的案例可以抽象成五个可检查的标准:
| 标准 | 怎么自检 | 不满足会怎样 |
|---|---|---|
| 可判定 | 能不能用一句话说清"什么算成功"? | 你会陷入人工看 case 的地狱 |
| 有梯度 | 现有方法能不能跑出"部分成功"? | 全 0 或全 1,学不到东西 |
| 在边界外一点 | 现有 SOTA 是勉强能跑,还是完全跑不动? | 太简单没信息量,太难无从下手 |
| 能暴露缺陷 | 现有方法在这个目标上会暴露什么结构性缺陷? | 跑通了也不知道为什么通 |
| 解法通用 | 能不能靠写死规则混过去? | 你做出的是工程交付,不是研究 |
第三条和第四条最容易被忽略,但它们决定了你能不能"被迫发明"。
一个温和的目标,只会让你做出一堆调参式的改进;一个刁钻的目标,才会把算法逼到墙角,让它在墙角里长出新的东西。
3.3 目标卡片:把目标写成一张纸
我现在习惯把每个目标写成一张固定格式的卡片,写不满就不算想清楚:
【目标卡片】
能力缺口:____________________(一句话,不用术语)
使用者/场景:__________________(谁在什么情况下会用到)
测试床:______________________(环境 + 任务 + 规模)
基线表现:____________________(数字,不是"效果不好")
成功判据:____________________(自动可判定)
护栏指标:____________________(不能变差的指标)
作弊红线:____________________(哪些捷径绝对不许用)
为什么不是工程问题:__________(写死规则能不能过?)
预算:________________________(时间 / 算力 / 数据)
最后三行是关键。Schulman 在 2.3 节提醒过一个陷阱:不要把目标理解得太字面。
如果你的目标是"让机器人在仿真里翻跟头",最快的作弊方法是写死一套状态机,或者针对关节角度写一个极其繁琐的启发式奖励函数,甚至把物理引擎参数调得像月球引力。机器人确实翻跟头了,但你对机器学习领域没有任何贡献,换个任务代码全废。
他的铁律是:目标是具体的,但解法必须是通用的。 允许在项目初期加一点点特征工程或奖励塑形来确认环境没 Bug(看到"生命迹象"),但一旦跑通,就要立刻把这些人为拐杖拆掉。
三张填好的目标卡片
卡片一:Coding Agent
能力缺口:信息不足时识别失败并换策略,而不是重复动作或幻觉
使用者/场景:使用开源 coding agent 修 bug 的开发者
测试床:30 个合成仓库任务,20-40 步,30% 注入工具错误
基线表现:完成率 41%,幻觉调用率 27%,平均 34 步
成功判据:完成率 ≥ 56%,幻觉调用率 ≤ 5%
护栏指标:平均步数不超过基线的 1.2 倍
作弊红线:禁止任务特定规则、禁止 Prompt 泄漏任务类型
为什么不是工程问题:写死规则能过,但换个仓库全废
预算:单任务 5 分钟,总实验 3 天,单卡
卡片二:动态知识 RAG
能力缺口:判断文档是否过期,并在过期时主动说不知道
使用者/场景:每周发版、知识库高频变化的 SaaS 客服
测试床:500 条问题,知识库按周切分,含 20% 已过期文档
基线表现:答案正确率 63%,过期文档误用率 31%
成功判据:正确率 ≥ 75%,过期误用率 ≤ 8%
护栏指标:回答延迟不超过 1.5 倍
作弊红线:禁止直接读取发版日期字段、禁止人工标注测试集
为什么不是工程问题:加一句"优先用新文档"不管用,需要机制
预算:2 周,单机 + 一个开源向量库
卡片三:加速下的概念擦除
能力缺口:推理加速后仍保持概念擦除效果
使用者/场景:在消费级 GPU 上部署文生图模型的产品团队
测试床:5 个被擦除概念 + 3 种加速(4-bit、缓存、Token 合并)
基线表现:原模型擦除成功率 96%,加速后 58%
成功判据:加速后 ≥ 92%,且图像质量不低于基线的 95%
护栏指标:推理速度不低于原加速方案的 80%
作弊红线:禁止重新训练原模型、禁止针对测试概念打补丁
为什么不是工程问题:不是精度问题,是安全干预层被跳过
预算:2 周,单张 24G 卡
注意这三张卡片的共同点:每一张都能让一个外人看懂"你要做什么、怎么算成功、怎么算作弊"。 如果你写不出来,说明你还没想清楚,不是别人听不懂。
3.4 测试床的工程细节
目标卡片是"想清楚",测试床是"搭出来"。这一层最容易被低估,因为它看起来是脏活,但它决定了你后面所有实验的可信度。
数据
| 选择 | 优点 | 风险 | 什么时候用 |
|---|---|---|---|
| 合成数据 | 可控、可扩展、能注入特定失败 | 与真实分布有差距 | 验证机制是否存在 |
| 开源数据集 | 可比、易复现 | 已被刷烂,容易过拟合 | 需要和 SOTA 对齐 |
| 真实业务数据 | 有真实约束 | 隐私、噪声、不可公开 | 找问题阶段、验证外推 |
| 混合 | 兼顾可控与真实 | 工程量大 | 论文级工作 |
我的建议是:用合成数据找机制,用真实数据验外推。 只用合成数据,审稿人会说"不真实";只用真实数据,你很难定位失败原因。
指标
至少要分三层:
- 主指标:直接对应能力缺口。比如任务完成率、擦除成功率。
- 护栏指标:不能为了主指标牺牲的东西。比如延迟、成本、图像质量、安全性。
- 过程指标:解释"为什么"的中间量。比如重复调用率、幻觉调用率、平均步数、KL 散度。
只有主指标,你会做出一个"分数高但不知道为什么高"的工作;有了过程指标,你才能讲出机制。
基线
四个基线,缺一不可:
| 基线 | 作用 |
|---|---|
| Naive | 最笨的办法,证明问题不是显然可解 |
| SOTA | 当前最好,证明你不是在打空气 |
| Oracle | 知道答案的上界,证明还有空间 |
| Human | 人类水平,证明问题值得做 |
预算与可复现
在跑第一个实验之前,先写下:
单次实验:____ 分钟 / ____ 元
总预算:____ 小时 / ____ 元
随机种子:至少 3 个
配置文件:版本化,和日志一起存
失败记录:也要存,否则你会重复踩坑
没有预算的实验,不是实验,是许愿。
3.5 从目标到第一个实验:一周计划
| 天 | 动作 | 产出 |
|---|---|---|
| 周一 | 搭最小环境,跑通空转 | 一个能跑但很笨的基线 |
| 周二 | 接入现有 SOTA | 一个数字,确认测试床有梯度 |
| 周三 | 注入一种扰动 | 看到第一次失败 |
| 周四 | 记录失败轨迹,分类失败模式 | 一张失败模式表 |
| 周五 | 选最高频的失败模式,写假设 | 一句话假设 |
| 周末 | 做一次"能杀死假设"的实验 | 一个明确结论:成立/不成立 |
一周之后,你要么有了一个可做的方向,要么排除了一个错误方向。两种结果都比"想了三个月"强。
四、找问题:四个抓手,每个都有操作手册
方向定了,目标有了,接下来才是最难的:问题从哪来?
很多人以为顶级研究员是坐在屋子里冥想出绝妙问题的。但 Schulman、Richard Hamming 这些人在分享经验时都指向同一个反常识的事实:好问题不是想出来的,是你在动手试探边界、或者跨界碰撞时撞出来的。
Hamming 在《You and Your Research》里讲得更狠:伟大的科学家会长期维护一份 10 到 20 个问题的清单,他们不一定现在能做,但一直放在脑子里。一旦看到某个新线索和清单上的问题对上了,他们就能第一时间扑上去。
"Many have a list of 10 to 20 problems that might be important if they had a decent attack. As a result, when they notice something new that they had not known but seems to be relevant, then they are prepared to turn to the corresponding problem, work on it, and get there first."
这句话解释了一个常见困惑:为什么有些人"运气特别好",总能在正确的时间做正确的问题?不是运气,是他们提前把问题清单准备好了,"Luck favors the prepared mind"。
4.1 抓手一:压力测试 SOTA,在崩溃边缘找问题
这是最直接、也最容易上手的一条。
论文里展示的都是精心挑选的成功案例(Success Cases),而好问题全藏在论文没写的失败模式(Failure Modes)里。
操作方法:找一个你关注领域的最新 SOTA 开源代码,不要在原作者测试过的标准数据集上跑,给它加一点"真实世界的恶劣条件"。
可以加的扰动,我列了一张更完整的清单:
| 扰动类型 | 具体做法 | 想逼出什么 |
|---|---|---|
| 输入退化 | 加噪声、截断、错别字、空输入 | 鲁棒性边界 |
| 格式错误 | 缺字段、类型错、嵌套过深 | 解析与恢复能力 |
| 资源压缩 | 4-bit 量化、缓存、Token 合并、蒸馏 | 精度与安全的耦合 |
| 时序拉长 | 单步任务改成 30 步、100 步 | 误差累积、信用分配 |
| 分布漂移 | 换数据集、换语言、换工具版本 | 泛化边界 |
| 组合插件 | 把两个各自有效的模块拼起来 | 模块间的隐性冲突 |
| 并发竞争 | 同时跑多个请求 / 多个 Agent | 状态污染、资源争抢 |
| 对抗输入 | 提示注入、越狱、误导性上下文 | 安全边界 |
| 成本约束 | 限制 token、限制调用次数 | 策略退化 |
| 人类介入 | 中途改需求、打断、撤销 | 意图跟踪 |
真实例子就藏在这个表里:
原论文说"我们的概念擦除算法能完美抹掉梵高画风"。你就去试:如果我用上 4-bit 量化,或者加上 DeepCache、ToMe 这类推理加速插件,梵高画风会不会突然"诈尸"?
一跑发现真的诈尸了——恭喜你,一个极具价值的真问题诞生了:为什么推理加速会击穿概念擦除的安全边界?怎么在无需重训的前提下做免训练修复?
再比如:
原论文说"我们的 RL 算法在数学题上收敛极快"。你就去试:把采样策略滞后(Off-policy staleness)拉大到 5 步,或者把奖励信号加上 20% 的噪声,KL 散度会不会直接爆炸?
哪里炸了,哪里就是你的研究目标。
关键判断:这是 Bug 还是结构缺陷?
不是所有失败都值得研究。跑崩了之后,先分类:
| 失败类型 | 特征 | 处理 |
|---|---|---|
| 实现 Bug | 换个 seed / 修个小错就消失 | 修掉,别当问题 |
| 超参敏感 | 调一调就能回来 | 记录,通常是工程问题 |
| 数据问题 | 换数据就好 | 记录,可能是测试床不干净 |
| 结构缺陷 | 怎么调都坏,且坏得有规律 | 这才是研究问题 |
| 假设失效 | 方法的前提被打破 | 这也是研究问题,而且更值钱 |
最后两类才是你的目标。判断方法很简单:如果你能把它修好,它就不是问题;如果你只能解释它为什么坏,它才是问题。
4.2 抓手二:盯住技术浪潮更替的骨牌效应
Schulman 在 2.1 节留了一个反思问题:你领域的趋势是什么?哪些工作线会让其他工作线过时?
每当底层出现一个新范式,以前沉淀下来的几十个周边配套工具就会瞬间失灵。把这些失灵的配套重新适配到新范式上,全是一等一的好问题。
公式是:
既然现在流行了 [新趋势 X],那么以前在旧时代默认的 [配套机制 Y] 是不是已经坏掉了?
四个正在发生的例子:
从稠密模型到稀疏/加速架构。 以前的安全对齐、水印植入、可解释性分析,都是在标准 Dense Transformer 上做的,默认"每一层、每个 Token 都会被完整计算"。现在大家为了省算力都在上特征缓存、Token 合并、混合精度量化。那么,那些假设"完整计算"的安全与控制机制,在跳过计算的架构下怎么存活?
从单步生成到长思维链。 以前的 RL 对齐(早期 PPO/DPO)针对的是几百字的短回答打分;现在模型动辄生成上万字的推理过程,或者连续调用十几次工具。那么在超长轨迹下,信用分配(到底哪一步做错了)和优势估计怎么防方差爆炸?
从纯文本到多模态。 以前的幻觉检测、事实性评估、内容审核都假设"输入是文本"。当输入变成图像、音频、视频,甚至模型能直接操作软件,原来的评估体系还成立吗?
从云端到端侧。 以前的隐私、安全、模型更新都假设"模型在云端、可以随时重训"。当模型被压缩后部署到手机、车机、IoT,联邦学习、增量更新、端侧对齐全部变成新问题。
这条抓手的好处是:趋势是公开的,但骨牌效应是滞后的。 你不需要预测未来,只需要比别人早半步意识到"旧配套该换了"。
4.3 抓手三:用你的不对称信息,去真实场景里听抱怨
全世界的纯学术研究生都在看同样的 arXiv 论文,所以他们想出来的问题高度同质化。但如果你接触过真实的开发者、跨学科的科学家、或者真实的工业界业务流,你就拥有了纯做题家没有的金矿。
操作方法:不要问跨界用户"你们需要什么算法"——他们不懂算法。去观察他们在使用现有模型时,最痛苦、最需要写脏代码(Dirty Hacks)绕过去的那个卡点是什么。
一份可以直接用的访谈脚本:
1. 你最近一次觉得"这玩意儿怎么这么笨",是什么时候?
2. 当时你本来想完成什么任务?
3. 它错在哪一步?你怎么发现它错了?
4. 你最后怎么绕过去的?(重点:让他演示,不要让他总结)
5. 这个绕法你写了多少代码?维护了多久?
6. 如果它能自己发现错误,你愿意付出什么代价?(延迟、成本、准确率)
7. 这件事多久发生一次?
8. 你的同事也在这么做吗?
9. 有没有哪次它做得特别好?那次和平时有什么不同?
10. 如果明天模型突然变强 10 倍,这个问题还会存在吗?
第 4 题最重要。用户总结出来的需求往往是错的,但他们写过的脏代码不会骗人。
一个典型场景:
科学计算领域的开发者用大模型写代码时,模型总是编造不存在的物理公式参数,或者看不懂冷门仿真软件的报错日志。
普通工程师的做法是写一堆正则匹配和长 Prompt 去硬塞——这就是 Schulman 说的"字面且无趣的解法"。
而研究者的敏感度应该立刻触发:能不能把这抽象成一个通用的"极少样本下工具/API 状态空间探索"问题,或者"带物理先验约束的解码"问题?
把一个泥泞的真实痛点,抽象成一个干净的机器学习测试床——这是顶会最喜欢的开创性工作,也是你作为"有场景的人"唯一能稳定赢过纯学术选手的地方。
抽象的三步:
第一步:去业务化
把"客服 FAQ"换成"动态知识"
把"材料实验室报错"换成"非结构化工具反馈"
第二步:找不变量
不同业务里,反复出现的共同结构是什么?
是信息不足?是状态过期?是反馈延迟?是动作不可逆?
第三步:建最小环境
用合成任务保留这个不变量,去掉业务细节
如果换一个业务,你的环境还能成立,说明抽象成功
4.4 抓手四:用审美过滤器,砍掉 90% 的伪问题
很多时候你不是没有想法,而是脑子里冒出几个点子后,不确定哪个值得押注。用三把尺子量一下,立刻能筛掉大部分。
第一把:半年后还在吗?
问自己:如果下一代基座模型参数量扩大 10 倍、推理成本再降一半,我研究的这个问题会自动消失吗?
- 会消失 → 伪问题(比如帮小模型在特定语法任务上做特征工程)
- 不会消失 → 真问题(比如压缩加速下的安全鲁棒性、离线数据分布偏移的本质修正)
第二把:一行简介测试。
试着不用任何黑话,用一句话向一个刚入行的师弟解释你的目标。
- "我在研究把模块 A 的输出乘以模块 B 的注意力矩阵再加一个三元损失函数"——这是在凑技术,往往走不远。
- "我在解决怎么让做过激进加速的生成模型,依然像原模型一样听话且不越界"——这才是清晰、有吸引力的好目标。
第三把:代码行数账本。
Schulman 有一个很硬的标准:复杂度要和收益匹配。
| 收益 | 允许的复杂度 | 潜台词 |
|---|---|---|
| 2% ~ 10% | 2 ~ 5 行代码 | 换个激活函数、改一行 Advantage 归一化 |
| 50% 以上 | 50 ~ 100 行,可以引入新模块 | 或者解决一个原本完全无法收敛的死局 |
| 只涨 3% 但要重写训练管线 | 不允许 | 学术界和工业界都会死掉 |
数字只是示意,但逻辑是硬的:一个略微改进基线的方法,最好是简单的,否则没人愿意用——连你自己都不愿意。
再加两把辅助尺子,来自审稿人的视角:
第四把:作者会怎么反驳我? 如果你能预判他的反驳,并且有实验能挡住,说明你想清楚了;如果他的反驳你答不上来,说明你的问题还不够硬。
第五把:审稿人会问什么? "你和 baseline 的区别是什么?""这个提升是不是来自更多参数?""换一个数据集还成立吗?"如果这三个问题你答不上来,先别做。
五、判断值不值得做:三道网 + 一个预算
找到问题之后,还有最后一关。我把它总结成三张网,按顺序过。
5.1 第一张网:作弊测试
拿着你的目标问一句:如果我为了达成它,能不能靠堆规则、写死 Prompt、或者人工清洗数据混过去?
如果这个目标靠写 500 行 if-else 或者人工挑数据就能完美解决,那它是一个工程交付目标,不是一个好的研究目标。
常见的作弊方式,你可以对照检查:
| 作弊方式 | 看起来像研究 | 实际是什么 |
|---|---|---|
| 针对测试集写规则 | "我们的方法在 X 上很强" | 过拟合测试集 |
| 用更强模型兜底 | "性能提升显著" | 把问题推给缩放定律 |
| 人工筛数据 | "数据质量是关键" | 不可复现的工程 |
| 调参调到最优 | "我们的超参搜索很充分" | 没有机制解释 |
| 只报有利指标 | "在多个指标上领先" | 选择性报告 |
好的研究目标是:你明知道写死规则能过,但你给自己立规矩"绝对不准用特定领域的硬编码",必须逼着模型靠梯度更新、表征更新或者通用机制跨过去。
5.2 第二张网:三角检验
一个问题值得做,通常要同时满足三条:
| 维度 | 问法 | 只有两条会怎样 |
|---|---|---|
| 重要 | 解决了它,别人的工作会因此改变吗? | 重要但没人做 → 可能是坑 |
| 没人做 | 为什么没人做?是没想到,还是做不了? | 有人做但你也能做 → 被抢发 |
| 我能做 | 我有什么工具、数据、场景是别人没有的? | 我能做但不重要 → 自嗨 |
中间那格最值得琢磨:"没人做"有两种,一种是机会,一种是警告。 如果没人做是因为大家没想到,恭喜;如果没人做是因为试过的人都失败了,你得先搞清楚他们死在哪。
5.3 第三张网:一周能不能看到死因
这是最实操的一条。定完目标后,给自己一周时间做一个最小实验,标准只有一个:能不能看到现有方法具体死在哪一步。
- 能看到死因 → 这个问题可做,而且你已经有了第一个发现。
- 看不到死因,只看到"效果不好" → 你的测试床还不够锋利,回去改环境。
- 一周都跑不起来 → 目标太大,继续往下切。
这一条能帮你省掉大量"做了三个月才发现方向不对"的时间。
5.4 预算与止损:给每个想法标价
| 阶段 | 时间盒 | 通过标准 | 不通过怎么办 |
|---|---|---|---|
| 方向筛选 | 1 天 | 评分卡 ≥ 3.5 | 放回候选池 |
| 测试床 | 1 周 | 能跑通基线,分数在 30-60 | 换环境或换目标 |
| 死因定位 | 1 周 | 能说出具体失败机制 | 降级为工程问题 |
| 首个方法 | 2 周 | 至少一个指标显著改善 | 换假设,不换方向 |
| 完整验证 | 2-3 周 | 多 seed、消融、外推都成立 | 缩小结论范围 |
止损不是放弃方向,是放弃当前这个假设。 这两件事一定要分开。方向可以养半年,假设只给它两周。
六、三个经典案例的完整拆解
前面讲的是方法,这一章用三个真实案例把方法跑一遍。你会发现,顶级工作的诞生路径高度相似:先有一个具体目标,再被一个具体失败逼着走,最后做出一个通用机制。
6.1 PPO:从 TRPO 的工程摩擦里长出来
方向:让策略梯度方法在通用神经网络上稳定可用。
目标:在连续控制任务上,用尽量少的样本稳定训练;并且能兼容 Dropout、参数共享这类大网络常见结构。
问题:TRPO 通过限制策略更新的 KL 散度来保证单调提升,方向是对的。但它需要计算二阶导数(自然梯度)和共轭梯度,实现复杂,而且和 Dropout、参数共享这类结构不兼容。这不是"效果不够好",是"工程摩擦大到别人不会用"。
解法:PPO-Clip。直接用一个简单的裁剪函数 clip(ratio, 1-ε, 1+ε) 替代复杂的二阶约束,几十行代码就能写完,效果还一样好。
为什么这是品味:Schulman 没有去推一个更精确的二阶方法,而是识别出"工程摩擦本身就是一个研究问题"。他判断:一个方法如果别人复现不了、改不动,它就不会成为积木。于是他主动把复杂度砍掉,换来了普及。
启示:
- 不是所有研究问题都是"效果不好","太复杂导致没人用"也是真问题。
- 一个方法的传播速度,取决于它的实现成本,不只取决于它的上限。
- 砍复杂度不是偷懒,是另一种形式的研究。
6.2 ResNet:从"退化问题"到恒等映射
方向:让神经网络更深。
目标:在 ImageNet 分类上,训练出比当时更深、且训练误差更低的网络。
问题:何恺明等人发现了一个反直觉的现象——56 层的普通网络,训练误差反而高于 20 层的网络。 这不是过拟合(过拟合是训练误差低、测试误差高),而是优化本身出了问题:网络越深,越难训练。
关键诊断:他们先排除了"梯度消失"这个常见解释,然后提出:如果深网络学到的恒等映射是最优的,那它至少应该能学会"什么都不做"。但实际连这个都做不到。这说明问题不在容量,在优化。
解法:残差连接。让每一层学"残差" F(x) = H(x) - x,而不是直接学 H(x)。如果恒等映射最优,网络只需要把 F(x) 压到 0,这比学一个恒等映射容易得多。
为什么这是品味:他们没有发明更复杂的初始化、更好的激活函数,而是把问题重新表述了——从"怎么让深网络学得更好"变成"怎么让深网络至少能学会什么都不做"。这个重新表述,才是核心贡献。
启示:
- 一个好问题,往往来自一个"反直觉的观察"(更深反而更差)。
- 诊断比解法更重要。如果你能证明"这不是过拟合",问题的性质就变了。
- 最好的解法,常常是把"难学的目标"改写成"容易学的残差"。
6.3 LoRA:一个强假设,一个可验证的边界
方向:低成本地适配大模型。
目标:冻结原模型参数,只训练极少量参数,效果接近全量微调,且不增加推理延迟。
问题:全量微调成本高、存储多、切换任务麻烦;Adapter 方法虽然减少了训练参数,但增加了推理时的层,带来延迟。
关键假设:微调过程中,权重的变化具有低内在秩(low intrinsic rank)。也就是说,虽然模型很大,但适配一个任务所需要的改动,其实落在一个低维子空间里。
解法:把权重更新分解成两个小矩阵的乘积 ΔW = BA,只训练 A 和 B。这样可训练参数减少几个数量级,推理时还能把 BA 合并回原权重,不增加延迟。
为什么这是品味:这是一个"强假设 + 可验证边界"的典型。假设很强(低秩),但如果成立,收益极大(万倍级参数 reduction);而且假设可以被实验直接检验(不同秩的效果曲线)。
启示:
- 好研究不一定要复杂,有时是一个大胆但可检验的假设。
- 假设越强,越要设计能杀死它的实验。
- 工程约束(不能增加延迟)可以反过来逼出更优雅的解法。
6.4 三个案例的共同结构
| 案例 | 方向 | 被逼出来的问题 | 通用机制 |
|---|---|---|---|
| PPO | 策略梯度要能用 | 二阶方法工程摩擦太大 | 一阶裁剪 |
| ResNet | 网络要更深 | 更深反而训练误差更高 | 残差学习 |
| LoRA | 适配要大模型低成本 | 全量贵、Adapter 慢 | 低秩分解 |
它们的共同点不是"聪明",而是:
- 目标具体:不是"让 AI 更好",是"让 3D 小人跑起来""让 56 层网络训练误差降下来""让适配不增加延迟"。
- 失败具体:不是"效果不理想",是"二阶计算不兼容""训练误差反而升高""推理延迟增加"。
- 解法通用:不是针对某个数据集打补丁,而是一个可以迁移到其他问题的机制。
- 诊断先行:在提出解法之前,先证明了问题的性质。
这四件事,就是"研究品味"的可操作定义。
七、训练品味:读论文、复现、建谱系
Schulman 说品味不是天生的,是靠观察"哪些想法兴盛、哪些被遗忘"慢慢形成的。问题是:怎么观察?
7.1 三遍读法
| 遍数 | 时间 | 目标 | 输出 |
|---|---|---|---|
| 第一遍 | 5 分钟 | 判断要不要读 | 标题、摘要、图、结论,一句话总结 |
| 第二遍 | 30 分钟 | 理解方法 | 它解决什么问题、怎么解决、假设是什么 |
| 第三遍 | 2 小时 | 批判与迁移 | 它会在哪失败、我能不能用到别处 |
大多数人只做第二遍,所以只能"读懂",不能"判断"。
第一遍的目的不是理解,是淘汰。你一年读 300 篇论文,其中 250 篇不值得读第三遍。把时间省下来,才能深读那 50 篇。
7.2 批判性阅读的十二个问题
读第三遍时,强制回答:
1. 它到底解决什么问题?用一句话说,不许用术语。
2. 这个问题为什么重要?谁在疼?
3. 它的核心假设是什么?
4. 这个假设在什么条件下会不成立?
5. 它的 baseline 选得公平吗?
6. 它的提升来自新机制,还是更多参数/更多数据?
7. 它有没有做消融?消融是否真的隔离了变量?
8. 它的失败案例长什么样?作者展示了吗?
9. 如果换一个数据集/语言/工具,它还成立吗?
10. 它的方法能不能拆成一个可复用的积木?
11. 它会让哪些旧工作过时?
12. 如果我来做,我会先做哪个实验?
第 6 题和第 10 题最能训练品味。前者帮你识别"伪改进",后者帮你识别"真积木"。
7.3 建一张"想法谱系"
不要只读单篇论文,要读一条线。
选一个方向,把过去 5 到 10 年的关键论文按时间排开,画一张谱系图:
问题 A
→ 方法 1(解决了吗?没有,留下了问题 B)
→ 方法 2(换了一个假设,问题 B 变成问题 C)
→ 方法 3(把问题 C 工程化,成为标准做法)
→ 方法 4(新范式出现,整条线过时)
画完之后,你会看到两种东西:
- 哪些想法成了积木:被后面的人反复引用、组合、改进。
- 哪些想法被遗忘了:太复杂、太脆弱、改进太小。
这两种东西,就是品味的原材料。
7.4 复现一篇论文
OpenAI 的 Mark Chen 在访谈里说过一个观点:培养研究品味最有效的方式,不是读论文,而是完整复现论文。
因为读论文时,你看到的是作者整理过的成功路径;复现时,你会遇到所有他没写的坑:超参、初始化、数据预处理、失败重试。这些坑才是真实的研究过程。
复现的目标不是"跑出同样的数字",而是:
- 知道哪些细节是关键,哪些是无所谓的。
- 知道作者可能隐藏了什么。
- 知道自己有没有能力在一个新问题上重复这个过程。
我的建议:一年深读 50 篇,完整复现 2 篇。复现的那 2 篇,会改变你对所有论文的判断。
7.5 每周的阅读 routine
| 时间 | 动作 |
|---|---|
| 周一 30 分钟 | 扫标题和摘要,挑 5 篇进候选 |
| 周二到周四,每天 30 分钟 | 第一遍读,淘汰 3 篇 |
| 周五 1 小时 | 第二遍读剩下 2 篇,写三行笔记 |
| 每两周 2 小时 | 选 1 篇做第三遍,回答十二问 |
一年下来,你会有一张 100 篇的"读过"清单,和 25 篇的"读透"清单。后者才是你的品味来源。
八、执行系统:日志、复盘、预测、止损
有了问题,剩下的就是持续进步。这部分 Schulman 写得非常具体,我直接抄他的作业,并补上我自己的实践。
8.1 每天写研究日志
他每天新建一个条目(文本文件、Markdown、Notion 都行),记四样东西:
- 今天读了什么论文
- 冒出了什么新 Idea
- 正在跑什么实验
- 实验结果的图表和数据(直接贴进去)
日志模板:
## 2026-11-13
### 今天做了什么
-
### 新想法
-
### 实验
假设:
配置:
结果:
和预期是否一致:
如果否,为什么:
### 卡点
-
### 明天第一件事
-
最重要的一条是假设驱动:在启动任何一次训练脚本之前,先在笔记本上写下"我改了这个参数/模块,我预期 Loss 曲线或某个指标会发生什么变化"。
如果跑出来跟预期不符,不要直接改下一个参数,先去查为什么预期错了。
这一条能救你无数次。盲目调参(Blind Grid Search)的本质,是你跑了一百个实验,但不知道每一个在验证什么,最后只能记住"这个组合分数高"。
8.2 每两周复盘一次
Schulman 的复盘结构是四段:实验发现、洞察、代码进展、下一步。
我把它翻译成五个问题:
1. 这两周我到底学到了什么确定的结论?(不是"跑了什么",是"知道了什么")
2. 哪些实验结果看似成立,但其实站不住脚?需要补什么消融?
3. 我有没有在逃避某个难啃的硬骨头?逃避的方式是什么?
4. 接下来两周最重要的问题是什么?
5. 我离那个"10 倍目标"更近了吗?
第三个问题最关键。研究中有一个极其普遍的心理陷阱:当遇到一个真正核心但很难啃的硬骨头(推导一段复杂数学、重构底层框架)时,人会本能地逃避,转去做"虚假的勤奋"——微调一下学习率、美化一下画图脚本、跑几个无关紧要的网格搜索。
定期复盘能让你一眼看穿自己是不是在"用战术上的勤奋掩盖战略上的懒惰"。
8.3 跑实验之前,先预测结果
何恺明在访谈里提到一个习惯:在跑实验之前,先预测结果。 如果结果和预测一致,说明你对系统有理解;如果不一致,说明你有一个认知盲区,这比涨点更有价值。
这个习惯和 Schulman 的"假设驱动"是同一件事的两种说法。我把它做成一个固定动作:
实验前:
我预期主指标会变成 ____
我预期过程指标 ____ 会变化,因为 ____
如果结果相反,最可能的原因是什么?____
实验后:
实际结果:____
和预期差异:____
我的解释:____
这个解释能不能被下一个实验验证?____
一个不能被你预测结果的实验,说明你还没想清楚它的机制。 这时候跑它,只是在收集噪声。
8.4 多项目并行与"epsilon-greedy 探索"
Schulman 提到一个他没用过但觉得合理的策略:每周拿出一天,做一个和主线完全不同的东西。这相当于 epsilon-greedy 探索,既能防止卡死,也能拓宽知识面。
我的做法是"三七开":
- 70% 时间给主线项目。
- 20% 时间给一个"可能有用"的副线。
- 10% 时间给"完全无关"的探索。
副线和探索的产出不要求是论文,只要求一条笔记:它有没有改变我对主线的判断? 有,就赚了;没有,也不亏。
8.5 及时止损,但别放弃太早
Schulman 的原话是:在他的经验里,"切换太频繁、放弃太早"比"坚持太久"更常见。
这两个建议看起来矛盾,其实是一体两面:
该止损时:当一个问题彻底卡死,先搁置,切换到另一个子问题,过几个月往往会因为新视角自然解开。
不该放弃时:很多好想法第一次写出来都是不 Work 的,因为实现细节有 Bug 或者超参不对。区分"想法本身不行"和"代码有 Bug"的能力,是平庸研究者和顶级研究者的分水岭。
我的做法是给每个想法设一个"验证预算":一个问题最多投入两周,但在这两周里必须至少做一次"杀死它的实验"——如果连杀死它的实验都设计不出来,说明你还没想清楚。
九、90 天行动计划
如果你现在什么都没有,只是一句"我想做点研究",可以按这张表走。
| 阶段 | 周 | 动作 | 交付物 |
|---|---|---|---|
| 素材 | 1-2 | 记摩擦清单,每天 1 条;读 10 篇论文,写 10 张三行笔记 | 20 张现象卡 |
| 方向 | 3 | 聚类现象卡,选 3 个候选,过评分卡 | 1 个方向 + 1 张评分表 |
| 压力测试 | 4 | 选 2 个 SOTA 仓库,各加 3 种扰动 | 一份失败模式表 |
| 目标 | 5 | 写目标卡片,搭最小测试床 | 一张目标卡 + 一个能跑的环境 |
| 基线 | 6 | 跑 Naive / SOTA / Oracle 三个基线 | 一组基线数字 |
| 死因 | 7 | 分类失败,定位最高频的失败机制 | 一份死因分析 |
| 假设 | 8 | 写一句可证伪的假设,设计杀死它的实验 | 一份实验计划 |
| 首个方法 | 9-10 | 实现、迭代、记录 | 一个初步结果 |
| 消融 | 11 | 多 seed、消融、外推 | 一张结果表 |
| 写作 | 12-13 | 写成博客/论文,讲给别人听 | 一篇可传播的稿子 |
这张表的关键不是"12 周做完",而是每一周都有一个可以拿给别人看的东西。研究最容易死在"感觉自己在做,但拿不出任何东西"的状态里。
十、一张选题检查清单
最后给一张自己用的 Checklist。每当你想启动一个新课题,从头过一遍:
- 我说的是一个问题,还是一个方向、一个技术点?
- 这个问题能用一句话说清成败吗?判据是自动可判定的吗?
- 现有 SOTA 在我的测试床上是 30 到 60 分,还是 0 分或 95 分?
- 我是因为读了一篇论文想顺手改改(高危),还是因为看到了一个具体的能力断层(推荐)?
- 这个问题所在的交叉口,现在站了多少人?
- 如果模型大 10 倍、成本降一半,这个问题会消失吗?
- 我能不能靠写死规则、堆 Prompt、人工挑数据混过去?如果能,为什么还值得做?
- 我的改动有多复杂?潜在收益配得上引入的系统复杂度吗?能不能砍掉一半复杂度保留 80% 的效果?
- 我能不能在一周内看到现有方法具体死在哪一步?
- 如果我失败了,我会得到什么可迁移的结论?
- 我的"作弊红线"写下来了吗?
- 我有没有一个 30-60 分的基线,而不是 0 分或 95 分?
- 我有没有护栏指标,防止为了主指标牺牲别的东西?
- 我能不能用一句不含术语的话,向非同行解释我在做什么?
- 这个问题如果被别人先做了,我会不会觉得"本来就该我做"?
- 我有没有至少 3 个 seed 和一次消融的计划?
- 我有没有把这个目标和半年前的目标对比过?我在进步还是在漂移?
- 我是不是在用"调参、画图、跑网格"逃避某个真正难的问题?
- 我最近一次"预测实验结果"是什么时候?预测对了吗?
- 如果只允许我保留一个项目,我会留这个吗?
第十条是我自己加的。好问题的一个隐藏特征是:即使你没解决它,你也会在失败的路上捡到东西。 Schulman 想做的是打结和叠衣服,捡到的是轨迹优化;他想让 3D 小人跑起来,捡到的是 TRPO 和 GAE。
第二十题最狠。它会逼你承认:你现在做的,可能不是你真正相信的。
结尾:好问题不是想出来的,是撞出来的
回到开头那个画面:打开 arXiv,读一篇论文,问"我能改哪一行"。
这个动作本身没有错,错的是把它当成找问题的全部。它最多只能帮你找到"活干",找不到"问题"。
真正的问题长什么样?它长这样:
我把两个各自都能跑的东西拼在一起,它坏了。我想知道为什么。
我把一个方法推到我以为它还能工作的边界之外,它崩了。我想知道崩在哪。
我在一个真实场景里看到有人为了绕过一个坑,写了三百行脏代码。我想知道这个坑能不能被抽象成一个干净的问题。
这些都不是"想"出来的。它们是你动手之后,系统反馈给你的。
Hamming 说,伟大科学家脑子里长期放着 10 到 20 个问题;Schulman 说,你要追着目标走,别追着技术走;何恺明说,跑实验前先预测结果;Mark Chen 说,复现论文是培养品味最快的路。
这四句话合起来,其实是一件事:
先有一个你真正在乎的具体目标,然后用真实约束去撞它,撞出失败,再从失败里长出问题。
所以如果你今天下午就想开始,不用先想一个完美的题目。做一件小事就够了:
挑一个你关注的 SOTA 开源项目,给它加一个它从没考虑过的约束——量化、截断、30 步长轨迹、错误的工具返回——然后跑一次,记录它死在哪一行。
那一行,可能就是你下一个研究问题的起点。
参考文献与延伸阅读
- John Schulman, An Opinionated Guide to ML Research(2020)
- Richard Hamming, You and Your Research
- Michael Nielsen, Principles of Effective Research
- Kaiming He et al., Deep Residual Learning for Image Recognition(ResNet, 2015)
- John Schulman et al., Proximal Policy Optimization Algorithms(PPO, 2017)
- John Schulman et al., Trust Region Policy Optimization(TRPO, 2015)
- Edward Hu et al., LoRA: Low-Rank Adaptation of Large Language Models(2021)
- Rafael Rafailov et al., Direct Preference Optimization(DPO, 2023)
- Tri Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness(2022)