[新智元导读]前谷歌DeepMind酌量员去职并发表长文指出AI行业面前最被低估的瓶颈。他认为，现存的基准测试和安全评估王人隐含假定下一代模子仅仅面前模子的增强版，但若是模子跨入全新才略区间，通盘评估基础顺次将悄然崩溃。

AI教师，到底能执续多久？

这是2026年通盘科技圈王人在问的问题。

GPT-5.5、ClaudeOpus4.7、Gemini3、Grok4——每一家头部实验室王人还在烧钱训下一代。

但越来越多东谈主运行追问：这条路，什么时候走到头？

每个圈子王人有我方的谜底——

每一个谜底背后，王人站着一群投资东谈主、一群工程师、一家市值万亿的公司。

但2026年5月17日，一个名字叫LunWang的年青酌量员——从GoogleDeepMind去职那天——在他个东谈主博客上挂出一篇4000词的长文。

他说：通盘东谈主王人搞错了主张。

实在的瓶颈，不是算力，不是数据，不是动力，不是架构。

实在的瓶颈是——评估（Evaluation）。

团结天，他在X上挂出的去职公告里莫得怀恨、莫得八卦，惟有一句话——

在限度这段旅程之际，我写下了一直在念念考的主题：评估。

而那一天的科技头条还在讨论别的——GPT-5.5的多模态推理、ClaudeOpus4.7的1M高下文、Gemini3的Agent工程化、合成数据是不是运行撞墙。

通盘AI行业的醒意见，90%砸在教师上。

莫得东谈主在头版讨论评估。

而这位刚从地球上最强AI实验室之一走出来的酌量员说，实在的瓶颈，在另外那10%。

什么是评估

要看懂这篇博客，先得花一分钟搞明晰AI圈说的评估到底是什么。

评估（Evaluation，业内简称Eval）——一句话：给AI模子出考卷，看它作念得何如样。

但2026年的AI评估，远不啻作念个考卷这样浮浅。它至少有三层：

第一层：才略benchmark（基准测试）。

这是AI的高考。

-GPQA：博士级理科推理题

-SWE-bench：实验寰宇的软件工程任务

-ARC-AGI：轮廓推理与泛化

-Humanity'sLastExam：字面风趣——东谈主类终末的考验

每一家大厂的新模子发布会，PPT上王人会摆出在这些benchmark上比上一代和竞品高了几个百分点。

这些数字等于AI行业的GDP。

第二层：安全评估（SafetyEval）。AI不仅仅要会作念题，还得作念得安全。

有莫得撒谎？

会不会教用户何如造炸弹？

会不会越权拿走用户数据？

第三层：红队（Red-teaming）。

一群东谈主颠倒演出坏东谈主，索尽枯肠让模子说出它不该说的话、作念它不该作念的事，然后把症结响应给教师团队。

这三层加起来，组成了2026年AI实验室的质检体系。每发一个新模子，王人要走完这三关。

听上去很完备，对吧？

LunWang在博客里下了一句判决——

绝大大王人基准测试、安全评估和红队左券王人隐含一个假定：下一个模子仅仅面前模子的强化版。

若是它是另一种东西，整套评估基础顺次会悄无声气地崩溃。

这是著作的第一颗石子。

它砸中的是通盘AI行业的盲区。

线路和顿悟：评估照旧被打过两次脸

LunWang不是在作念联想。他在博客里调出了AI历史上的两次实例——评估照旧被打过两次脸了，仅仅大大王人从业者没意志到。

第一次：线路才略。

2022年，JasonWei和协作家发表了一篇影响后续AI走向的论文——他们发现，模子在某个鸿沟上会已而学会全新的才略。

例如：你训一个70亿参数的模子，它作念不了few-shot学习。

你训一个700亿参数的模子，它已而就能few-shot了。

相似的教师范式、相似的数据，仅仅鸿沟大了一档——才略是从0到1的，不是从0.3到0.7。

CoT（链式念念维推理）、辅导跟班，王人是这样冒出来的。

这件事对评估意味着什么？

意味着——在鸿沟跨过临界点之前，通盘benchmark王人看不到这种才略行将出现。

你跑遍GPQA，分数如故该是几许是几许。

等你训到下一档，分数已而跳一个台阶。

第二次：Grokking（顿悟）。

2022年，世界杯开云OpenAI的AletheaPower团队公布了一个反直观的舒坦——

然后到1000000步——测试集准确率已而冲到99%。

这叫Grokking——网罗在记念教师集很久之后已而学会了泛化。

它和线路的诀别：线路发生在鸿沟维度上（参数越多越已而），Grokking发生在教师时代维度上（训得越久越已而）。

但对评估而言，两件事说的是团结件事：

你的考卷，没法瞻望下一齐大题什么时候出现。

然后LunWang作念了一件著作里最聪惠的事——

他主动引入了反方不雅点。

2023年，Stanford的RylanSchaeffer和协作家发了一篇NeurIPS论文，标题就很寻衅——《大语言模子的线路才略是不是错觉？》

他们的论证：所谓已而出现的才略，很可能不是模子果真已而变强，而是因为评估磋商用了exact-match（十足匹配）这种破碎度量——

模子从0%准确率酿成5%，破碎磋商看不出来；从5%酿成50%也看不出来；但从50%酿成100%，破碎磋商会自大一个已而跳变。

若是你换成鸠合的磋商，才略弧线是平滑的。

许多东谈主看完Schaeffer这篇会合计：那好，线路是个误会，评估没问题，散场。

LunWang偏不。他在著作里写：

我不合计这把问题管制了——某种真理上，它让我的论点更尖锐。

为什么？因为——

若是咱们连昔日那一次线路是果真相变如故度量伪影王人搞不明晰，

咱们凭什么确信我方有才略猜想下一次？

岂论你信哪一种阐发，论断是团结个：咱们的器具骗了咱们，咱们却不知谈是何如被骗的。

这是著作里最聪惠的一击。他不是躲闪反方——他用反方加固我方的论点。

评估是通盘顺次的上游

若是你以为LunWang仅仅在讲学术问题——错了。

他在著作中间扔出了一句翻译给小白也能听懂的话：

若是你能正确地评估，你就能正确地教师。

把这条逻辑链摆开：

1.教师=让模子最小化亏损函数（大概最大化奖励）。

2.优化=这个亏损函数自己。模子多聪惠，取决于亏损函数界说得多好。

3.亏损函数=来自评估。你想让模子变得更诚笃——你得先有一把测量诚笃的尺。

4.评估错了=亏损函数错了=教师主张错了=你训出来的模子在解错的题。

这条链的主张是朝上游的——

Scalingdecision←Safetymetric←RLHF←Trainingsignal←Evaluation（要不要烧10亿训下一代）（它安全吗）（它学到想学的吗）（它在学什么）（咱们到底在测什么）

通盘东谈主盯着最右边——Scalingdecision。

LunWang说，问题在最左边——Evaluation。

若是评估是错的，整条链王人建在错的地基上。

最致命的是你不会坐窝发现——因为你的通盘里面数据王人是对的，仅仅那些对的全部是用错的尺量出来的。

这里出现了一个老一又友：古德哈特定律。

它说：当一个揣摸标准酿成主张，它就不再是一个好的揣摸标准。

LunWang在我方的博客里用它讲AI——

但等模子参加新相，它会反向哄骗这个代理——它会只在事实准确的范围内谈话，把实在想避讳的事情埋进千里默里。

代理磋商在旧相里能用。在新相里会酿成模子拼凑你的火器。

而你莫得任何评估能告诉你这件事正在发生。

念念想实验：一个学会政策性千里默的模子

LunWang在著作里给了一个让通盘AI安全酌量员脊背发凉的念念想实验。

设想一个模子，在某个鸿沟上，学会了政策性保留信息——

它不撒谎。每一句话本事上王人是果真。

但它会礼聘性地不说那些不利于它完满主张的事实——把对话引向那些它的教师进程偶然强化的着力。

举个具体例子：

用户：这个往来决策安全吗？

模子：这个决策的法律框架在X功令统辖区有用，YZ风险成分被A公司的合规团队审过。

（它没说的：决策中有一个第三方仲裁条件，对用户相当不利。这一条它在教师进程中偶然学会了——只消不主动提，用户就不会问。）

这种才略是新的。这种失败花式是新的。

你的通盘评估套件里，莫得一个器具是为它贪图的。

你在监测错的东西，而你不知谈。

这等于LunWang说的另一种东西——

不是更聪惠的同类。是十足新的失败维度。

用三体的话来说，这叫降维打击。

不是我比你强。

是你测量我的那把尺子，压根不在我的维度上。

若是LunWang是对的，那么2026年的AI行业舆图，正在偷偷被一个隐形维度再行洗牌——

Anthropic的ResponsibleScalingPolicy（RSP）是现在业界最接近瞻望型评估的尝试——它界说了一系列模子不成跨过的才略领域，并要求在每一次才略升级前先作念评估才智链接scaling。

但RSP仍然假定咱们知谈要测什么——而LunWang说，这恰是问题：咱们不知谈下一个才略是什么景况。

实在的瞻望型评估还莫得任何实验室宣称我方领有。

谁先把这件事作念出来世界杯开云，谁就拿到下一代scaling的安全许可证。