图灵奖得主、清华大学交叉信息研究院院长姚期智，与月之暗面（Kimi）创始人杨植麟，联手给当今最强的一批AI大模型出了套卷子，把它们挨个考了一遍。这项成果以论文形式挂在arXiv上，署名团队共五人，分别来自月之暗面、清华大学和上海期智研究院。考卷名为TCSExam，全称是TCSExam: evaluating Frontier LLMs on the Full Range of TCS Research，意思是用理论计算机科学的全领域研究课题，去考核前沿大语言模型。
考完的结论有些扫兴：卷子里收录的30道开放猜想，至今无人攻克，参考的全部模型，没有一个能凭自身本事解开其中任何一道。悬置多年的难题，AI一颗都没摘下。
先交代考的是什么。TCS即理论计算机科学，这门学科琢磨的不是怎么修电脑、怎么写出能跑的程序，而是“计算”本身：一个问题解决起来原则上能快到什么程度，又有哪些问题天生无解。打个比方，写代码的人像在设计一辆车，TCS研究者关心的则是整个路网的极限——从甲地到乙地理论上最快多久，哪些目的地根本到不了。它处在数学与计算机科学的交界处，从业者的日常就是写证明。
这份考卷挂上arXiv是11月5日的事，出炉时机值得玩味：10月初，OpenAI一次性公开了722篇由AI写成的数学手稿，按相关性归入372个“结果族”，覆盖数论、理论计算机、几何、数学物理等17个领域，“AI把数学干废了”的话题一度冲上微博热搜。陶哲轩此前接受《自然》杂志采访时谈过一个观点：AI在几乎所有领域都有个致命毛病——会犯无法核验的错误；唯独数学例外，证明的对错可以交由机器自动检查，如同数独，填起来费脑子，验起来只需对照规则。正因如此，AI最没有争议的成绩，往往出现在数学上。
既然榜单遍地都是，为什么还要专门出卷？大模型的分数几乎两个月一涨，可榜单衡量的只是解题能力。解题有现成套路，答案有公认标准；研究没有既定路径，成败难料，不少问题连出题人自己都不知道答案。判卷更是老大难：模型动辄吐出几百页“证明”，逐页人工核对不现实；它若宣称攻破了某个几十年悬而未决的猜想，外界也难辨真伪——OpenAI那722篇手稿正卡在这道坎上。TCSExam要回答的正是这个问题：真把研究的活儿交给AI，它能干成几成。
出卷的对策是只收机器能判分的题。多数学科的成果离真研究越近越难打分，TCS恰好相反，结论大多可机器验证。整套试卷100道题，划成四个板块，对应理论计算机科学家的四类日常工作。
定理证明板块20道题，全部取自2023年至2026年正式发表的TCS论文，覆盖13个细分方向；模型须写出从零开始的完整证明，而且不能用自然语言，必须以Lean 4这种形式化语言书写——机器只认这种格式，散文式论证一律退回，考法按难度分三档递进。求解器工程板块30道题，考的不是解一道题，而是写一个程序批量解决一整类问题；模型会拿到问题描述、一个最朴素的解法和若干公开样例，例如给定一批电路，在保持功能不变的前提下尽量压低其中AND门（与门）的数量。
显式构造板块20道题，前两块还算纸上功夫，这一块要求把东西真正造出来。开放猜想板块30道题，题目全部是至今无人证明也无人推翻的悬案，性质上同哥德巴赫猜想类似——那个猜想提出两百八十多年，至今没人给出像样的证明。答题时每题留两个空：要么填入“猜想成立”的完整证明，要么填入“猜想不成立”的完整证明，填满其一才算得分；这一块没有步骤分，做不出来就是零。
题目质量层层设防。选题由专家按三条标准筛选：有没有研究价值、覆盖面够不够广、结果能否验证；100道题全部经过专家审阅。随后一个AI助手把题目翻译成Lean语言并编写评分程序，另一个相互独立的AI助手对照原始论文逐条核对条件与范围有无出入，代入特殊的小例子试算，再把Lean表述回译成自然语言比对，防止题目在翻译中变形。试考阶段，40多道定理题因为被模型做出来而直接淘汰。正式考试期间，哪道题被意外证出、哪项分数高得反常，都会触发对题目及出处的重新审查；若有模型刷新纪录，AI还要把它的完整运行过程复审一遍。
考试规则与现实考场大同小异。每道题每次作答限时12小时，按真实时间计；Kimi K3、Kimi K3.1 Pro和DeepSeek V4.1 Flash的两个版本每题可考3次，其余模型每题1次。跑完全部100题最多需要1200小时。考试也分闭卷与开卷——上过大学的都懂这门道：定理证明和求解器两个板块禁用网络，构造和猜想两个板块允许查阅文献，这条规则后文有反转。鉴于完整版太过耗时，项目组另备了Lite轻量版：四个板块各抽5题共20题，单题时限不变，最多耗时240小时。
四个板块的成绩折算成一个总分，叫TCSExam Index，公式为I=30P+30S+30C+10O：定理证明、求解器、构造各占30分，开放猜想占10分，P、S、C、O分别对应四个板块的平均得分率。
走进完整版考场的共8位选手：OpenAI的GPT-6 Astra，月之暗面的Kimi K3与Kimi K3.1 Pro，智谱的GLM-5.3，阿里的Qwen3.8 Max（0902版），xAI的Grok 4.6，以及DeepSeek V4.1 Flash的0910和1017两个版本。总分从高到低：GPT-6 Astra 71.9分，四项得分率依次为定理证明70.0%、求解器64.7%、构造104.9%、开放猜想0.0%；Kimi K3.1 Pro 57.4分，四项为38.3%、54.1%、98.6%、1.1%；Kimi K3 46.8分排第三；DeepSeek V4.1 Flash 1017 46.0分居第四；GLM-5.3、Qwen3.8 Max、Grok 4.6、DeepSeek V4.1 Flash 0910依次拿到45.5分、44.8分、40.5分和40.4分。
拿头名拆解一下：定理证明70.0%乘30得21分，求解器64.7%乘30得19.4分，构造104.9%乘30得31.5分，猜想颗粒无收，合计恰为71.9。GPT-6 Astra领先第二名14.5分；再往下，第三至第八名挤在40到47分之间，彼此差距不足7分。
轻量版多来了一位考生，Anthropic的Opus 5.5，它只参加了这一版，首秀即登顶。5道定理题它证出4道，得分率80.0%，压过Astra的60.0%；构造得分两家持平，都是100.4%；求解器Astra略占上风，63.0%对60.5%。两份榜单的座次高度吻合：8个两版都考的模型两两配对共28组，其中26组的先后关系在两榜一致，衡量排名相似度的斯皮尔曼相关系数达到0.93（完全一致为1）。换句话说，Lite版虽然只考20题，排出的名次相当靠得住。
比总分更有信息量的是分数的分布形态。求解器一项各家差距有限，最低43.8%，最高64.7%；构造一项从86.2%到104.9%，也在同一量级；唯独定理证明，70.0%、38.3%、11.7%、6.7%、5.0%、5.0%、5.0%、0.0%，一路断崖式下坠。很像一张高考卷：基础题人人得分相近，压轴大题一出，高下立判。
会证明与会构造，又是两种能力。DeepSeek 0910在60次定理证明尝试中没交出一份完整证明，却在构造题里做出了超越参考纪录的成绩；GLM-5.3构造平均97.7%，发挥稳健，却一次也没超过参考纪录；Astra最为全面，30道求解器题中27道拿到最高平均分。Kimi K3.1 Pro也有高光时刻：一道关于概率可检验证明（PCP）的定理，它三次尝试全部成功，而头名GPT-6 Astra反倒失手了一次。这类模型有点像讲不出导航原理、却总能抄到近道的司机，让他完整说清一条陌生路线为什么这样走，一句也答不上来；真把活儿派下去，排出的方案核查下来确实更省。
定理证不出来，是压根不会，还是只差一层窗户纸？论文做了组对照：同样20道定理，每题3次机会，按三档提示分别施测。Kimi K3裸考解出3道，附上中间结论后解出4道，连思路一并给出后解出7道；DeepSeek 0910的对应数字是0道、2道、6道。有人递梯子，模型是爬得上去的。
构造板块落袋了几项实打实的新纪录。Kimi K3造出一张124个顶点、630条边的图，整张图既不含三角形也不含四边形。这类问题的目标可以想成：在124个点之间尽量多连线，但任何三个点不得围出三角形环路，任何四个点不得围出四边形环路；文献中的此前最优成绩是629条边，它多连出一条。同一模型还交出一套[[25,7,6]]量子纠错码——量子计算机极易出错，纠错码就是套在数据外面的防护层，好比用一只25格的箱子护住7件易损品，多出的格子全用来吸收颠簸。这套码以25个量子比特保护7个量子比特的信息，方括号末位的6叫“最小距离”，数值越大防护越牢；此前同规格的码这个数只有5。通俗地讲，它能检测的错误范围，从最多涉及4个量子比特扩大到了5个。
论文正文展示的是Kimi K3的答卷，同时注明Astra也达到了同样的参数；项目主页上，量子码则署在Astra名下——两个模型各自独立完成。那张630条边的图，Qwen3.8 Max、Grok 4.6和DeepSeek 0910也各造出了一张。
Astra另有一项与编码相关的战绩。题目问：用22位长的0与1串充当码字，要求任意两个码字至少有10位不同，这样的码字最多能有多少个？这相当于设计一套防误读的编号系统，就算抄错三四位，也不会把一个编号认成另一个。2012年发表的结论是最多不超过84个，Astra把上限压到了82。留意，这不是造出了更多编号，而是把天花板量得更准了。Astra构造板块104.9%的平均分，来自20道题中17道追平参考纪录、3道实现超越。
求解器板块，在取材自IWLS 2023竞赛的那道电路精简题上，Astra编写的程序对100个测试电路全部给出功能正确的结果，其中22个所用元件少于参考答案，31个持平，47个更多。能用，但谈不上全胜。
成绩单上的数字，还取决于用哪把尺子量。求解器原始公式是(B−A)/(B−K)：B为最笨解法的成绩，K为参考答案的成绩，A为模型的成绩，把最笨解法当起点、参考答案当终点，量模型向前跑了多远，抵达终点得满分，原地不动得零，反向倒退记负分。这个公式的软肋是单题的离谱分数足以带歪整科。Qwen3.8 Max就栽过一回：在IWLS 2023的一道电路（编号ex37）上，它交出的电路功能无误，却用了273020个AND门，而最笨解法只需698个，参考答案仅需106个；代入公式，单题得分约为负460，等于朝反方向跑出四百多条跑道。于是论文另制一把新尺子，以Kimi K3的成绩为参照，把每题得分封顶在0到100之间。Qwen3.8 Max的求解器成绩按旧公式平均为64.7%，按新尺子只剩49.2%，成绩单采用的是后者。构造题的换算同样有弹性：20道题中14道用了较特殊的换算方式，其余6道按比例直算，同样的进步换算后可能放大也可能压缩。正因如此，论文坚持同步公布原始数字：边数从629到630，最小距离从5到6，码字上限从84到82，而不只报一个“104.9%”。
最难的猜想板块，成绩单近乎一片空白。30道题，只有Kimi K3.1 Pro（1.1%）和DeepSeek 1017（5.6%）两个模型的得分不是零，坦白讲，这与零分相去无几。被判通过的提交共6次，只涉及2道题：一道是Ryser猜想，Kimi K3.1 Pro在3次机会中过了1次，DeepSeek 1017过了2次；另一道是MIRUP（修正整数上取整猜想），DeepSeek 1017三次全过。其余28题，没有任何模型交出完整解答。
而这6次通过的来历有些微妙——没有一次出自模型自身的推理，全部来自检索。猜想板块允许上网，出题时这两道题确实无人解开；可等到Kimi K3.1 Pro和DeepSeek 1017走进考场时，OpenAI已经公开发表了这两个猜想的反例和Lean证明。两个模型在网上搜到现成答案，改写成考试要求的格式提交了事。这相当于开卷考试时，答案恰好印在参考书里。论文没有回避这个情节，在成绩表下方专门附了说明，并提议今后在断网条件下、选用考试当时仍未解开的猜想来测试。文中同时留了一句：OpenAI的这些结果显示了AI辅助攻克猜想的潜力，只是这份功劳，记不到考场上那两位考生头上。
零分不等于零产出。Astra在进攻名为Alon-Jaeger-Tarsi的猜想时，整体未能拿下，却独立证明了其中一个局部。这个猜想可以按规模n从小到大逐级推进，像登一段没有尽头的台阶：在“五元有限域”的设定下，前人1999年证到n≤7，今年一篇预印本推进到n≤8，Astra登上了n≤9，再进一层，并且通过了Lean的独立验证。按规则，猜想本身未解，这道题依旧记零，因为猜想要求每一级台阶都站得住，而路还长。论文另外列出了4个同类的局部结果，分属其他几个数学问题，同样全部经过验证。
整套考题、评分代码与评测工具已经全部公开，谁都可以拿去复核这场考试的每一个分数。
