Darmok: Championship Cryptic Crossword Solving via Constraint Tightening and Resilient Orchestration
Siddhartha Chatterjee
The University of Texas at Austin
cs.AI, cs.CL, cs.DC
2026-11-10
多模型系统 Darmok 在 Times 填字锦标赛 7 题全对、每轮最快,决赛领先人类冠军 3 分 13 秒;132 天日常评测准确率 99.17%。
英式 cryptic 填字和美式填字难度不同源。美式网格每个白格都被横竖两词同时约束,线索是直白语义查询,Berkeley Crossword Solver 一类系统早已超人类。英式线索是「双重语法」:按标准英语读是一句通顺却故意误导的话,按填字语法拆开,是一段定义加一段可执行的字谜运算(变位、嵌套、倒序、谐音),两套解读指向同一个答案。网格又稀疏,每个词 40% 到 50% 的字母没有交叉验证,猜错字谜解析时几何约束救不了场。此前没有自动系统在整张网格加比赛计时的条件下接近人类冠军水平。
比赛规则把难度再抬一档:错一格或空一格,排名就落到所有全对答卷之后,速度再快也没用。单条线索 97% 准确率,交出干净 30 题网格的概率只剩 40.1%(0.97 的 30 次方),2026 年资格赛第四快的选手就因 89/90 掉到第 61 名;而人类冠军 8 到 12 分钟清完决赛,慢思考的模型直接输掉速度赛。零错误、最快、可靠,三件事必须同时成立。
Darmok 协调三个按线索提问的「模型席位」(Gemini 3.1 Pro 做锚位,Claude 与 GPT-5 做校验位),外加一个把整题一次性丢给 GPT-6 的异步整图进程。席位配经验校准的置信度门槛:Gemini 的自报置信度近乎二值,Claude 在 85 分处有准确率陡坡。
求解是迭代约束收紧循环。首轮把全部线索并发冷启动;每轮结束在「通行屏障」同步裁决:锚位提案或两席一致得基础分 2,孤立次席提案只有 1 分,须靠已入格的交叉词抬一手才能入选。交叉支持按 Jacobi 式更新,只引用邻居上一轮的状态权重,同轮里两个未经验证的猜测无法互相背书;分数打平的冲突双方一起出局,入格集合天然无冲突,网格每轮清空重写。这消灭了 2025 贪心版的错误级联与「半个词被覆盖成非词」的状态损坏;换成同步准入后,40 张难题配对测试多解 18 条,API 成本降 41%。
已入格的词投出交叉字母,开放线索带着形如 P?U?E?I?E 的通配模式重试。设计押在一个实测规律上:冷启动单席解出率只有 44% 至 64%,已知 3 个交叉字母就跳到 91% 至 94%,4 个以上时三席并集 100%。交叉字母是主要的推理放大器,提示词工程不是。
兜底层全部不可驱逐:整图进程只填空位,绝不覆盖已确认的词;末尾一条纯本地字典链把剩余空格填满,因为计分下空格与错格等价,填了严格不亏。
| 设置 | 指标 | 结果 |
| 2026 Times 锦标赛(7 题 210 条) | 准确率 / 速度 | 210/210,每轮最快;决赛 6 分 52 秒,快人类冠军 Hughes(10 分 05 秒)3 分 13 秒 |
| 132 天每日 Times(3,876 条) | 线索准确率 / 完美网格 | 99.17%,108 天全对;冻结赛制 43 天 99.84%、41/43 全对,中位 5 分 36 秒 |
| 分层 16 题测试集(463 条) | 线索准确率 | 99.57%(中位 4 分 11 秒);2025 版 82.1%,6 月原型 88.1% |
| Mephisto 高难网格零样本迁移 | 线索准确率 | 350/360(97.2%) |
| 单发 GPT-6 整图直解 | 21 次抽取 | 21/21 全对,中位 4 分 32 秒 |
赛后的消融给出反直觉的一面:砍掉备份席位、兜底步骤、精细提示词,基准准确率的变动小于重复实验噪声;单锚席加交叉重试拿到 461/463,打平三席集成。但决赛开赛几秒,主锚 Gemini 遭遇服务端性能骤降,中位请求延迟从 16 秒涨到 50 至 190 秒,token 吞吐跌 72%,30 条首弹线索 23 条超时,17 条答案(56.7%)由备份席位和整图进程补上,仍以 6 分 52 秒全对收官。132 天里最差的十分之一天数,总准确率守住 98.68%,峰值故障日 90% 的答案来自备份。另注:同轮三题并发求解,轮次耗时取最慢一题(资格赛 4 分 20 秒,人类顺序合计 12 分 08 秒)。
两层。领域层面,前沿模型单发直解冠军级谜题已到平价精度:单发 GPT-6 在同批 7 题上 21 次抽取全部满分,决赛现场整图进程 5 分 38 秒就写出完整 30/30,比按线索管线早 74 秒,这个曾以难著称的推理基准基本沦陷。系统层面才是论文真正的论点:静态基准消融会系统性低估冗余的价值。云端推理接口是重尾组件,超时、安全拒答、token 死循环、性能骤降在平静的测试日不可见,在 worst case 里决定成败;这和 RAID 阵列、纠错内存的逻辑一致,无故障时零收益,为尾部风险存在。在云 API 上拼装多模型系统的人都用得上这条经验。
另附一组实用负结果:对自带深度思考的模型,精细 CoT 骨架、自我修订字段、领域教程都无可测收益;要求先写字谜解析再给答案,主要作用是把瞎猜变成超时。
论文自己承认:7/7 横扫是小样本,按 Clopper-Pearson 区间(小样本二项的保守置信界)算,题级失败率上界到 34.8%,可靠性主张实际靠 43 天日常记录(41/43 全对)撑着;所用模型均为厂商 embargo 的预发布快照,外部无法复现验证。
读下来还有三处存疑。其一,「尾部韧性」的证据混着自伤成分:最差 13 天里 9 天是早期本地 macOS DNS 耗尽把锚位调用全部丢光,属自家基础设施 bug,真正的服务端骤降现场只有决赛一次。其二,决赛三副本共享同一主机和同一 API 项目配额,论文自己注明这对项目级故障没有统计独立性,而那恰是冗余要防的场景。其三,参赛为表演性质,不计入正式排名,遥测是单作者自报。