证据与当前状态¶
本页是网站的人类可读状态真源;机器可读真源是
configs/current.json。
实验设计和完整数值见旗舰实验,解释见研究发现。
当前不是可发布的完整 benchmark
候选后端通过了合同验证和 clean-release attestation,但机制证据与当前源码的绑定已经过期,
Participant Gates B–E 尚未执行。当前 benchmark_ready=false、publication_ready=false,
不支持 SOTA、完整模型排名或现实世界迁移主张。
状态总览¶
| 层级 | 当前状态 | 已经证明 | 尚未证明 |
|---|---|---|---|
| 运行时与任务合同 | 通过候选验证 | v0.5 candidate 可运行;15 个任务适配器和 62 个指标端点可执行 | 科学真实性或模型优越性 |
| 双旗舰静态优化 | 正式描述性结果完成 | 两个任务、10 个独立世界、每世界 20 轮、经典基线、精确 replay | 预注册 superiority、跨任务或跨 provider 泛化 |
| 匿名材料三臂实验 | 正式确认性分析完成 | opaque / nominal / misindexed 配对设计、60 个单元、完整审计 |
两个任务上的统一“错误先验恢复”能力 |
| 五任务 post-qualification | 开发比较完成 | 五个任务、五个世界、150 个方法×世界单元、3,900 次物理实验、精确 replay | 正式 superiority 或完整排名 |
| 机制环境 Gate A | 历史通过,当前绑定过期 | RC28 冻结版本上的 A1/A2/A3 环境证书 | 当前源码上的重新认证;Participant 能力 |
| Participant Gates B–E | 待方法冻结与执行 | 协议骨架和部分开发诊断存在 | 时序检测、反馈归因、恢复和迁移结论 |
| 其余 10 个任务 | 设计可执行 | 边界案例、动作和评分合同通过 | 正式多世界方法比较 |
| 外部有效性 | 未建立 | 无 | 独立 backend、真实数据或物理系统复现 |
当前正式结果¶
静态 S0 v1.0:无材料 dossier¶
旧的固定世界双任务结果已经撤回。替代实验在相同协议下使用 Codex subscription participant, 完成 10 个独立世界、每世界 20 次自主探索、盲测终点和完整经典基线。
| 任务 | Participant 均值 | 世界 bootstrap 95% 区间 | 最佳 information-matched 基线 | 解释 |
|---|---|---|---|---|
| Electrochemical Conversion | 0.7150 | [0.6283, 0.7861] | 0.6159 | 描述性领先;未预注册 superiority |
| Reaction to Crystallization | 0.5355 | [0.5045, 0.5644] | 0.5708 | 低于 LHS,不支持领先 |
这组结果是正式描述性结果,不是完整 benchmark 排名。两任务合计 28,060 次物理实验, 其中 participant 760 次、420 次 provider 调用;全部 recommendation 均实际盲测并精确 replay。
静态 S0 v1.2:正确与错误的匿名材料信息¶
三臂只改变 dossier 与匿名材料 ID 的映射;世界、噪声、预算、模型和评分保持配对一致。
| 任务 | Opaque | Nominal | Misindexed | Nominal − Opaque | Misindexed − Nominal |
|---|---|---|---|---|---|
| Electrochemical Conversion | 0.7150 | 0.7874 | 0.6853 | +0.0724;97.5% CI [+0.0074, +0.1546] | −0.1020;[−0.2101, −0.0078] |
| Reaction to Crystallization | 0.5355 | 0.5615 | 0.5845 | +0.0260;[−0.0130, +0.0630] | +0.0229;[+0.0046, +0.0419] |
由此可以说:
- 正确信息对电化学有确认的正信息价值;结晶的正信息价值仍不确定。
- 错误先验在两个任务中都改变了早期动作,但性能方向相反。
- 两个任务都没有通过预注册的整体恢复联合规则,因此不能声称模型普遍识别并纠正错误先验。
60 个任务×世界×臂单元全部精确 replay;共 2,280 次物理实验、1,260 次成功 Codex subscription 调用、5 次自动重试、0 次方法失败。
五任务扩展证据(development-only)¶
当前源码上还完成了一轮共享中性 Codex 方法与五种经典优化器的五任务、五世界比较。它新增
reaction-to-distillation、partition-discovery 和 flow-reaction-optimization 三个任务的
多世界开发证据,但没有改变上面的两任务正式三臂结论。
| 任务 | Codex 均值 ± SD | 最佳经典方法均值 | Codex − 最佳经典方法 | Participant 达到阈值 |
|---|---|---|---|---|
| Electrochemical Conversion | 0.7454 ± 0.0522 | 0.6622 | +0.0832 | 是 |
| Reaction to Crystallization | 0.5206 ± 0.0681 | 0.6071 | −0.0866 | 否 |
| Reaction to Distillation | 0.4795 ± 0.0264 | 0.4192 | +0.0603 | 是 |
| Partition Discovery | 0.5426 ± 0.0870 | 0.5511 | −0.0085 | 否 |
| Flow Reaction Optimization | 0.1627 ± 0.0131 | 0.2145 | −0.0518 | 否 |
150/150 个单元和全部精确 replay 完成。Participant 为 500 次探索、150 次盲验证和 526 次 provider 调用;经典基线为 2,500 次探索和 750 次盲验证。唯一额外调用来自一次透明记录的 最终综合续跑,完整 20 轮探索前缀未修改。
这轮支持“共享策略表现高度依赖任务”和“新蒸馏任务已具备完整开发比较”,不支持广义
Codex 优越性。partition-discovery 的最佳方法均值只有 0.5511,没有任何方法达到冻结的
0.58 门槛;该失败没有通过事后降低阈值消除。精确数字见
五任务摘要 JSON。
机制适应证据¶
RC28 在其冻结源码上完成了正式 Gate A 环境证书:A2 为 4,896 条 receipts,主预算 top-1
为 98.26%;A3 为 2,016 条 receipts,k=8 端到端成功率为 96.57%。这些数字说明冻结环境
在受控协议下可识别、参考策略可在线达到,不说明 Participant Agent 已具备机制适应能力。
当前源码指纹已经变化,相关 evidence nodes 标记为 stale。在重新认证前,历史
gate_a_pass=true 不得被解释为当前 benchmark_ready=true。
历史证据没有删除:
发表边界¶
当前材料足以支持一篇范围严格的、以 benchmark 架构、双旗舰正式结果和五任务开发比较为中心的工作稿,但还不是 submission-ready benchmark paper。第一次 arXiv 前至少要完成:
- 重新绑定或重新执行当前源码上的机制 Gate A。
- 冻结 Participant 方法、provider、功效和成本合同。
- 执行 Gates B–E,或在论文中明确删除相应机制适应主张。
- 冻结论文数字、表格、commit 与证据哈希,并做独立复核。
如果只发表窄范围描述性论文,不新增更强的机制适应、跨 provider 或现实迁移主张,则不需要 为了“补齐故事”盲目增加科学实验;需要做的是证据绑定、边界收紧和独立复核。
状态读取规则¶
页面出现冲突时按以下优先级处理:
configs/current.json- 冻结 summary / audit JSON
- 本页
- 其他解释性页面
早于 v0.5 的 classical、Safe-GP 和 SAC 数字只保留为开发诊断,不得与当前正式结果混合排名。