跳转至

场景如何生成

Scenario 是一个 Task 与隐藏 World 的具体组合,再加入初态、干预计划、reset/反馈条件和 seed。一次 reset 实例化该 Scenario;它决定 Agent 是在适应新规律,还是只面对同一世界中的随机变化。

Scenario 合同应说明

  • 哪些参数对 Agent 可见,哪些保持隐藏;
  • seed 如何映射到可复现实例;
  • Train、Dev、Bench 与 Private 如何划分;
  • 参数范围、物理约束与评分关系;
  • mechanism/world family 如何分配。

换 seed 主要测试实例随机性;切换 mechanism family 才能测试预先定义的机制轴变化。Private eval 还需要独立 salt,不能把隐藏答案泄露到 observation、错误文本或公开任务卡。

什么样的 Scenario 才适合研究

它应当可复现、可序列化、可审计,并让合理策略产生可辨识差异。只有一组硬编码常数的场景仍可用于 smoke test,但不应被包装成泛化 benchmark。

命令行查看 seed 计划:

chemworld seeds show --all-tasks

数据划分细节见管理 Seed 与数据划分