Files
aituner/docs/harness-ablation/candidate-family-gap-log.md

1.9 KiB
Raw Blame History

Candidate Family Gap Review Log

本文档维护 LLM 在 advisory 模式下提出 harness candidate set 之外配置、且该配置带来性能提升时的人工 review 入口。

运行时系统不会自动修改 harness也不会把 LLM 的 out-of-set proposal 直接提升为规则。每条提升先写入 study artifact

.aituner/<study>/candidate_family_gaps/<trial-id>.json

然后人工 review 决定是否需要修改:

  • KnobDescriptor
  • generic operator
  • acquisition / step-size policy
  • evidence estimator

Gap 分类

类型 含义 默认处理
same_operator_new_step harness 已有同 knob / 同方向候选,但 LLM 给了更好的 step/value 优先检查 trust-region、step-size、candidate budget 和 acquisition
missing_operator visible candidate set 中没有同 knob 或同 mechanism 的候选 检查是否缺 generic operator 或 descriptor 映射
missing_descriptor knob 不在 adapter descriptor 中 需要 engine adapter review
missing_mechanism 现有机制词表无法表达该 proposal 的作用 需要 design review
llm_independent_discovery LLM 发现无法归入当前 harness abstraction 的新方向 只作为 observation不直接进入 harness

Review 原则

  1. 不接受 case-specific 数值表,例如“这个 case 试 max-num-seqs=24”。
  2. 若归类为 same_operator_new_step,只能修改通用 step policy例如 grow/shrink factor、local grid budget、bracket 触发条件。
  3. 若归类为 missing_descriptordescriptor 只能表达 knob 语义、约束、search geometry 和 directional effects不能表达具体目标答案。
  4. 任何被接受的 gap 都需要新增 synthetic test证明它不依赖 vLLM 常见取值或某个 bad-start case。

Pending

当前 repo 内尚无已人工接受的 candidate family gap。实验产生的 JSON artifact 需要在这里补充 review 摘要后再进入代码设计。