38 lines
1.9 KiB
Markdown
38 lines
1.9 KiB
Markdown
# Candidate Family Gap Review Log
|
||
|
||
本文档维护 LLM 在 `advisory` 模式下提出 harness candidate set 之外配置、且该配置带来性能提升时的人工 review 入口。
|
||
|
||
运行时系统不会自动修改 harness，也不会把 LLM 的 out-of-set proposal 直接提升为规则。每条提升先写入 study artifact：
|
||
|
||
```text
|
||
.aituner/<study>/candidate_family_gaps/<trial-id>.json
|
||
```
|
||
|
||
然后人工 review 决定是否需要修改：
|
||
|
||
- `KnobDescriptor`
|
||
- generic operator
|
||
- acquisition / step-size policy
|
||
- evidence estimator
|
||
|
||
## Gap 分类
|
||
|
||
| 类型 | 含义 | 默认处理 |
|
||
|---|---|---|
|
||
| `same_operator_new_step` | harness 已有同 knob / 同方向候选，但 LLM 给了更好的 step/value | 优先检查 trust-region、step-size、candidate budget 和 acquisition |
|
||
| `missing_operator` | visible candidate set 中没有同 knob 或同 mechanism 的候选 | 检查是否缺 generic operator 或 descriptor 映射 |
|
||
| `missing_descriptor` | knob 不在 adapter descriptor 中 | 需要 engine adapter review |
|
||
| `missing_mechanism` | 现有机制词表无法表达该 proposal 的作用 | 需要 design review |
|
||
| `llm_independent_discovery` | LLM 发现无法归入当前 harness abstraction 的新方向 | 只作为 observation，不直接进入 harness |
|
||
|
||
## Review 原则
|
||
|
||
1. 不接受 case-specific 数值表，例如“这个 case 试 `max-num-seqs=24`”。
|
||
2. 若归类为 `same_operator_new_step`，只能修改通用 step policy，例如 grow/shrink factor、local grid budget、bracket 触发条件。
|
||
3. 若归类为 `missing_descriptor`，descriptor 只能表达 knob 语义、约束、search geometry 和 directional effects，不能表达具体目标答案。
|
||
4. 任何被接受的 gap 都需要新增 synthetic test，证明它不依赖 vLLM 常见取值或某个 bad-start case。
|
||
|
||
## Pending
|
||
|
||
当前 repo 内尚无已人工接受的 candidate family gap。实验产生的 JSON artifact 需要在这里补充 review 摘要后再进入代码设计。
|