Document auto search high policy

This commit is contained in:
2026-06-26 19:53:30 +08:00
parent 384cb58f1f
commit 95ad124a1b
3 changed files with 68 additions and 1 deletions

View File

@@ -68,6 +68,18 @@ remains tunable.
stop。对 `req/s/GPU` objective,未覆盖的 topology/resource-efficiency contrast 必须阻止
stop,除非 StudySpec 明确固定 topology/GPU budget。
另外,measurement policy 需要独立处理:
```text
auto_search_high may raise the offered-load ceiling inside the existing trace,
but it must not synthesize extra load without human approval.
```
如果 `search.high=1.0` 仍然不能让某个 topology 到达 capacity frontier,harness 应报告
`measurement_ceiling_insufficient`,而不是自动重复窗口、合成 arrivals 或改变 replay
semantics。这个报告可以阻止强 claim,也可以请求人类选择新的 trace 或显式 stress-test
模式。
## 当前问题
当前 `src/aituner/harness.py` 已经具备了一些正确的抽象词汇:observation、
@@ -488,7 +500,8 @@ stop_allowed iff
and candidate_set_snapshot is complete and persisted
and no candidate with harness_priority >= threshold remains uncovered
and incumbent has required validation coverage
and measurement budget/search-high condition is satisfied or no eligible candidate remains
and measurement budget/search-high condition is not right-censored
and no eligible candidate remains
```
这里不用未定义的 `useful candidate`。一个 candidate 是否 eligible 由以下结构化条件决定:
@@ -542,6 +555,37 @@ Validator 输出必须包含:
而是证明当前 grammar/operator/policy 下没有未覆盖的高优先级实验。
```
### Measurement ceiling policy
`search.high` 是 workload measurement 的 offered-load ceiling,不是 final objective。
因此它由 MeasurementPolicy 管理,不能直接变成 stop authority。
建议 schema:
```yaml
search:
low: 0.0
high: 0.125
auto_high:
enabled: true
max_sampling_u: 1.0
target_per_gpu_headroom: 1.5
require_human_confirmation_beyond_trace: true
```
行为:
1. 如果 `auto_high.enabled=true`,preflight 根据 trace threshold distribution、窗口长度和
GPU budget 估计需要的 offered-load ceiling,并把 `search.high` 提高到不超过
`max_sampling_u` 的值。
2. 对当前 `sampling_u` 语义,`max_sampling_u=1.0` 是完整 trace,上限不能自动超过它。
3. 如果 incumbent 在 `search.high=1.0` 仍然 feasible 且接近上界,系统输出
`measurement_ceiling_insufficient`。
4. `measurement_ceiling_insufficient` 不是 tuning success,也不是 global optimum proof;
它只说明当前 trace 不能继续区分更高 offered-load frontier。
5. 重复窗口、合成 arrivals、改变 replay scale 或使用更 dense trace 都必须由 StudySpec
显式声明,或者等待人类确认。Harness 不能静默改变 workload semantics。
## Planner backend 分离
Harness 产出 `CandidateSet`,planner backend 只做选择。