Add declarative harness prototype

This commit is contained in:
2026-06-26 18:07:02 +08:00
parent 4075c7abf0
commit 384cb58f1f
5 changed files with 752 additions and 1 deletions

View File

@@ -46,6 +46,28 @@ priority 中,仍然可能只是“换皮的 rule-based harness”。因此
下面的设计已经把这些 major revisions 纳入硬性要求。
## 2026-06-26 adversarial status
我们已经用 `TP=8, gmu=0.5, max-num-seqs=8` 的 bad-start case 攻击当前 production
harness。结果显示当前 stop guard 会在 baseline 后触发
`search_high_saturated_by_incumbent`,没有生成 topology/resource-efficiency contrast。
这证明当前 implementation 还不是最终 contribution。
详细反例见
[Bad-start stop counterexample](bad-start-stop-counterexample-20260626.md)。
该反例给本设计增加一个硬约束:
```text
search_high_saturated_by_incumbent may be measurement evidence,
but it cannot bypass candidate-set coverage when topology/resource efficiency
remains tunable.
```
因此新的 CoverageValidator 必须先证明没有未覆盖的 high-priority candidate才能授权
stop。对 `req/s/GPU` objective未覆盖的 topology/resource-efficiency contrast 必须阻止
stop除非 StudySpec 明确固定 topology/GPU budget。
## 当前问题
当前 `src/aituner/harness.py` 已经具备了一些正确的抽象词汇observation、