Document no-LLM harness mechanism

This commit is contained in:
2026-06-25 10:32:29 +08:00
parent 013b01baa1
commit ce36cd79af
3 changed files with 385 additions and 3 deletions

View File

@@ -1,5 +1,23 @@
# AITuner Harness Summary
## No-LLM Deterministic Planner
当前 harness 不只是给 LLM 的 prompt hints。它已经可以在没有 LLM endpoint 的情况下,
作为 deterministic planner 完成一整轮 tuning
1. 先运行 baseline得到真实 probe/SLO evidence。
2. 从 probe history 构造 trial profile 和 bottleneck hypotheses。
3. 从 topology/runtime intervention grammar 中生成合法 candidate actions。
4. 用 expected relief、information gain、launch safety 和 regression risk 给候选打分。
5. 若高分候选存在,直接写出 `harness-proposal-XXXX`
6. 若候选耗尽,且 validator 证明 post-incumbent validation 已充分,写出
`harness-stop-XXXX`
7. 只有 harness 既不能 propose 也不能 stop 时,才调用 LLM如果没有 LLM endpoint
tune loop 会显式失败。
完整机制和 Qwen30B no-LLM 真实轨迹见:
[No-LLM harness mechanism](harness-ablation/no-llm-harness-mechanism-20260625.md)。
## What The Harness Adds
The harness turns each LLM proposal from open-ended config search into a bottleneck-directed decision.