diff --git a/crates/xserv-model/src/lib.rs b/crates/xserv-model/src/lib.rs index b85e8aa..8d991ea 100644 --- a/crates/xserv-model/src/lib.rs +++ b/crates/xserv-model/src/lib.rs @@ -1,6 +1,7 @@ pub mod config; pub mod decode_graph; pub mod gpt2; +pub mod gptoss; pub mod kv_cache; pub mod loader; pub mod paged_kv_cache; diff --git a/docs/MOE_PROGRESS.md b/docs/MOE_PROGRESS.md index 79c4f84..e334ab5 100644 --- a/docs/MOE_PROGRESS.md +++ b/docs/MOE_PROGRESS.md @@ -15,8 +15,9 @@ 产物 `/opt/wjh/models/gpt-oss-20b-bf16`,35.6GB 单 safetensors)+ 拷到 dash5。 - **llama.cpp 金标准就位**:dash5 的 llama.cpp 原生支持 gpt-oss(`LLM_ARCH_OPENAI_MOE`), 用官方 MXFP4 GGUF 验证「17×24=408」正确。**无需升级 submodule。** -- **`gptoss.rs` 前向正确**:输入 "The capital of France is" → top-1 = token 12366 = " Paris" - (logit 19.75)。打通了全部新组件:top-4 router(softmax-after-topk)、interleaved +- **`gptoss.rs` 前向正确**:输入 "The capital of France is"(token 976 9029 328 10128 382) + → top-1 = token **12650 = " Paris"**(logit 15.31);llama.cpp 金标准对同一 prompt 也输出 + " Paris",二者一致。打通了全部新组件:top-4 router(softmax-after-topk)、interleaved clamped `(up+1)*glu` experts、attention sinks、sliding window、MXFP4 权重、**YaRN RoPE** (关键 bug:gpt-oss 是 yarn rope_type,plain RoPE 会让注意力乱掉→输出回声 prompt)、 head_dim 64、q/k/v/o bias。