Gahow Wang
b4bb426d48
docs: run v6 — FineWeb-edu graduation (val 3.07, new distribution)
第一版脱离 TinyStories：纯 FineWeb-edu 真实网页文本(2.255B 语料)，架构同
v4/v5(dim768/18L, core 127.43M)，8 卡 DDP bf16，2.29B tok/1.02ep，~1.9h
@218K tok/s。train 11.03→3.14，best/final FineWeb val 3.0652。
方法论：FineWeb val(3.07) 与 v0–v5 的 TinyStories val(~1.1) 不可比——真实
网页熵高，~3.0 是预期非回退；判据是采样质量 + transfer eval。
- 新增 docs/runs/06-v6-fineweb-edu-dim768.md：数据管线(scripts/fineweb_to_txt.py)
/ 架构(同 v4/v5,隔离数据变量) / 超参 / 结果(val 单调降无走平=未饱和) /
方法论说明 / transfer eval(v6→TinyStories val 2.75 vs v5 native 1.11,纯通用
数据对窄分布有代价) / v5-vs-v6 同提示词采样对比(v6 写真实说明文 vs v5 一律
掉进小故事)
- README 对比表加 v6 行(val 单独标注分布) + 换轴说明 + v7 提案
- evolution.md scaling 表 v6 行定稿 + 数据轴 TinyStories→FineWeb-edu 毕业说明
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-16 22:21:43 +08:00
..
2026-06-16 22:21:43 +08:00
2026-06-15 15:12:55 +08:00
2026-06-15 15:12:55 +08:00
2026-06-15 15:27:03 +08:00
2026-06-15 15:53:55 +08:00
2026-06-15 16:09:30 +08:00
2026-06-15 16:30:14 +08:00
2026-06-15 17:00:29 +08:00
2026-06-15 17:15:49 +08:00
2026-06-15 17:37:46 +08:00
2026-06-16 00:44:50 +08:00
2026-06-16 11:15:02 +08:00
2026-06-16 14:28:20 +08:00
2026-06-16 22:21:43 +08:00
2026-06-16 14:28:20 +08:00