685 B
685 B
- 调研企业级私有化部署 DeepSeek 的机会
- llama.cpp 有什么问题？是不是只适合单机？
- ktransformer 相比 llama.cpp 为什么有优势？他们是不是只 focus 在单机？企业级部署不像个人使用，提供 global scheduler 后跟多个单机跑有什么问题？分布式并行跑有什么问题？
- M2 Ultra 这种 unified memory 芯片有提供低成本部署的机会吗？
- 机会点：计算很可能在往稀疏性发展，MoE 等。m 系列芯片这种内存大算力一般的芯片可能具有一定优势
- m 系列芯片互联带宽在 10～40Gb 之间（相比 450Gb+ 的 NVLink），会不会成为 bottleneck