在 8 GB 显存的显卡上跑 35B MoE(Cyber-Tiel-Coder-35B-A3B):专家权重流式上卡、未命中专家由 CPU 池就地计算。Strata 引擎的 fork(MIT)。RTX 4080S 实测 8 GB 档 57.7–63.5 tok/s、全常驻 134–136 tok/s。Build from THIS repo — upstream does not support this model.
在 8 GB 显存的显卡上跑 35B MoE(Cyber-Tiel-Coder-35B-A3B):专家权重流式上卡、未命中专家由 CPU 池就地计算。Strata 引擎的 fork(MIT)。RTX 4080S 实测 8 GB 档 57.7–63.5 tok/s、全常驻 134–136 tok/s。Build from THIS repo — upstream does not support this model.