稀疏模型与芯片的联合评估

墨芯公开报道的 7B 模型评估显示，1:4 稀疏配置相对于同平台稠密基线最高取得 2.89 倍执行加速。阅读公开报道。

以下 1B 结果来自另一项实验。在指定模型和工作负载下，1:4 配置的编译估算输入吞吐约为稠密配置的 2.67 倍。

模型与评估条件

1:4 表示在选定投影权重的每组四个位置中保留一个。SparseMind 负责稀疏训练和模型评估，墨芯提供稀疏处理器、编译和调度能力。

1B 性能比较采用 256 个输入 token、BF16、单设备四核、每核批量为 1、700 MHz，关闭 CoMoLoRA 支路。稠密、2:4 和 1:4 配置的编译估算输入吞吐分别为 3,926、6,613 和 10,483 token/s。1:4 的估算执行时延为 97.678 ms，稠密基线为 260.796 ms，约降低 62.5%。

上述数据描述输入处理阶段，由编译周期推算，并包含报告所述 IO/DMA 调度。25% 的权重保留比例适用于选定投影层；完整模型还包含嵌入层和输出头。

不同模型规模

在相同 256-token 比较条件下，130M、350M 和 1B 模型的 1:4 配置分别取得 2.253×、2.405× 和 2.670× 编译估算加速。1B 配置保留 CoMoLoRA 辅助稠密支路时，估算加速约为 2.40×；质量影响需要在相同配置下进一步评估。

模型质量

独立的 LLaMA-130M 实验中，采用 CoMoLoRA 的 1:4 稀疏模型验证困惑度均值为 25.0647，稠密参考为 24.8140。同一稀疏模型的 W8A16 模拟量化实验中，困惑度从 25.0647 变为 25.0747。这组质量数据与上述 1B 性能比较采用不同配置。

后续验证

下一阶段将验证编译配置的数值一致性、实体设备时延、能耗和生产工作负载，并探索更大规模模型。设备实测和部署成本仍待验证。