Qwen3-8B 稀疏模型联合验证

SparseMind 与新华三围绕 Qwen3-8B 开展结构化稀疏训练和硬件适配。

模型质量

2:4 半结构化稀疏在选定权重矩阵中每四个位置保留两个。训练后的稀疏模型在留出集上的困惑度为 11.00，原始 Qwen3-8B 参考值为 14.21。评估包含 1,047,552 个预测目标，模型经过 6,000 次更新。困惑度越低，文本预测表现越好；这一变化包含适配、稀疏化和训练的共同影响。

权重存储与部署

在报告采用的 FP16/BF16 合格权重矩阵口径下，包含位置元数据的 2:4 压缩格式占稠密存储的 56.25%，计算得到的节约为 43.75%。完整模型、缓存、算子、批量和工作负载的资源占用需要另行测量。

后续工作

研究将进一步面向 27B 级模型与系统效率。模型扩展、端到端速度和能耗收益仍属于后续验证范围。