摘要公开研究档案

这篇 13 May 2026 发布的预印本研究 1:4(75%)半结构化稀疏的动态 Sparse-to-Sparse Training。页面明确区分算法验证与硬件事实:当前 NVIDIA GPU 原生支持的是 2:4,而不是 1:4。

研究问题

研究问题

Cannistraci–Hebb 动态训练能否把 1:4 / 75% sparsity 推进到半结构化模型,同时为未来硬件执行保留算法路径?

核心创新

核心创新

CHTsNM 采用 N:M dynamic sparse-to-sparse training,在 LLaMA 小模型上验证 1:4 的 row-wise 与 block-wise 路径,并把当前可执行的 NVIDIA 2:4 测量单独列出。

关键结果

关键结果

1:475% 稀疏目标
1.66×2:4 NVIDIA 峰值

1:4 / 75% sparsity 是算法验证与未来硬件目标;当前 NVIDIA 原生可实测的加速来自 2:4,峰值约 1.66×。

PPL · 越低越好 · 1:4 algorithm validation
稀疏 / CHT参考值
图表由后台结构化论文结果生成;每个指标使用独立坐标轴,并保留论文报告的比较方向。
NVIDIA 原生 2:4 加速
稀疏 / CHT参考值
图表由后台结构化论文结果生成;每个指标使用独立坐标轴,并保留论文报告的比较方向。
为什么重要

为什么重要

它把 1:4 作为算法验证和未来硬件目标,同时把现阶段能在 NVIDIA 上实测的 2:4 加速单独标注,避免把研究方向误写成当前原生能力。

出版信息

论文档案

发表场合
Preprints.org
年份
2026
作者
Jiaqing Lyu · Michael Wirz · Carlo Vittorio Cannistraci
机构
Jiaqing Lyu — Tsinghua University;Michael Wirz — SparseMind AI;Carlo Vittorio Cannistraci — Tsinghua University
论文状态
PREPRINT · NOT PEER-REVIEWED
边界与来源

边界提示:本条目是预印本,尚未经过同行评审。当前 NVIDIA GPU 原生支持 2:4;1:4 是本文的算法验证与未来硬件目标,不应表述为当前 NVIDIA 原生 1:4 加速。

预印本发布日期:13 May 2026。DOI:10.20944/preprints202605.0851.v1