当 AI 拥有越来越多参数,一个更根本的问题随之出现:这些参数应当如何连接?每一次计算,能否产生更高价值?
2026 年 9 月,Cannistraci 团队的两篇动态稀疏研究论文被 NeurIPS 2026 接收为海报论文。它们分别推进硬件友好的半结构化稀疏训练,以及面向卷积网络的通道级动态稀疏与情境调制。
连接与学习
人脑通过高度稀疏、具有选择性且持续变化的神经连接支持感知、语言、记忆与推理。学习过程中,连接的强度和网络的组织方式都会发生变化。
人工神经网络通常通过训练调整连接权重。Cannistraci–Hebb Training(CHT)进一步让连接结构参与学习:在保持稀疏的训练过程中,网络根据学习状态调整、保留和生成连接。权重描述连接的强弱,拓扑描述连接的对象,两者共同影响信息如何流动。
网络科学与 CHT
CHT 的科学基础来自网络科学。Cannistraci 团队研究复杂网络中的连接规律,利用网络局部结构中的拓扑信息指导潜在连接的选择,并将这一思路带入神经网络训练。
ICLR 2024 的研究提出 Epitopological Learning 与 CHT,随后相关研究拓展至 Transformer 和大语言模型。NeurIPS 2026 的两篇工作进一步探索硬件可执行性与模型架构扩展。
第一篇论文:半结构化动态稀疏训练
SCHTs: A Semi-Structured Dynamic Sparse Training Framework for Hardware-Efficient Deep Learning
动态稀疏训练允许模型在学习过程中调整连接位置。要在硬件上高效执行这些结构,还需要考虑芯片支持的稀疏模式与计算规则。SCHTs 研究半结构化动态稀疏训练,让连接在训练中继续调整,同时遵循局部排列约束。
这种方法探索模型质量、结构灵活性与执行效率之间的关系,为动态稀疏模型与 GPU、NPU 及专用加速器的协同设计提供研究方向。具体收益仍需在相应模型、硬件和工作负载上验证。
第二篇论文:卷积网络的通道级稀疏训练
Cannistraci-Hebb Channel-wise Dynamic Sparse Training of Convolutional Neural Networks with Contextual Modulation
卷积神经网络通过不同通道提取轮廓、纹理、形状和语义等特征,广泛用于工业视觉、机器人、医学影像和边缘设备。第二篇论文将 CHT 推进到通道层级,并引入情境调制,研究网络如何组织这些信息通道。
通道级动态稀疏为研究计算资源如何分配、网络结构如何随训练调整提供了新的路径。由于通道与卷积算子和硬件执行密切相关,这一方向也为后续工程适配提供了值得探索的空间。
模型与硬件的协同
模型能力、芯片性能、存储、电力和推理成本正在成为相互关联的系统问题。不同硬件具有各自的算子、精度和执行特点,需要结合具体任务与平台评估模型结构。
两篇论文分别关注结构如何适应硬件,以及视觉网络如何组织信息通道。它们延续了 SparseMind 的研究方向:通过更有效的连接结构,探索从模型到硬件的智能效率。
论文阅读
SCHTs: A Semi-Structured Dynamic Sparse Training Framework for Hardware-Efficient Deep Learning
Cannistraci-Hebb Channel-wise Dynamic Sparse Training of Convolutional Neural Networks with Contextual Modulation