研究动态 · NeurIPS 2026

AI 开始学习自己的结构

Cannistraci 团队两篇 NeurIPS 论文,探索硬件高效的稀疏训练与视觉网络的动态结构。

当 AI 拥有越来越多参数,一个更根本的问题随之出现:这些参数应当如何连接?每一次计算,能否产生更高价值?

2026 年 9 月,Cannistraci 团队的两篇动态稀疏研究论文被 NeurIPS 2026 接收为海报论文。它们分别推进硬件友好的半结构化稀疏训练,以及面向卷积网络的通道级动态稀疏与情境调制。

连接与学习

人脑通过高度稀疏、具有选择性且持续变化的神经连接支持感知、语言、记忆与推理。学习过程中,连接的强度和网络的组织方式都会发生变化。

人工神经网络通常通过训练调整连接权重。Cannistraci–Hebb Training(CHT)进一步让连接结构参与学习:在保持稀疏的训练过程中,网络根据学习状态调整、保留和生成连接。权重描述连接的强弱,拓扑描述连接的对象,两者共同影响信息如何流动。

网络科学与 CHT

CHT 的科学基础来自网络科学。Cannistraci 团队研究复杂网络中的连接规律,利用网络局部结构中的拓扑信息指导潜在连接的选择,并将这一思路带入神经网络训练。

ICLR 2024 的研究提出 Epitopological Learning 与 CHT,随后相关研究拓展至 Transformer 和大语言模型。NeurIPS 2026 的两篇工作进一步探索硬件可执行性与模型架构扩展。

CHTs 流程图,标出移除的连接、失活的神经元和新生的连接。
一次稀疏训练如何更新连接 在团队 2025 年的 CHTs 研究中,一轮更新先移除部分连接,清理失活节点及其路径,再依据局部拓扑生成新连接。沿上排从左向右可以看到同一网络的变化。 Zhang 等,NeurIPS 2025,图 1

第一篇论文:半结构化动态稀疏训练

SCHTs: A Semi-Structured Dynamic Sparse Training Framework for Hardware-Efficient Deep Learning

动态稀疏训练允许模型在学习过程中调整连接位置。要在硬件上高效执行这些结构,还需要考虑芯片支持的稀疏模式与计算规则。SCHTs 研究半结构化动态稀疏训练,让连接在训练中继续调整,同时遵循局部排列约束。

这种方法探索模型质量、结构灵活性与执行效率之间的关系,为动态稀疏模型与 GPU、NPU 及专用加速器的协同设计提供研究方向。具体收益仍需在相应模型、硬件和工作负载上验证。

第二篇论文:卷积网络的通道级稀疏训练

Cannistraci-Hebb Channel-wise Dynamic Sparse Training of Convolutional Neural Networks with Contextual Modulation

卷积神经网络通过不同通道提取轮廓、纹理、形状和语义等特征,广泛用于工业视觉、机器人、医学影像和边缘设备。第二篇论文将 CHT 推进到通道层级,并引入情境调制,研究网络如何组织这些信息通道。

通道级动态稀疏为研究计算资源如何分配、网络结构如何随训练调整提供了新的路径。由于通道与卷积算子和硬件执行密切相关,这一方向也为后续工程适配提供了值得探索的空间。

模型与硬件的协同

模型能力、芯片性能、存储、电力和推理成本正在成为相互关联的系统问题。不同硬件具有各自的算子、精度和执行特点,需要结合具体任务与平台评估模型结构。

四组柱状图并列展示 2:4 稀疏计算的实测加速比与 1:4 稀疏计算的推算目标。
硬件实验中的实测与推算 在相关的 CHTsNM 预印本中,蓝柱给出四组 LLaMA 矩阵形状在 2:4 稀疏计算下的实测加速比。绿柱使用各组的压缩稀疏行(CSR)基准结果,推算 1:4 模式的目标加速比。 Lyu、Wirz 与 Cannistraci,2026 年预印本,图 A4

两篇论文分别关注结构如何适应硬件,以及视觉网络如何组织信息通道。它们延续了 SparseMind 的研究方向:通过更有效的连接结构,探索从模型到硬件的智能效率。

论文阅读

SCHTs: A Semi-Structured Dynamic Sparse Training Framework for Hardware-Efficient Deep Learning

Cannistraci-Hebb Channel-wise Dynamic Sparse Training of Convolutional Neural Networks with Contextual Modulation

阅读微信公众号原文

联系我们

了解研究或探讨合作,请联系我们。

联系我们