稠密
初始网络
连接很多,其中大多数并不必要。
原理
生物智能来自高度选择、可适应的连接。神经网络也可以按同一原理学习:把计算集中在真正承载信息的连接上。
学习权重。
学习结构。
学习哪些连接应当存在,
同时学习这些连接应当承载什么。
连接很多,其中大多数并不必要。
有用的连接被强化,无关连接逐渐消退并消失。
稀疏网络拥有更强、更有意义的连接。
结构与权重共同演化
计算集中在真正重要的路径上
连接在学习过程中持续演化。
智能被集中到更少、更有效的连接上。
结构学习延伸到可部署的稀疏计算。
论文、代码与发现。
这项 ICLR 2024 研究把 Epitopological Learning 与 Cannistraci–Hebb Training(CHT)结合起来,检验约 1% connectivity 的超稀疏网络能否在保持结构约束的同时学习出可竞争的深度模型性能。
这项 NeurIPS 2025 主会论文把 CHT 的拓扑驱动训练扩展到 Transformer 与 LLaMA 级语言模型,直接比较高稀疏度模型与 fully connected reference 的任务性能。
这项 NeurIPS 2025 研究将 Cannistraci–Hebb 规则组织为自适应网络自动机,在覆盖 1,283 个真实网络的 ATLAS 基准上进行基于路径的连接预测。
这篇 13 May 2026 发布的预印本研究 1:4(75%)半结构化稀疏的动态 Sparse-to-Sparse Training。页面明确区分算法验证与硬件事实:当前 NVIDIA GPU 原生支持的是 2:4,而不是 1:4。
从学到的结构,走向真实计算。
通过学习到的结构,获得更高的智能密度。
把稀疏结构转化为可部署的计算效率。
让学到的稀疏与真实算力对齐。