摘要公开研究档案

这项 ICLR 2024 研究把 Epitopological Learning 与 Cannistraci–Hebb Training(CHT)结合起来,检验约 1% connectivity 的超稀疏网络能否在保持结构约束的同时学习出可竞争的深度模型性能。

研究问题

研究问题

当连接规模压缩到约 1% 时,网络形状与局部拓扑规则能否成为学习信号,而不只是参数删减?

核心创新

核心创新

Epitopological Learning 将网络形状统计与 CHT 训练规则结合,在约 1% connectivity 下形成可学习的稀疏结构,并在多种视觉架构中进行比较。

关键结果

关键结果

~1%连接密度
6 / 6重点比较超过 FC

在约 1% connectivity 下,CHT 在六项重点架构与数据集比较中都超过对应的 fully connected model;结构本身可以成为学习信号。

Top-1 准确率
稀疏 / CHT参考值
图表由后台结构化论文结果生成;每个指标使用独立坐标轴,并保留论文报告的比较方向。
为什么重要

为什么重要

它把“更少连接”推进为“结构参与学习”的研究命题,为后续将拓扑规则迁移到更大模型提供了实验起点。

出版信息

论文档案

发表场合
ICLR 2024
年份
2024
作者
Yingtao Zhang · Jialin Zhao · Wenjing Wu · Alessandro Muscoloni · Carlo Vittorio Cannistraci
论文状态
Peer-reviewed conference paper
边界与来源

本页按论文公开结果整理关键证据,数值保留论文报告的均值与标准差。1% connectivity 描述的是连接密度,不等同于任何特定硬件上的实际加速比。