Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks

论文解决了什么问题

深度网络学到的内部表征很难从权重中客观拆解，而传统基于权重量级或经验激活的压缩启发式容易受到尺度对称、架构偏置与数据依赖的影响。论文希望回答：能否在函数空间而非参数空间中度量神经元容量，并在不依赖真实数据的前提下，统一剪枝、合并与宏观结构删除？

核心方法

HOPE 将每个神经元提升为连续 Hilbert 空间中的 rank-1 Hilbert-Schmidt 算子，用 Batch Normalization 统计量构造最大熵高斯代理分布，解析计算函数内积与范数。剪枝与合并被统一为函数张量空间中的最优低秩投影，并进一步扩展到残差块级别的 macro block eviction，通过 rate-distortion 目标贪心选择压缩动作。

实验结论

• 在 ResNet-50 等视觉架构上完成压缩与微调的概念验证，支持无数据、无超参数的统一压缩决策。
• 框架依赖 Batch Normalization 统计量实现完全无数据评估；无 BN 架构需要一次小批量校准。

局限性与证据边界

适合谁阅读