RepOptimizer

Re-parameterizing Your Optimizers Rather Than Architectures

直接量化 RepOpt-VGG 模型,ImageNet 上准确率仅会下降2.5%
重参数化你的优化器:VGG 型架构 + 特定的优化器 = 快速模型训练 + 强悍性能。

https://arxiv.org/pdf/2205.15242.pdf
https://mp.weixin.qq.com/s/zdQx8MxyilB_TlXyipnYpA