数据集蒸馏连发两篇顶会！10%样本实现全量性能鲁棒不失真

2025-12-01 04:02:12

　　图3 WMDD的合成图像可视化：在ImageNet-1K的10IPC设置下（蒸馏与可视化使用ResNet-18），从若干选定类别中随机各采样1张，呈现贴近人类感知的关键类别特征。

　　研究人员还做了一系列消融来拆解设计取舍。首先，把特征匹配从交叉熵替换为Wasserstein重心回归，在三个数据集上都带来稳定增益；其次，把全局BN正则改为PCBN后，类内多样性保持得更好，特征分布不再「塌缩」，与重心匹配目标形成共振。

　　图4 GUARD的合成图像可视化：在ImageNet-1K的1 IPC设置下，展示若干类别的蒸馏样本（每类1张）。图像呈现出类别相关的关键元素与混合外观，体现蒸馏过程对主要语义特征的捕捉。