丰色 发自 凹非寺
量子位 | 公众号 QbitAI
大佬何恺明还未正式入职MIT，但和MIT的第一篇合作研究已经出来了：
他和MIT师生一起开发了一个自条件图像生成框架，名叫RCG（代码已开源）。
这个框架结构非常简单但效果拔群，直接在ImageNet-1K数据集上实现了无条件图像生成的新SOTA。
它生成的图像不需要任何人类注释（也就是提示词、类标签什么的），就能做到既保真又具有多样性。
这样的它不仅显著提高了无条件图像生成的水平，还能跟当前最好的条件生成方法一较高下。
用何恺明团队自己的话来说：
有条件和无条件生成任务之间长期存在的性能差距，终于在这一刻被弥补了。
那么，它究竟是如何做到的呢？
类似自监督学习的自条件生成首先，所谓无条件生成，就是模型在没有输入信号帮助的情况下直接捕获数据分布生成内容。
这种方式比较难以训练，所以一直和条件生成有很大性能差距——就像无监督学习比不过监督学习一样。
但就像自监督学习的出现，扭转了这一局面一样。
在无条件图像生成领域，也有一个类似于自监督学习概念的自条件生成方法。
相比传统的无条件生成简单地将噪声分布映射到图像分布，这种方法主要将像素生成过程设置在从数据分布本身导出的表示分布上。
它有望超越条件图像生成，并推动诸如分子设计或药物发现这种不需要人类给注释的应用往前发展（这也是为什么条件生成图像发展得这么好，我们还要重视无条件生成）。
现在，基于这个自条件生成概念，何恺明团队首先开发了一个表示扩散模型RDM。
它主要用于生成低维自监督图像表示，方法是通过自监督图像编码器从图像中截取：
它的核心架构如下：
首先是输入层，它负责将表征投射到隐藏维度C，接着是N个全连接块，最后是一个输出层，负责把隐藏层的潜在特征重新投射（转换）到原始表征维度。
其中每一层都包含一个LayerNorm层、一个SiLU层以及一个线性层。
