选自Distill，作者：Alexander Mordvintsev等，机器之心编译。
近日，期刊平台 Distill 发布了谷歌研究人员的一篇文章，介绍一个适用于神经网络可视化和风格迁移的强大工具：可微图像参数化。这篇文章从多个方面介绍了该工具，机器之心选取部分内容进行了编译介绍。
图像分类神经网络拥有卓越的图像生成能力。DeepDream [1]、风格迁移 [2] 和特征可视化 [3] 等技术利用这种能力作为探索神经网络内部原理的强大工具，并基于神经网络把艺术创作推进了一小步。
所有这些技术基本上以相同的方式工作。计算机视觉领域使用的神经网络拥有图像的丰富内部表征。我们可以使用该表征描述我们希望图像具备的特性（如风格），然后优化图像使其具备这些特性。这种优化是可能的，因为网络对于输入是可微的：我们可以轻微调整图像以更好地拟合期望特性，然后迭代地在梯度下降中应用这种微调。
通常，我们将输入图像参数化为每个像素的 RGB 值，但这不是唯一的方式。由于从参数到图像的映射是可微的，我们仍然可以用梯度下降来优化可替代的参数设定。
图 1：当图像参数化可微的时候，我们就可以对其使用反向传播（橙色箭头）来优化。
为什么参数化很重要？
这可能令人惊讶，即改变优化问题的参数设定可以如此显著地改变结果，尽管实际被优化的目标函数仍然是相同的形式。为什么参数设定的选择有如此显著的效果？原因如下：
（1）改善优化：转换输入使优化问题更简单，这是一种被称为「预处理」的技术，是优化过程的重要部分。我们发现参数设定的简单变化就可以使图像优化变得更加简单。
（2）引力盆地：当我们优化神经网络的输入时，通常有很多不同的解，对应不同的局部极小值。优化过程落入某个局部极小值是由其引力盆地（即在极小值影响下的优化曲面区域）控制的。改变优化问题的参数设定可以改变不同引力盆地的大小，影响可能的结果。
（3）附加约束：某些参数设定仅覆盖可能输入的子集，而不是整个空间。在这种参数设定下的优化器仍然寻找最小化或最大化目标函数的解，但它们需要服从参数设定的约束。通过选择正确的约束集，我们可以施加多种约束，从简单的约束（例如，图像边界必须是黑色的）到复杂而精细的约束。
（4）暗含地优化其它目标函数：参数化可能内在地使用一种和输出不同的目标函数，并对其进行优化。例如，当视觉网络的输入是一张 RGB 图像时，我们可以参数化那张图像为一个 3D 物体渲染图，并在渲染过程中使用反向传播以进行优化。由于 3D 物体比图像具有更多的自由度，我们通常使用随机参数化，它能生成从不同视角渲染的图像。
在文章接下来的部分中，我们将给出几个示例，证明使用上述方法的有效性，它们带来了令人惊讶和有趣的视觉结果。
对齐特征可视化解释
相关 colab 页面：https://colab.research.google.com/github/tensorflow/lucid/blob/master/notebooks/differentiable-parameterizations/aligned_interpolation.ipynb
特征可视化最常用于可视化单个神经元，但它也可用来可视化神经元组合，以研究它们如何相互作用 [3]。这时不是优化一张图像来激活单个神经元，而是优化它来激活多个神经元。
当我们希望真正地理解两个神经元之间的相互作用时，我们可以更进一步并创建多个可视化，逐渐把目标函数从优化一个神经元转移到给另一个激活神经元赋予更多的权重。这在某种程度上和生成模型（如 GAN）的潜在空间插值相似。
尽管如此，仍然存在一些小问题：特征可视化是随机的。即使你优化的是同一个物体，其每一次的可视化图也是不同的。一般而言，这不是什么问题，但它确实阻碍了插值可视化。如果就这样处理，得到的可视化将是非对齐的：视觉关键点（例如眼睛）将出现在每张图像的不同位置。在稍微不同的物体中，缺乏对齐将更难识别差异，因为差异被更明显的图式差异掩盖了。
如果我们观察插值帧的动画演示，就可以看到独立优化存在的问题：
